Data Quality - CI/CD用語集の定義

data qualityは、信頼できるほどデータが正確で、完全で、一貫していて、タイムリーである度合いです。

data qualityは、データが期待に対してどれだけ正確で、完全で、一貫していて、タイムリーであるかを測ります。低いdata qualityは、downstreamのレポートやモデルを静かに壊します。

data qualityは、pipeline内で実行され、期待が破られたときにrunを失敗させる自動化されたチェックによって強制されます。

ディメンション

一般的なディメンションは、正確性、完全性、一貫性、タイムリー性、一意性、妥当性です。Great Expectationsやdbt testsのようなツールが、これらをCIで検証します。