Data Validation - CI/CD用語集の定義

data validationは受信データをルールに照らして自動的にチェックし、ルールが破られたときにpipelineを止めます。

data validationは、データが信頼または昇格される前に、ルール(型、範囲、null許容性、参照整合性)に照らして自動的にチェックすることです。失敗したチェックはpipelineを止めます。

validationはデータ版のunit testです。CIとproductionのpipelineの両方で実行され、不正なデータを早期に捕捉します。

どこで実行されるか

validationはingestion時(不正な行を拒否)、変換後(行数と分布を検証)、そしてdeployの前にサンプルデータに対してCIで実行されます。