Data Transformation - CI/CD用語集の定義

data transformationは生データをクレンジング、再構成、集計して、分析やservingの準備が整ったモデル化されたテーブルにします。

data transformationは、生データをクレンジング、再構成、結合、集計して、分析やservingに適したモデル化された形にするステップです。現代のスタックでは、バージョン管理されたSQLまたはコードとして書かれます。

変換ロジックはコードです。repoに存在し、pull requestでレビューされ、production tableを変更する前にCIでテストされます。

CIでテストする

transformのモデルはすべてのcommitでunit testとdata testによって検証されるため、schemaの変更や不正なjoinはテーブルを破損させる代わりにbuildを失敗させます。