Data Lineage - CI/CD用語集の定義

data lineageは、各datasetと列がupstreamのソースからすべての変換を経てどのように導出されるかを追跡します。

data lineageは、データがソースから変換を経て最終的な出力まで、どのように流れるかを追跡できるマップです。値がどこから来たか、そしてソースが変わると何が壊れるかに答えます。

lineageは影響分析とデバッグに不可欠です。テーブルが誤っているとき、lineageはそれを生成したupstreamのステップを示します。

影響分析

列レベルのlineageを使うと、merge前に、schema変更によって影響を受けるすべてのdownstreamのモデルやdashboardを、buildの依存グラフに似た形で確認できます。