Data Pipeline - CI/CD用語集の定義

data pipelineは、データを取り込み、変換し、ロードする自動化されたバージョン管理されたシーケンスであり、downstreamのシステムが最新で正確なレコードを受け取れるようにします。

data pipelineは、途中で変換を適用しながらデータをソースからデスティネーションへ移動する自動化された一連のステップです。CI/CDでは、アプリケーションコードと同じようにバージョン管理され、テストされ、deployされます。

現代のデータチームはpipelineをソフトウェアとして扱います。コードで定義し、CIでテストし、あらゆるサービスと同じreview gateを通してdeployします。

CI/CDにおいて

pipelineの定義(SQL、Python、またはDAG)はrepoにcommitされ、すべてのpull requestで検証され、環境間でpromoteされます。失敗したpipelineのrunは、失敗するunit testと同じように赤いbuildとして現れます。