Data Ingestion - CI/CD用語集の定義

data ingestionはソースからデータを収集し、pipelineの最初の段階としてターゲットストアに取り込みます。

data ingestionは、ソース(API、データベース、ファイル、event stream)からデータを収集し、ターゲットシステムに取り込むプロセスです。あらゆるdata pipelineの最初の段階です。

ingestionのconnectorはオペレーショナルシステムから抽出し、batchまたは継続的にlakeまたはwarehouseに書き込みます。

Full vs incremental

full loadは各runでソース全体をコピーします。incremental loadは新規または変更された行だけを、通常はupdated-at列やchange streamをキーにして取り込みます。