Backfill - CI/CD用語集の定義

backfillは、たとえば新しいフィールドを埋めたりバグから復旧したりするために、履歴データをpipelineで再処理します。

backfillは、たとえば新しいカラムを埋めたりバグから復旧したりするために、履歴データをpipelineで再処理します。冪等でパーティション化されたpipelineがbackfillを安全にします。

backfillはデータエンジニアリングでは日常的です。schemaの変更やバグ修正では、過去の日付パーティションを再実行する必要がよくあります。

安全なbackfill

backfillは、pipelineが冪等 (idempotent-pipeline-gl36) で時間によってパーティション化されているときに安全です。そうすれば日付範囲の再実行が重複なくきれいに上書きされます。