Idempotent Pipeline - CI/CD用語集の定義

冪等なpipelineは、一度実行しても繰り返し実行しても同じ結果を生み、retryやbackfillを安全にします。

冪等なpipelineは、同じ入力に対して一度実行しても何度実行しても同じ最終状態を生むため、retryやbackfillが重複やdriftを生みません。

冪等性こそが、自動retry (そして自己修復するCI) をデータjobにとって安全にします。再実行しても出力を壊すことはありません。

実現方法

よくある手法は、追記ではなくパーティションを上書きすること、キーでupsertすること、決定的な出力を使うことです。これにより再実行された処理はデータを重複させず置き換えます。