Data Backfill とは？
Data backfill は、元々キャプチャしなかった table やシステムに、過去の期間のデータや以前に欠落していた行をロードするプロセスです。履歴を必要とする新しいフィールド、dataset、または pipeline を導入した後に実行されます。Backfill は通常、本番システムを圧迫しないようにバッチ化され throttling されます。
なぜ重要か
新しい分析や機能は、記録されてこなかった履歴を必要とすることが多く、backfill がそれを提供します。Latchkey は worker 層で backfill ジョブを実行して過去の CI 実行データをロードし、dashboard が完全なタイムラインを表示するようにします。
関連ガイド
What Is Event Replay?Event replay reprocesses a stored stream of past events to rebuild state, populate a new read model, or recov…
What Is a Kafka Offset?A Kafka offset is the sequential position of a message within a partition, used by consumers to track which r…
What Is Event Sourcing?Event sourcing stores state as an append-only log of events rather than current values, rebuilding state by r…