O Que É um Data Backfill?

Um data backfill é o processo de carregar dados de períodos passados ou de linhas anteriormente ausentes em uma table ou sistema que originalmente não os capturou. Ele é executado após introduzir um novo campo, dataset ou pipeline que precisa de histórico. Backfills costumam ser feitos em lotes e com throttling para não sobrecarregar o sistema em produção.

Por que isso importa

Novas análises ou funcionalidades frequentemente precisam de histórico que nunca foi registrado, e um backfill o fornece. O Latchkey executa jobs de backfill em sua camada de workers para carregar dados de runs de CI passados, para que os dashboards mostrem uma linha do tempo completa.

Guias relacionados