Backfill - Definição do Glossário de CI/CD

Um backfill reprocessa dados históricos por uma pipeline, por exemplo para popular um novo campo ou se recuperar de um bug.

Um backfill reprocessa dados históricos por uma pipeline, por exemplo para popular uma nova coluna ou se recuperar de um bug. Pipelines idempotentes e particionadas tornam os backfills seguros.

Fazer backfill é rotina em engenharia de dados: mudanças de schema e correções de bug muitas vezes exigem reexecutar partições de datas passadas.

Backfills seguros

Um backfill é seguro quando a pipeline é idempotente (idempotent-pipeline-gl36) e particionada por tempo, de modo que reexecutar um intervalo de datas sobrescreve de forma limpa, sem duplicatas.

Guias relacionados