Idempotent Pipeline - Definição do Glossário de CI/CD

Uma pipeline idempotente produz o mesmo resultado quer rode uma vez ou repetidamente, tornando retries e backfills seguros.

Uma pipeline idempotente produz o mesmo estado final quer rode uma vez ou muitas vezes sobre a mesma entrada, de modo que retries e backfills não criam duplicatas nem drift.

A idempotência é o que torna retries automáticos (e CI com autocorreção) seguros para jobs de dados: reexecutar não pode corromper a saída.

Como alcançá-la

Técnicas comuns são sobrescrever uma partição em vez de anexar, fazer upsert por uma chave e usar saídas determinísticas, para que uma execução repetida substitua em vez de duplicar os dados.

Guias relacionados