O Que É um Flaky Test?
Um flaky test é aquele que produz resultados inconsistentes, às vezes passando e às vezes falhando, sem nenhuma mudança no código sob teste. Causas comuns incluem race conditions, dependência de timing, estado compartilhado entre testes ou dependências externas instáveis. Flaky tests corroem a confiança no CI porque um build vermelho não significa mais de forma confiável um problema real.
Por que isso importa
Flaky tests treinam as equipes a ignorar falhas e re-rodar até ficar verde, o que mascara bugs genuínos e desperdiça minutos de runner. Ambientes limpos, isolados e efêmeros removem uma categoria inteira de flakiness causada por estado remanescente, enquanto colocar em quarentena e corrigir flaky tests restaura a confiança na suíte.
Conceitos relacionados
- O isolamento de testes remove a flakiness de estado compartilhado
- Runners efêmeros previnem contaminação entre jobs
- Retries podem mascarar a flakiness em vez de corrigi-la
Guias relacionados
What Is a Regression Test?A regression test verifies that previously working functionality still works after a change, catching newly i…
What Is an Ephemeral Runner?An ephemeral runner is a CI worker that runs exactly one job on a fresh machine, then is destroyed, giving ev…
What Is Retry with Backoff?Retry with backoff re-attempts a failed operation after progressively longer waits, often with jitter, to han…