O Que É Quarentena de Testes Flaky?
A quarentena de flaky é a prática de mover testes que se sabe que falham de forma intermitente para uma faixa separada e não bloqueante, para que sua falta de confiabilidade não deixe o pipeline inteiro vermelho. Os testes em quarentena geralmente ainda rodam e reportam, então a flakiness é acompanhada, mas seu resultado não bloqueia merges até que sejam corrigidos. É uma válvula de escape, não uma casa permanente.
Por que isso importa
Um único teste flaky que falha aleatoriamente corrói a confiança no CI e tenta os desenvolvedores a ignorar ou re-rodar cegamente builds vermelhos, o que mascara falhas reais. A quarentena mantém o sinal principal confiável enquanto o teste flaky é investigado, mas precisa de uma política para corrigir ou remover os testes em quarentena, para que a quarentena não cresça para sempre.
Conceitos relacionados
- Mantém confiável o sinal principal do pipeline
- Testes em quarentena ainda rodam, mas não bloqueiam merges
- Precisa de uma política para corrigi-los ou removê-los ao longo do tempo