Taxa de Flakiness de Testes - Definição do Glossário CI/CD
A taxa de flakiness de testes é a fração de execuções de teste que falham de forma não determinística em código inalterado, normalmente medida como falhas instáveis dividida pelo total de execuções ao longo de uma janela. Ela quantifica o quanto você pode confiar em um build verde.
Por que medir
Uma taxa de flakiness crescente corrói o sinal: os desenvolvedores começam a ignorar builds vermelhos. Monitorar a taxa de flakiness por teste permite colocar em quarentena ou corrigir os piores testes em vez de refazer tudo reflexivamente.
Na CI
Calcule a taxa de flakiness detectando testes que passam no retry após falhar no mesmo commit. Equipes que rodam em plataformas como a Latchkey usam isso para separar regressões genuínas do ruído transitório de infraestrutura.