O que é uma taxa de falha de pipeline? Explicado
Uma taxa de falha de pipeline é a proporção de execuções de CI que falham ao longo de alguma janela, um indicador de destaque de quão confiável é o seu pipeline.
Você não pode melhorar uma confiabilidade que não mede. A taxa de falha de pipeline é a medida mais simples desse tipo: de todas as execuções em um período, quantas falharam? Isolado, é um número grosseiro, mas dividido da forma certa torna-se um guia poderoso para onde o trabalho de confiabilidade compensa.
Como calculá-la
O número básico é execuções que falharam dividido pelo total de execuções ao longo de um período, expresso como uma porcentagem. Você pode calculá-la por pipeline, por branch ou em toda a organização. As tendências ao longo do tempo importam mais do que qualquer valor isolado: a taxa está subindo ou caindo?
Por que uma taxa bruta engana
Uma única taxa de falha agrupa duas coisas muito diferentes: falhas reais (seu código quebrou) e falhas de ruído (problemas transitórios e mecânicos, testes flaky). Uma taxa alta impulsionada por bugs genuínos é um problema de qualidade; uma taxa alta impulsionada por ruído é um problema de confiabilidade. Elas exigem correções diferentes.
Dividindo a taxa
- Real / determinística: falhas reproduzíveis causadas pela mudança.
- Transitória: falhas que um retry resolveria (rede, registry, recurso).
- Flaky: falhas de teste não determinísticas não relacionadas à mudança.
Usando-a bem
Acompanhe a divisão ao longo do tempo e ataque primeiro o maior e mais barato contribuinte. Se as falhas transitórias dominam, retries automáticos e melhor infraestrutura compensam rápido. Se os testes flaky dominam, invista em determinismo e isolamento. O número te diz onde olhar.
A perspectiva da Latchkey
A fatia transitória da sua taxa de falha é exatamente o que os runners gerenciados com autocorreção da Latchkey miram: ao detectar falhas transitórias e mecânicas e fazer retry automático para que uma instabilidade pontual não faça seu build falhar, eles removem as falhas ambientais da taxa, deixando um retrato mais claro da qualidade real.
Principais conclusões
- A taxa de falha de pipeline é execuções que falharam dividido pelo total de execuções em uma janela.
- Uma taxa bruta esconde a diferença entre falhas reais e de ruído.
- Divida-a em determinística, transitória e flaky para agir sobre ela.
- Ataque primeiro o maior e mais barato contribuinte.