Flaky Test Quarantine - Definição do Glossário de CI/CD

Colocar um teste flaky em quarentena o mantém rodando e monitorado, mas impede que ele falhe o build, protegendo a velocidade de merge sem simplesmente apagar o teste.

O flaky test quarantine move testes sabidamente flaky para um bucket não bloqueante para que suas falhas intermitentes não falhem o pipeline, enquanto eles ainda são executados e monitorados para que possam ser corrigidos e devolvidos à suíte bloqueante.

A quarentena é um meio-termo controlado entre confiar em um teste flaky e removê-lo.

Coloque em quarentena, não esqueça

Um teste em quarentena deve continuar executando e reportando para que sua taxa de flake fique visível; caso contrário, a quarentena vira um cemitério. Defina a expectativa de corrigi-lo ou apagá-lo dentro de um tempo limitado.

Guias relacionados