O Que É Análise de Canary?
A análise de canary é a prática de comparar uma pequena release canary com a versão baseline existente para decidir, com base em dados, se a nova versão é segura para uma implantação mais ampla.
Liberar para um canary é apenas metade da história - você ainda precisa julgar se o canary está saudável. A análise de canary é a parte do julgamento: uma comparação rigorosa, idealmente automatizada, da nova versão contra a antiga, usando métricas ao vivo para tomar a decisão de seguir ou não.
Release canary versus análise de canary
Uma release canary roteia uma pequena fatia de tráfego para uma nova versão. A análise de canary é o que você faz com os dados resultantes: comparar sistematicamente o comportamento do canary com a baseline. A release expõe a nova versão; a análise decide seu destino.
Comparando contra uma baseline
A comparação mais confiável é canary versus uma baseline de controle rodando a versão antiga ao mesmo tempo, sob as mesmas condições. Comparar ambos contra o tráfego ao vivo atual controla efeitos de hora do dia e padrões de carga, então as diferenças que você vê são devidas à mudança, não ao momento.
O que ela mede
- Taxas de erro e requests que falharam.
- Latência em percentis significativos.
- Uso de recursos como CPU e memória.
- Métricas-chave de negócio ou produto.
Análise de canary automatizada
Times maduros automatizam o julgamento. O sistema pontua o canary contra a baseline em muitas métricas e produz um veredito de aprovação ou reprovação, promovendo automaticamente um canary saudável ou fazendo rollback de um ruim. A automação remove viés humano e torna o processo rápido e repetível.
Cuidado estatístico
Um canary pequeno vê menos tráfego, então suas métricas são mais ruidosas e mais propensas a sinais falsos. Boa análise de canary leva isso em conta com tamanhos de amostra adequados e thresholds estatísticos, evitando tanto alarmes falsos que bloqueiam boas releases quanto falsa confiança que deixa as ruins passarem.
Principais conclusões
- A análise de canary compara uma release canary com a baseline para decidir se prossegue.
- Comparar canary e baseline lado a lado controla efeitos de tempo e carga.
- Análise automatizada e estatisticamente cuidadosa torna a decisão de seguir/não seguir rápida e imparcial.