Model Monitoring - Definição do Glossário de CI/CD

O model monitoring acompanha as entradas, predições e resultados de um modelo ao vivo para capturar drift e decaimento de desempenho.

O model monitoring acompanha continuamente as predições, entradas e resultados de um modelo em deploy para detectar decaimento de desempenho, drift e problemas de dados. Alertas disparam retreinamento ou rollback.

Um modelo pode passar em todas as checagens de deploy e ainda degradar conforme o mundo muda; o monitoring é como você percebe isso antes dos usuários.

O que ele observa

O monitoring compara as distribuições de entrada ao vivo com os dados de treinamento (data drift), acompanha a qualidade das predições ao longo do tempo (model drift) e mede a accuracy quando o ground truth chega.

Guias relacionados