O Que É Model Drift? Degradação de Modelos ao Longo do Tempo Explicada

Model drift é o declínio gradual na precisão de um modelo em produção conforme os dados do mundo real que ele vê divergem dos dados em que foi treinado.

Um modelo é um snapshot do mundo no momento do treino. O mundo continua se movendo - o comportamento dos clientes muda, os preços mudam, novos padrões surgem - e o modelo fica lentamente desatualizado. Esse decaimento é o model drift, e detectá-lo é essencial para manter sistemas de ML confiáveis.

O que é model drift

Model drift é a degradação do desempenho preditivo de um modelo ao longo do tempo conforme as condições de produção mudam. O modelo não mudou; o mundo que ele prevê mudou. Se não for tratado, um modelo antes preciso passa a fazer, silenciosamente, previsões cada vez piores.

Tipos de drift

Duas formas comuns são o data drift, em que a distribuição das features de entrada muda, e o concept drift, em que a relação entre as entradas e o alvo muda. Um modelo pode se degradar por qualquer um deles, e eles muitas vezes exigem respostas diferentes.

Como o drift é detectado

O drift é detectado por monitoramento: comparando a distribuição estatística das entradas e previsões recentes com o baseline de treino, e acompanhando a precisão ao vivo onde a verdade fica disponível. Uma divergência significativa dispara um alerta ou aciona o retreino.

Drift e CI/CD

A detecção de drift conecta o monitoramento de volta ao pipeline. Um job de CI agendado pode computar métricas de drift e, se elas cruzarem um limiar, disparar um run de continuous training para atualizar o modelo.

steps:
  - run: python detect_drift.py --baseline ref.parquet
  - run: python detect_drift.py --threshold 0.2 || gh workflow run retrain.yml

Nota Latchkey

Verificações de drift leem grandes janelas de dados de produção em um schedule. No Latchkey, cachear o baseline de treino e as dependências mantém esses jobs recorrentes baratos, e o auto-retry cobre leituras transitórias do warehouse ou object store ao puxar os dados de comparação.

Principais conclusões

• Model drift é o declínio na precisão de um modelo em produção conforme os dados de produção divergem dos dados de treino.
• Data drift muda a distribuição da entrada; concept drift muda a relação entre entrada e alvo.
• O monitoramento detecta drift e pode disparar um run de continuous training para atualizar o modelo.

Guias relacionados