O Que É Data Drift? Distribuições de Entrada em Deslocamento Explicadas

Data drift é uma mudança ao longo do tempo na distribuição estatística dos dados de entrada que um modelo vê, o que pode degradar silenciosamente suas previsões.

Data drift é uma das principais razões pelas quais modelos pioram sem ninguém tocá-los. As features que alimentam o modelo se afastam daquilo em que ele aprendeu - novos segmentos de usuários, efeitos sazonais, uma origem upstream alterada - e o modelo, treinado na distribuição antiga, começa a errar.

O que é data drift

Data drift (também chamado de feature ou covariate drift) é uma mudança na distribuição das features de entrada de um modelo entre treino e produção. A relação entre entradas e alvo pode ainda valer, mas as próprias entradas agora parecem diferentes dos dados de treino.

Data drift versus concept drift

Data drift é sobre as entradas mudarem de distribuição. Concept drift é sobre a relação entre entrada e saída mudar. Um modelo pode sofrer de um ou de ambos. Distingui-los importa: data drift pode ser tratado retreinando com dados frescos, enquanto concept drift pode exigir novas features.

Como é detectado

O drift é detectado comparando as distribuições recentes de features de produção com o baseline de treino usando testes estatísticos (como population stability index ou Kolmogorov-Smirnov) ou métricas de distância. Uma divergência significativa em features importantes sinaliza potencial drift.

Verificações de data drift no CI/CD

Um job de CI agendado computa métricas de drift contra o baseline e pode alertar ou disparar o retreino quando limiares são cruzados.

steps:
  - run: python drift_check.py --baseline train_ref.parquet \
        --current prod_recent.parquet --metric psi --threshold 0.2

Nota Latchkey

Verificações de drift puxam grandes janelas de dados recentes em um schedule. No Latchkey, cachear o baseline de treino e as dependências mantém esses jobs recorrentes baratos, e o auto-retry cobre leituras transitórias ao buscar a janela de comparação do warehouse ou lake.

Principais conclusões

• Data drift é um deslocamento na distribuição das features de entrada de um modelo entre treino e produção.
• Ele difere do concept drift, que é uma mudança na relação entre entrada e saída.
• Testes estatísticos contra um baseline de treino detectam drift e podem disparar alertas ou retreino no CI.

Guias relacionados