O Que É Experiment Tracking? Registrar Runs de ML Explicado
Experiment tracking é a prática de registrar as entradas e os resultados de cada run de treino de ML para que os experimentos sejam comparáveis, pesquisáveis e reproduzíveis.
Machine learning é empírico: você experimenta dezenas de configurações e mantém a melhor. Sem um sistema, esses runs desaparecem no scrollback e em nomes de arquivo esquecidos. Experiment tracking captura cada run - seus parâmetros, código, dados e métricas - para que você possa compará-los e reproduzi-los.
O que é experiment tracking
Experiment tracking registra os detalhes de cada run de treino em um store central: os hyperparameters usados, a versão do código, a versão do dataset, as métricas resultantes e muitas vezes artifacts como o modelo e os gráficos. Cada run vira um registro consultável em vez de um resultado transitório.
Por que importa
O tracking torna os experimentos comparáveis ("qual learning rate deu o melhor F1?"), reproduzíveis (você sabe exatamente o que produziu um resultado) e colaborativos (todo o time vê o histórico de runs). É a base sobre a qual os model registries e o continuous training se constroem.
Ferramentas
MLflow, Weights and Biases e Neptune são trackers comuns. Eles fornecem uma API de logging que você chama do código de treino e uma UI para navegar, filtrar e comparar runs, além de integração com model registries para promover o melhor run.
Experiment tracking no CI
Quando o treino roda no CI, registre cada run no tracker marcado com o commit e a versão do dataset, para que cada run automatizado seja registrado e comparável.
import mlflow
mlflow.set_tag("git_sha", "${GITHUB_SHA}")
mlflow.log_params(params)
mlflow.log_metric("f1", score)Nota Latchkey
Runs de CI rastreados fazem upload de artifacts e métricas para o servidor de tracking. No Latchkey, cachear os dados de treino e as dependências mantém cada run rastreado rápido, e o auto-retry cobre uma instabilidade transitória quando o run faz upload dos seus artifacts para o tracker.
Principais conclusões
- Experiment tracking registra os parâmetros, o código, os dados e as métricas de cada run de treino.
- Ele torna os experimentos comparáveis, reproduzíveis e visíveis para todo o time.
- Registrar runs de treino do CI em um tracker, marcados com commit e versão dos dados, mantém runs automatizados registrados e comparáveis.