Data Drift - CI/CD用語集の定義

data driftは、trainingとproductionの間でモデルの入力featureの分布が変化することです。

data driftは、trainingとproductionの間でモデルの入力featureの統計的分布が変化することです。入力からターゲットへのマッピングは変わっていないかもしれませんが、入力が異なって見えます。

data driftは、ground-truthのラベルを必要とせずに、ライブのfeature分布をtrainingのベースラインと比較することで検出されます。

検出

統計的検定(population stability index、Kolmogorov-Smirnov)は、現在のfeature分布をtrainingの分布と比較し、しきい値を超えたらアラートを出します。