Model Monitoring - CI/CD用語集の定義

model monitoringはライブモデルの入力、予測、結果を追跡し、driftと性能の劣化を捕捉します。

model monitoringは、deployされたモデルの予測、入力、結果を継続的に追跡し、性能の劣化、drift、データの問題を検出します。アラートがretrainingまたはrollbackをトリガーします。

モデルはすべてのdeployチェックに合格しても、世界が変化するにつれて劣化することがあります。monitoringはユーザーより先にそれに気づく手段です。

何を監視するか

monitoringはライブの入力分布をtraining data(data drift)と比較し、予測の品質を時間とともに追跡し(model drift)、ground truthが到着したら精度を測定します。