Model Validation - CI/CD用語集の定義

model validationはtrainされたモデルをhold-outデータで品質のしきい値に照らしてチェックし、失敗したときにpromoteをブロックします。

model validationは、promoteされる前に、trainされたモデルをhold-outデータで品質のしきい値(accuracy、precision、recall、キャリブレーション)に照らして評価します。しきい値を満たさないとdeployがブロックされます。

validationはモデルにとってのCI gateです。評価メトリクスをdeployのpipelineでの合否の判断に変えます。

メトリクスでgateする

validationのステージは、新しいモデルがbaselineを上回り、test set(test-set-gl36)で最低限のメトリクスを満たすことを検証します。満たさない場合、pipelineは停止します。