Test Set - CI/CD用語集の定義

test setは、完成したモデルの未知データでの性能を見積もるため、最後に一度だけ使うデータです。

test setは、分離しておき最後に一度だけ触れるデータで、完成したモデルが本当に未知のデータでどれだけ性能を発揮するかを見積もります。いかなるモデリングの判断にも影響を与えてはなりません。

test setは最終的で正直な試験です。開発中に使うと、報告されるスコアが水増しされてしまいます。

一度だけ使う

test setを見てモデルを変更するたびに、情報が漏れます。deployの前の一度きりの最終評価のために取っておきましょう。