Validation Set - CI/CD用語集の定義

validation setは、開発中にハイパーパラメータを調整しモデルを選ぶために使う、分離しておいたデータです。

validation setは、トレーニングから分離し、ハイパーパラメータの調整とモデルの選択に使うデータです。選択を導くため、偏りのない最終的な推定値としては使えません。

validation setは反復作業のあいだ未知のデータの代わりを務め、調整の判断がトレーニングデータに過剰適合しないようにします。

なぜtestと分けるのか

validation setはモデルの選択に影響するため、結果にわずかに情報が漏れます。別のtest set (test-set-gl36) が、正直な最終値を与えます。