Hyperparameter Tuning - CI/CD用語集の定義

hyperparameter tuningはlearning rateのようなtraining前の設定を探索し、validationの性能を最大化します。

hyperparameter tuningは、trainingの前に設定されるモデルの構成値(learning rate、tree depth、正則化)を探索し、validationの性能を最大化する組み合わせを見つけます。

hyperparameterはtrainingの前に設定するつまみです。tuningは最良の組み合わせの探索を自動化します。

探索の戦略

grid searchはすべての組み合わせを試し、random searchはサンプリングし、ベイズ最適化は過去の結果を使って次のtrialを導きます。各trialはexperiment trackingを介してログされます。