Baseline Comparison とは？

Baseline comparison は、候補バージョンを、通常は現在の安定バージョンである baseline と、同じ負荷と環境の下で動作させて測定します。両者を並べて比較することで、メトリクスの差を、トラフィックパターンや時間帯ではなく変更に帰属させます。これは健全な canary 分析の中核です。

なぜ重要か

新しいバージョンを絶対的な threshold と照らして判断すると、本当のリグレッションと通常のばらつきが混同されます。ライブの baseline と比較することで、それらの外部要因を制御できます。

関連ガイド