Statistical Significance Gate とは？
Statistical significance gate は、canary のメトリクス差に仮説検定を適用し、信頼度の threshold を通過したときにのみ意味があるものとして扱います。これは、あらゆるサンプリングされたメトリクスに存在するランダムな変動から、本物のリグレッションを切り分けます。gate は、証拠が十分に強いときにのみ release を不合格にします。
なぜ重要か
有意性検定がないと、小さなランダムな揺れが不要な rollback を引き起こし、pipeline への信頼を損なう可能性があります。gate は、判断をノイズではなく証拠に基づいたものに保ちます。
関連ガイド
What Is a Baseline Comparison?A baseline comparison evaluates a new version against a known-good reference running in the same conditions,…
What Is Automated Canary Judgment?Automated canary judgment is software that decides whether a canary release is healthy by comparing its metri…
What Is an Error Rate Threshold Gate?An error rate threshold gate blocks or rolls back a release when the share of failed requests rises above a s…