テスト flake 率 - CI/CD 用語集の定義
テスト flake 率とは、変更されていないコードに対してテスト実行が非決定的に失敗する割合であり、通常は一定期間における flaky な失敗を総実行数で割った値として測定されます。これは green な build をどれだけ信頼できるかを定量化します。
なぜ測定するのか
flake 率が上昇するとシグナルが損なわれ、開発者は red な build を無視し始めます。テストごとに flake 率を追跡すれば、すべてを反射的に retry するのではなく、最悪のテストを隔離したり修正したりできます。
CI では
同じ commit で失敗した後に retry で通るテストを検出して flake 率を算出します。Latchkey のようなプラットフォームで実行するチームは、これを使って本物のリグレッションを一時的なインフラのノイズから切り分けます。