Test Flakiness Rate - CI/CD用語集の定義
テストの不安定率は、変更していないコードでテストが断続的に失敗する頻度を測定します。
テストの不安定率とは、変更していないコードで断続的に失敗するテスト実行の割合であり、通常は一定の実行ウィンドウにわたってテストごとに測定されます。これは非決定性がどれだけCIの信頼を損なっているかを定量化します。
テストごとに不安定性を追跡することで、チームは失敗した実行をやみくもに再試行するのではなく、最悪のものを隔離して修正に優先順位を付けられます。
関連ガイド
Flaky Test - CI/CD Glossary DefinitionFlaky Test: A **flaky test** passes and fails on the same code due to nondeterminism (races, timing, external…
Quarantine List - CI/CD Glossary DefinitionQuarantine List: A quarantine list is a set of known-flaky tests temporarily excluded from failing the build,…
Retry Storm - CI/CD Glossary DefinitionRetry Storm: A retry storm is a cascade where many clients retry a failing operation at once, multiplying loa…