Flaky Test Quarantine - CI/CD用語集の定義

flakyテストの隔離 とは、既知のflakyテストを分離し、その非決定的な失敗がpipelineをブロックしないようにする一方で、本当の修正に向けて追跡・可視化された状態を保つ実践です。テストは実行されますが、その結果はブロッキングではありません。

なぜ重要か

隔離は、たった1つの信頼できないテストがCIへの信頼を損ない、無関係なmergeをブロックするのを防ぎます。これは応急処置です。隔離されたテストは修正または削除すべきで、放置して腐らせるべきではありません。flakyな失敗を自動リトライする自己修復CIも、同様の猶予を生みます。