Flaky Test Quarantine - CI/CD用語集の定義

flakyなテストをquarantineすると、テストは実行と監視を続けつつもbuildを失敗させなくなり、テストを単に削除することなくmergeの速度を守れます。

flaky test quarantineは、既知のflakyなテストを非ブロッキングのバケットへ移し、その断続的な失敗がpipelineを失敗させないようにするもので、テストは引き続き実行・追跡され、修正のうえブロッキングのスイートへ戻せるようにします。

quarantineは、flakyなテストを信頼することと削除することの間の、制御された中間地点です。

quarantineしても忘れない

quarantineされたテストは、flakeの発生率が見えるように、なお実行しレポートすべきです。さもないとquarantineは墓場になります。限られた期間内に修正するか削除するという期待値を設定してください。