Flaky Test Detector とは？

flaky test detector は、コードの変更なしに実行ごとに一貫しない結果を生むテストを見つけるツールです。過去の成功・失敗データを調べ、時にはテストを再実行して、断続的に失敗するものを見つけ出します。検出された flaky なテストは、タグ付け、隔離、または修正の優先付けが可能です。

なぜ重要か

flaky なテストは、赤い build がもはや壊れたコードを確実には意味しなくなるため、CI への信頼を損ないます。Latchkey の managed runner では、flaky な失敗が不要な再実行で課金対象の分を浪費するため、それらをフラグ付けすることで信頼とコストの双方を守ります。