GitHub Actionsランナーのベンチマーク方法（速度とコスト）

ベンダーのベンチマークは操作されやすいものです。実際のビルドで、公平な条件の比較を自分で行う方法を紹介します。

本当に重要なベンチマークは、あなたのパイプラインそのものです。合成的な数値が実際のワークロードと一致することはほとんどありません。この方法論を使って、請求額と開発者に影響する指標でランナーを公平に測定しましょう。

変数を制御する

• 同じコミット、同じキャッシュ状態、同じ時間帯。
• 20回以上繰り返し、最良値ではなく中央値を取る。
• 速度だけでなく実行あたりのコストを測定する。高速なプレミアムランナーが最も高コストな選択になることもある。

信頼性を忘れずに

10%高速でも一時的に15%の確率で失敗するランナーは、再実行を数えると実際には遅くなります。比較には不安定な失敗率を織り込みましょう。自己修復するランナーは自動的に回復するため、この点で優れています。

結論

自分のビルドで、多数の実行にわたって、速度とコストと信頼性で測定してください。Latchkeyは信頼性とコストの軸で勝つように作られています。あなたのパイプラインで測定してみてください。

関連ガイド