Tail Latencyとは何か？

Tail latencyは、p99やp99.9のような高いパーセンタイルで捉えられる、応答時間分布の遅い端を指します。これは、競合、ガベージコレクション、retry、あるいは不運なルーティングによって引き起こされる最悪ケースの体験を反映します。1つのリクエストを多数のサービスにファンアウトするシステムでは、最も遅いコンポーネントが全体のlatencyを決めることがよくあります。

なぜ重要か

1つのページが多数のバックエンド呼び出しを行うと、少なくとも1つが裾に当たる確率が急速に高まるため、平均ではなくtail latencyが実際のユーザー体験を形作ります。それを削減することは、中核的な信頼性の目標です。

関連ガイド