Consumer Group とは？

Consumer group は topic を読むために協調する consumer インスタンスの集合で、システムが partition をメンバー間で分割し、各 partition が同時に一つのメンバーにのみよって消費されるようにします。メンバーを追加すると partition 数まで並列性が増します。group は commit された offset を通じて自分の進捗を追跡します。

なぜ重要か

Consumer group は partition ごとの順序を保ちながら処理を水平方向にスケールできます。並列性は partition 数で上限されるため、partition の数が作業できる consumer の上限を決めます。

関連ガイド