Kafka Offset とは？

Kafka の offset は、単一の partition 内で各メッセージの位置を一意に識別する単調増加する整数です。consumer は扱った最後のレコードの offset を commit し、restart 後に正しい位置から再開できるようにします。offset は partition ごとなので、順序と進捗はそれぞれについて独立して追跡されます。

なぜ重要か

commit された offset は消費を再開可能にし、restart がメッセージを再生するかスキップするかを決定します。処理の前に commit するか後にするかは、at-least-once と at-most-once の振る舞いを切り替えるレバーです。

関連ガイド