O Que É um Offset do Kafka?

Um offset no Kafka é um inteiro monotonicamente crescente que identifica de forma única a posição de cada mensagem dentro de uma única partition. Os consumers confirmam o offset do último registro que trataram para poderem retomar do ponto certo após um restart. Como os offsets são por partition, ordenação e progresso são rastreados de forma independente para cada uma.

Por que isso importa

Offsets confirmados são o que tornam o consumo retomável e decidem se um restart reprocessa ou pula mensagens. Confirmar antes ou depois do processamento é a alavanca entre o comportamento at-least-once e at-most-once.

Guias relacionados