O que é um tokenizador?

Um tokenizador varre o código-fonte bruto caractere por caractere e agrupa os caracteres em unidades significativas chamadas tokens, como palavras-chave, operadores e literais. Ele descarta espaços em branco e comentários enquanto atribui a cada token um tipo e uma posição. O fluxo de tokens que ele produz é a entrada que o parser consome para construir uma árvore sintática.

Por que isso importa

Tokenizar primeiro transforma um fluxo não estruturado de caracteres em unidades discretas sobre as quais o parser pode raciocinar. Limites de token claros tornam muito mais simples expressar regras de gramática e mensagens de erro.

Guias relacionados