Lexer - Definição do Glossário de CI/CD

Um lexer (tokenizador) lê o código-fonte caractere a caractere e os agrupa em tokens (palavras-chave, identificadores, números, operadores), descartando espaços em branco e comentários; é o primeiro estágio do compilador e entrega seu fluxo de tokens ao parser.

Guias relacionados

Parser - CI/CD Glossary DefinitionA parser consumes tokens from the lexer and builds an abstract syntax tree per the language grammar, reportin… Abstract Syntax Tree - CI/CD Glossary DefinitionAn abstract syntax tree is the structured tree a parser builds from source, capturing its grammar without pun… Semantic Analysis - CI/CD Glossary DefinitionSemantic analysis checks an AST for meaning-level rules a grammar can’t - scope, types, declared-before-use -…