Token.py

Define os tipos de tokens que podem ser reconhecidos pelo compilador.

Funções/Classes principais

• Estrutura Token com atributos como:
• tipo (palavra-chave, identificador, número, símbolo, etc.)
• valor
• posição no código-fonte

Exemplos de tipos de token

• KEYWORD → if, while, int
• IDENTIFIER → nomes de variáveis e funções
• NUMBER → constantes numéricas
• SYMBOL → operadores e delimitadores ```

---