Tokens de C++
Um token é o menor elemento de um programa em C++ que seja significativo para o compilador.O analisador de C++ reconhece esses tipos de tokens: identificadores, palavras-chave, literais, operadores, pontuadores e outros separadores.Um fluxo desses tokens constitui uma unidade de conversão.
Tokens são normalmente separados por "espaço em branco". Espaço em branco pode ser um ou mais:
Espaços em branco
Guias horizontais ou verticais
Novas linhas
Formfeeds
Comentários
A seguir é considerada tokens:
keywordidentifierconstantoperatorpunctuator
A seguir é considerada símbolos de pré-processamento:
cabeçalho-nameidentifierpp-numbercharacter-constantstring-literaloperatorpunctuator cada caractere de espaço em nonwhite não pode ser uma das opções acima
O analisador separa tokens do fluxo de entrada, criando a mais longa possível token usando os caracteres de entrada em um exame da esquerda para a direita.Considere este fragmento de código:
a = i+++j;
O programador que escreveu o código esperado qualquer uma das seguintes duas instruções:
a = i + (++j)
a = (i++) + j
Como o analisador cria o token mais longo possível do fluxo de entrada, ele escolhe a interpretação de segunda, tornando os tokens de i++, +, e j.