Jetons C++
Un jeton est le plus petit volet du programme C++ qui est explicite au compilateur.L'analyseur C++ reconnaît ces types de jetons : identificateurs, mots clés, littéraux, opérateurs, des signes de ponctuation, et d'autres séparateurs.Un flux de données de ces jetons constituent une unité de traduction.
Les jetons sont généralement séparés par « espace blanc. » l'espace blanc peut être un ou plusieurs :
les espaces
Horizontales ou verticales onglets
nouvelles lignes
Chargement de page
Commentaires
Ce qui suit est considéré comme des jetons :
keywordidentifierconstantoperatorpunctuator
Ce qui suit est considéré comme prétraitement des jetons :
en-tête-nameidentifierpp-numbercharacter-constantstring-literaloperatorpunctuator chaque caractère autre que blanc qui ne peut pas être un des éléments précités
L'analyseur sépare les jetons du flux d'entrée en créant le plus long possible de jeton à l'aide de les caractères d'entrée dans une analyse de gauche à droite.Prenons le fragment de code :
a = i+++j;
Le programmeur qui a entré code peut avoir prévu l'un ou l'autre de ces deux instructions :
a = i + (++j)
a = (i++) + j
Étant donné que l'analyseur crée le plus long possible de jeton du flux d'entrée, il choisit la deuxième traduction, rendant les jetons i++, +, et j.