Token C++
Un token è il più piccolo elemento di un programma C++ che è significativo per il compilatore. Il parser C++ riconosce questi tipi di token: identificatori, parole chiave, valori letterali, operatori, segni d'interpunzione e altri separatori. Un flusso di questi token costituisce un'unità di conversione.
I token vengono generalmente separati da "spazi." Gli spazi posso essere uno o più:
: (vuoto)
Tabulazioni orizzontali o verticali
Nuove righe
Formfeeds
Commenti
I seguenti vengono considerati tokens:
keywordidentifierconstantoperatorpunctuator
I seguenti vengono considerati token di pre-preprocessing:
header-nameidentifierpp-numbercharacter-constantstring-literaloperatorpunctuator ogni carattere diverso dello spazio che non può essere uno di cui sopra
Il parser separa i token dal flusso di input creando il token più lungo possibile mediante l'utilizzo di caratteri di input in una scansione da sinistra a destra. Si consideri il seguente frammento di codice:
a = i+++j;
Il programmatore che ha scritto il codice potrebbe aver inteso una delle due istruzioni:
a = i + (++j)
a = (i++) + j
Poiché il parser crea il token più lungo possibile a partire dal flusso di input, sceglie la seconda interpretazione, evidenziando i token i++, + e j.