Tokeny C++
Token jest najmniejszy element program w języku C++ jest przydatny do kompilatora.Analizator składni języka C++ rozpoznaje te rodzaje tokeny: identyfikatory, słowa kluczowe, literałów, operatorów, znaków i innych separatorów.Strumień tokeny te tworzą jednostkę tłumaczenia.
Tokeny są zwykle oddzielone "światło". Odstęp może być jeden lub więcej:
Puste
Tabulatory poziomej lub pionowej
Nowe linie
Formfeeds
Komentarze
Tokeny stanowią:
keywordidentifierconstantoperatorpunctuator
Tokeny wstępne przetwarzanie stanowią:
Nagłówek nameidentifierpp-numbercharacter-constantstring-literaloperatorpunctuator każdego znaku miejsca nonwhite nie może być jednym z powyższych
Parser oddziela tokeny ze strumienia wejściowego, tworząc najdłuższy token możliwe przy użyciu znaków wejściowego skanowania od lewej do prawej.Należy wziąć pod uwagę ten fragment kodu:
a = i+++j;
Programista, który napisał ten kod było zamierzone jednej z tych dwóch instrukcji:
a = i + (++j)
a = (i++) + j
Ponieważ parser tworzy token najdłuższy możliwe ze strumienia wejściowego, wybiera drugi interpretacji, tworzenie tokenów i++, +, i j.