Tokeny języka C++
Token jest najmniejszym elementem program w języku C++, który ma znaczenie dla kompilatora.Analizator składni języka C++ rozpoznaje następujące rodzaje tokenów: identyfikatory, słowa kluczowe, literały, operatory, znaki interpunkcyjne i inne separatory.Strumień tych tokenów tworzy jednostkę translacji.
Tokeny są zwykle rozdzielone "białym znakiem." Biały znak może być jeden lub więcej:
Puste
Tabulatory poziome lub pionowe
Nowe wiersze
Wysunięcia
Komentarze
Następujące elementy są uważane za tokeny:
słowo kluczowe, identyfikator, stała, operator, znak interpunkcyjny
Następujące elementy są uważane za tokeny, przed przetwarzaniem:
nagłówek-identyfikator nazwy-znak numeryczny-stały ciąg znaków-literał, operator, znak interpunkcyjny każdy znak niebędący białym znakiem, który nie może być jednym z powyższych
Parser oddziela tokeny ze strumienia wejściowego, tworząc najdłuższy z możliwych token, za pomocą wprowadzonych znaków, podczas skanowania od lewej do prawej.Należy wziąć pod uwagę ten fragment kodu:
a = i+++j;
Programista, który napisał kod mógł przewidywać jedną z tych dwóch instrukcji:
a = i + (++j)
a = (i++) + j
Ponieważ parser tworzy najdłuższy możliwy token ze strumienia wejściowego, wybiera drugą interpretację, tworząc tokeny i++, +, a także j.