C++-Tokens
Ein Token ist das kleinste Element eines C++-Programms, das für den Compiler von Bedeutung ist. Der C++-Parser erkennt folgende Arten von Token: Bezeichner, Schlüsselwörter, Literale, Operatoren, Markierungszeichen und andere Trennzeichen. Ein Stream dieser Token bildet eine Übersetzungseinheit.
Token werden normalerweise durch "Leerstellen" getrennt. Folgende Elemente können Leerstellen sein:
Leerzeichen
Horizontale oder vertikale Tabstopps
Zeilenumbrüche
Seitenvorschübe
Kommentare
Die folgenden Elemente werden als Token betrachtet:
keywordidentifierconstantoperatorpunctuator
Die folgenden Elemente werden als Vorverarbeitungstoken betrachtet:
header-nameidentifierpp-numbercharacter-constantstring-literaloperatorpunctuator Jedes Zeichen, das keine Leerstelle ist, das keines der oben genannten sein kann
Der Parser trennt Token vom Eingabestream, indem das längstmögliche Token mithilfe der Eingabezeichen in einer Prüfung von links nach rechts erstellt wird. Betrachten Sie dieses Codefragment:
a = i+++j;
Der Programmierer, der den Code geschrieben hat, hat möglicherweise eine dieser beiden Anweisungen beabsichtigt:
a = i + (++j)
a = (i++) + j
Da der Parser das längstmögliche Token aus dem Eingabestream erstellt, wählt er die zweite Interpretation, die Token werden i++, + und j.