C++-Token
Ein Token ist die kleinste Element aus einem C++-Programm, das dem Compiler sinnvoll ist.Der C++-Parser erkennt diese Arten von Token: Bezeichner, Schlüsselwörter, Literale, Operatoren, Markierungszeichen und andere Trennzeichen.Ein Stream dieser Token bildet eine Übersetzungseinheit.
Token „i. d. R. durch Leerzeichen getrennt werden.“ Leerraum können eine oder mehrere sein:
Leerzeichen
Die horizontale oder vertikale Registerkarten
Neue Zeilen
Seitenvorschübe
Kommentare
Die folgenden als Token betrachtet:
keywordidentifierconstantoperatorpunctuator
Folgende ist Vorverarbeiten von Token betrachtet:
Header-nameidentifierpp-numbercharacter-constantstring-literaloperatorpunctuator jedes Zeichen, die keine Leerstelle ist, das keins von den oben genannten werden kann
Der Parser trennt Token aus dem Eingabestream, indem er das längste Scheinmögliche mithilfe der Eingabezeichen in einer Überprüfung von links nach rechts erstellt.Verwenden Sie dieses Codefragment:
a = i+++j;
Der Programmierer, der den Code geschrieben wurde, kann für die eine dieser beiden Anweisungen:
a = i + (++j)
a = (i++) + j
Da der Parser das längste Scheinmögliche aus dem Eingabestream erstellt wird, wählt er die zweite Interpretation aus und macht die Token i++, +und j.