Tokeny C++
Token je nejmenší prvek C++ program, který je smysluplný kompilátoru.Analyzátor jazyka C++ rozpoznává tyto druhy tokeny: identifikátory, klíčová slova, literálů, operátorů, ve svém interpunkčních znaků a jiné oddělovače.Datový proud tyto tokeny tvoří jednotku překlad.
Tokeny jsou odděleny obvykle "bílá místa". Mezera může být jeden nebo více:
Prázdné buňky
Vodorovné nebo svislé karty
Nové řádky
Formfeeds
Komentáře
Tokeny považují:
keywordidentifierconstantoperatorpunctuator
Předzpracování tokeny považují:
záhlaví nameidentifierpp-numbercharacter-constantstring-literaloperatorpunctuator každý znak nonwhite místo nemůže být jeden z výše uvedených
Analyzátor odděluje tokeny z vstupní proud vytvořením nejdelší token možného použití vstupní znaků při skenování zleva doprava.Zvažte tento fragment kódu:
a = i+++j;
Programátor, který napsali kód zamýšleli buď tyto dva příkazy:
a = i + (++j)
a = (i++) + j
Protože analyzátor token nejdelší možné z vytvoří vstupní proud, zvolí druhé výkladu, provádění tokeny i++, +, a j.