Token interface

Отдельный маркер, возвращаемый TokenizerFunction.

Свойства

end	Позиция конечного символа маркера во внешней строке.
normalized	Нормализованная форма маркера. Это могут быть такие вещи, как нижний регистр или ствол.
start	Начальная позиция символа маркера во внешней строке.
text	Исходный текст маркера.

Позиция конечного символа маркера во внешней строке.

end: number

number

Нормализованная форма маркера. Это могут быть такие вещи, как нижний регистр или ствол.

normalized: string

string

Начальная позиция символа маркера во внешней строке.

start: number

number

Исходный текст маркера.

text: string

string