Token interface

TokenizerFunction傳回的個別令牌。

屬性

end

標記在外部字串內的結束字元位置。

normalized

標記的正規化形式。 這可以包括較低的大小寫或字幹分析等專案。

start

標記在外部字串內的開始字元位置。

text

令牌的原始文字。

屬性詳細資料

end

標記在外部字串內的結束字元位置。

end: number

屬性值

number

normalized

標記的正規化形式。 這可以包括較低的大小寫或字幹分析等專案。

normalized: string

屬性值

string

start

標記在外部字串內的開始字元位置。

start: number

屬性值

number

text

令牌的原始文字。

text: string

屬性值

string