Token interface
TokenizerFunction傳回的個別令牌。
屬性
| end | 標記在外部字串內的結束字元位置。 |
| normalized | 標記的正規化形式。 這可以包括較低的大小寫或字幹分析等專案。 |
| start | 標記在外部字串內的開始字元位置。 |
| text | 令牌的原始文字。 |
屬性詳細資料
end
標記在外部字串內的結束字元位置。
end: number
屬性值
number
normalized
標記的正規化形式。 這可以包括較低的大小寫或字幹分析等專案。
normalized: string
屬性值
string
start
標記在外部字串內的開始字元位置。
start: number
屬性值
number
text
令牌的原始文字。
text: string
屬性值
string