Token interface
Token individual dikembalikan oleh TokenizerFunction.
Properti
| end | Akhiri posisi karakter token dalam string luar. |
| normalized | Bentuk token yang dinormalisasi. Ini dapat mencakup hal-hal seperti casing atau stemming yang lebih rendah. |
| start | Mulai posisi karakter token dalam string luar. |
| text | Teks asli token. |
Detail Properti
end
Akhiri posisi karakter token dalam string luar.
end: number
Nilai Properti
number
normalized
Bentuk token yang dinormalisasi. Ini dapat mencakup hal-hal seperti casing atau stemming yang lebih rendah.
normalized: string
Nilai Properti
string
start
Mulai posisi karakter token dalam string luar.
start: number
Nilai Properti
number
text
Teks asli token.
text: string
Nilai Properti
string