Bagikan melalui


Token interface

Token individual dikembalikan oleh TokenizerFunction.

Properti

end

Akhiri posisi karakter token dalam string luar.

normalized

Bentuk token yang dinormalisasi. Ini dapat mencakup hal-hal seperti casing atau stemming yang lebih rendah.

start

Mulai posisi karakter token dalam string luar.

text

Teks asli token.

Detail Properti

end

Akhiri posisi karakter token dalam string luar.

end: number

Nilai Properti

number

normalized

Bentuk token yang dinormalisasi. Ini dapat mencakup hal-hal seperti casing atau stemming yang lebih rendah.

normalized: string

Nilai Properti

string

start

Mulai posisi karakter token dalam string luar.

start: number

Nilai Properti

number

text

Teks asli token.

text: string

Nilai Properti

string