LuceneStandardTokenizer interface

Paket:

@azure/search-documents

Hentian teks mengikuti aturan Segmentasi Teks Unicode. Tokenizer ini diimplementasikan menggunakan Apache Lucene.

Properti

maxTokenLength	Panjang token maksimum. Defaultnya adalah 255. Token yang lebih panjang dari panjang maksimum dibagi. Panjang token maksimum yang dapat digunakan adalah 300 karakter. Nilai default: 255.
name	Nama tokenizer. Ini hanya boleh berisi huruf, digit, spasi, tanda hubung atau garis bawah, hanya dapat dimulai dan diakhir dengan karakter alfanumerik, dan dibatasi hingga 128 karakter.
odatatype	Diskriminator Polimorfik

Detail Properti

maxTokenLength

Panjang token maksimum. Defaultnya adalah 255. Token yang lebih panjang dari panjang maksimum dibagi. Panjang token maksimum yang dapat digunakan adalah 300 karakter. Nilai default: 255.

maxTokenLength?: number

Nilai Properti

number

name

Nama tokenizer. Ini hanya boleh berisi huruf, digit, spasi, tanda hubung atau garis bawah, hanya dapat dimulai dan diakhir dengan karakter alfanumerik, dan dibatasi hingga 128 karakter.

name: string

Nilai Properti

string

odatatype

Diskriminator Polimorfik

odatatype: "#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"

Nilai Properti

"#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"