ClassicTokenizer interface

Paket:

@azure/search-documents

Tokenizer berbasis tata bahasa yang cocok untuk memproses sebagian besar dokumen berbahasa Eropa. Tokenizer ini diimplementasikan menggunakan Apache Lucene.

Memperluas

BaseLexicalTokenizer

Properti

maxTokenLength	Panjang token maksimum. Defaultnya adalah 255. Token yang lebih panjang dari panjang maksimum dibagi. Panjang token maksimum yang dapat digunakan adalah 300 karakter.
odatatype	Diskriminator polimorfik, yang menentukan berbagai jenis objek ini dapat

Properti yang Diwariskan

name	Nama tokenizer. Ini hanya boleh berisi huruf, digit, spasi, tanda hubung atau garis bawah, hanya dapat dimulai dan diakhir dengan karakter alfanumerik, dan dibatasi hingga 128 karakter.

Detail Properti

maxTokenLength

Panjang token maksimum. Defaultnya adalah 255. Token yang lebih panjang dari panjang maksimum dibagi. Panjang token maksimum yang dapat digunakan adalah 300 karakter.

maxTokenLength?: number

Nilai Properti

number

odatatype

Diskriminator polimorfik, yang menentukan berbagai jenis objek ini dapat

odatatype: "#Microsoft.Azure.Search.ClassicTokenizer"

Nilai Properti

"#Microsoft.Azure.Search.ClassicTokenizer"

Detail Properti yang Diwariskan

name

Nama tokenizer. Ini hanya boleh berisi huruf, digit, spasi, tanda hubung atau garis bawah, hanya dapat dimulai dan diakhir dengan karakter alfanumerik, dan dibatasi hingga 128 karakter.

name: string

Nilai Properti

string

Diwarisi dari LexicalTokenizer.name