Dela via

LuceneStandardTokenizer interface

  • Referens
Paket:
@azure/search-documents

Delar upp text efter Unicode-reglerna för textsegmentering. Denna tokenizer implementeras med Apache Lucene.

Egenskaper

maxTokenLength

Maximal tokenlängd. Standardvärdet är 255. Token som är längre än den maximala längden delas upp. Den maximala tokenlängden som kan användas är 300 tecken. Standardvärde: 255.
name

Namnet på tokenizern. Den får bara innehålla bokstäver, siffror, blanksteg, bindestreck eller understreck, får bara börja och sluta med alfanumeriska tecken och är begränsad till 128 tecken.
odatatype

Polymorfdiskriminator

Egenskapsinformation

maxTokenLength

Maximal tokenlängd. Standardvärdet är 255. Token som är längre än den maximala längden delas upp. Den maximala tokenlängden som kan användas är 300 tecken. Standardvärde: 255.

maxTokenLength?: number

Egenskapsvärde

number

name

Namnet på tokenizern. Den får bara innehålla bokstäver, siffror, blanksteg, bindestreck eller understreck, får bara börja och sluta med alfanumeriska tecken och är begränsad till 128 tecken.

name: string

Egenskapsvärde

string

odatatype

Polymorfdiskriminator

odatatype: "#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"

Egenskapsvärde

"#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"