Dela via

MicrosoftLanguageTokenizer interface

  • Referens
Paket:
@azure/search-documents

Delar upp text med språkspecifika regler.

Extends
BaseLexicalTokenizer

Egenskaper

isSearchTokenizer

Ett värde som anger hur tokenizer används. Ange till true om det används som söktokeniserare och ange false om det används som indexeringstokeniserare. Standardvärdet är false.
language

Det språk som ska användas. Standardvärdet är engelska.
maxTokenLength

Maximal tokenlängd. Token som är längre än den maximala längden delas upp. Maximal tokenlängd som kan användas är 300 tecken. Token som är längre än 300 tecken delas först upp i token med längden 300 och sedan delas var och en av dessa token upp baserat på den maximala tokenlängdsuppsättningen. Standardvärdet är 255.
odatatype

Polymorf diskriminator, som anger vilka typer det här objektet kan vara

Ärvda egenskaper

name

Namnet på tokenizern. Den får bara innehålla bokstäver, siffror, blanksteg, bindestreck eller understreck, får bara börja och sluta med alfanumeriska tecken och är begränsad till 128 tecken.

Egenskapsinformation

isSearchTokenizer

Ett värde som anger hur tokenizer används. Ange till true om det används som söktokeniserare och ange false om det används som indexeringstokeniserare. Standardvärdet är false.

isSearchTokenizer?: boolean

Egenskapsvärde

boolean

language

Det språk som ska användas. Standardvärdet är engelska.

language?: MicrosoftTokenizerLanguage

Egenskapsvärde

MicrosoftTokenizerLanguage

maxTokenLength

Maximal tokenlängd. Token som är längre än den maximala längden delas upp. Maximal tokenlängd som kan användas är 300 tecken. Token som är längre än 300 tecken delas först upp i token med längden 300 och sedan delas var och en av dessa token upp baserat på den maximala tokenlängdsuppsättningen. Standardvärdet är 255.

maxTokenLength?: number

Egenskapsvärde

number

odatatype

Polymorf diskriminator, som anger vilka typer det här objektet kan vara

odatatype: "#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Egenskapsvärde

"#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Information om ärvda egenskaper

name

Namnet på tokenizern. Den får bara innehålla bokstäver, siffror, blanksteg, bindestreck eller understreck, får bara börja och sluta med alfanumeriska tecken och är begränsad till 128 tecken.

name: string

Egenskapsvärde

string

Ärvd frånBaseLexicalTokenizer.name