MicrosoftLanguageTokenizer interface

Pacote:

@azure/search-documents

Divide o texto com regras específicas do idioma.

Extends

BaseLexicalTokenizer

Propriedades

isSearchTokenizer	Um valor que indica como o tokenizer é utilizado. Defina como verdadeiro se for utilizado como tokenizador de pesquisa, defina como falso se for utilizado como o tokenizador de indexação. A predefinição é falso.
language	O idioma a utilizar. A predefinição é inglês.
maxTokenLength	O comprimento máximo do token. Os tokens com mais comprimento do que o comprimento máximo são divididos. O comprimento máximo do token que pode ser utilizado é de 300 carateres. Os tokens com mais de 300 carateres são divididos em tokens de comprimento 300 e, em seguida, cada um desses tokens é dividido com base no conjunto de comprimento máximo do token. A predefinição é 255.
odatatype	Discriminador polimórfico, que especifica os diferentes tipos que este objeto pode ser

Propriedades Herdadas

name	O nome do tokenizer. Só tem de conter letras, dígitos, espaços, traços ou carateres de sublinhado, só pode começar e terminar com carateres alfanuméricos e está limitado a 128 carateres.

Detalhes de Propriedade

isSearchTokenizer

Um valor que indica como o tokenizer é utilizado. Defina como verdadeiro se for utilizado como tokenizador de pesquisa, defina como falso se for utilizado como o tokenizador de indexação. A predefinição é falso.

isSearchTokenizer?: boolean

Valor de Propriedade

boolean

language

O idioma a utilizar. A predefinição é inglês.

language?: MicrosoftTokenizerLanguage

Valor de Propriedade

MicrosoftTokenizerLanguage

maxTokenLength

O comprimento máximo do token. Os tokens com mais comprimento do que o comprimento máximo são divididos. O comprimento máximo do token que pode ser utilizado é de 300 carateres. Os tokens com mais de 300 carateres são divididos em tokens de comprimento 300 e, em seguida, cada um desses tokens é dividido com base no conjunto de comprimento máximo do token. A predefinição é 255.

maxTokenLength?: number

Valor de Propriedade

number

odatatype

Discriminador polimórfico, que especifica os diferentes tipos que este objeto pode ser

odatatype: "#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Valor de Propriedade

"#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Detalhes da Propriedade Herdada

name

O nome do tokenizer. Só tem de conter letras, dígitos, espaços, traços ou carateres de sublinhado, só pode começar e terminar com carateres alfanuméricos e está limitado a 128 carateres.

name: string

Valor de Propriedade

string

Herdado deBaseLexicalTokenizer.name