MicrosoftLanguageTokenizer interface

Paquete:

@azure/search-documents

Divide el texto mediante reglas específicas del idioma.

Extends

BaseLexicalTokenizer

Propiedades

isSearchTokenizer	Valor que indica cómo se usa el tokenizador. Se establece en true si se usa como tokenizador de búsqueda, se establece en false si se usa como tokenizador de indexación. El valor predeterminado es False.
language	Idioma que se va a usar. El valor predeterminado es inglés.
maxTokenLength	Longitud máxima del token. Los tokens que sobrepasen la longitud máxima se dividen. La longitud máxima del token que se puede usar es 300 caracteres. Los tokens de más de 300 caracteres se dividen primero en tokens de longitud 300 y, a continuación, cada uno de esos tokens se divide en función del conjunto de longitud máxima del token. El valor predeterminado es 255.
odatatype	Discriminador polimórfico, que especifica los diferentes tipos que puede ser este objeto

Propiedades heredadas

name	Nombre del tokenizador. Solo puede contener letras, dígitos, espacios, guiones o guiones bajos, debe empezar y acabar con caracteres alfanuméricos y no puede superar los 128 caracteres.

Detalles de las propiedades

isSearchTokenizer

Valor que indica cómo se usa el tokenizador. Se establece en true si se usa como tokenizador de búsqueda, se establece en false si se usa como tokenizador de indexación. El valor predeterminado es False.

isSearchTokenizer?: boolean

Valor de propiedad

boolean

language

Idioma que se va a usar. El valor predeterminado es inglés.

language?: MicrosoftTokenizerLanguage

Valor de propiedad

MicrosoftTokenizerLanguage

maxTokenLength

Longitud máxima del token. Los tokens que sobrepasen la longitud máxima se dividen. La longitud máxima del token que se puede usar es 300 caracteres. Los tokens de más de 300 caracteres se dividen primero en tokens de longitud 300 y, a continuación, cada uno de esos tokens se divide en función del conjunto de longitud máxima del token. El valor predeterminado es 255.

maxTokenLength?: number

Valor de propiedad

number

odatatype

Discriminador polimórfico, que especifica los diferentes tipos que puede ser este objeto

odatatype: "#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Valor de propiedad

"#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Detalles de las propiedades heredadas

name

Nombre del tokenizador. Solo puede contener letras, dígitos, espacios, guiones o guiones bajos, debe empezar y acabar con caracteres alfanuméricos y no puede superar los 128 caracteres.

name: string

Valor de propiedad

string

Heredado deBaseLexicalTokenizer.name