MicrosoftLanguageTokenizer Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Divide el texto mediante reglas específicas del idioma.
public class MicrosoftLanguageTokenizer : Azure.Search.Documents.Indexes.Models.LexicalTokenizertype MicrosoftLanguageTokenizer = class
inherit LexicalTokenizerPublic Class MicrosoftLanguageTokenizer
Inherits LexicalTokenizer- Herencia
Constructores
| MicrosoftLanguageTokenizer(String) |
Inicializa una nueva instancia de MicrosoftLanguageTokenizer. |
Propiedades
| IsSearchTokenizer |
Valor que indica cómo se usa el tokenizador. Se establece en true si se usa como tokenizador de búsqueda, establecido en false si se usa como tokenizador de indexación. El valor predeterminado es False. |
| Language |
Idioma que se va a usar. El valor predeterminado es inglés. |
| MaxTokenLength |
Longitud máxima del token. Los tokens que sobrepasen la longitud máxima se dividen. La longitud máxima del token que se puede usar es 300 caracteres. Los tokens de más de 300 caracteres se dividen primero en tokens de longitud 300 y, a continuación, cada uno de esos tokens se divide en función del conjunto de longitud máxima del token. El valor predeterminado es 255. |
| Name |
Nombre del tokenizador. Solo puede contener letras, dígitos, espacios, guiones o guiones bajos, debe empezar y acabar con caracteres alfanuméricos y no puede superar los 128 caracteres. (Heredado de LexicalTokenizer) |