Partager via

MicrosoftLanguageTokenizer interface

  • Référence
Paquet:
@azure/search-documents

Divise le texte en utilisant des règles spécifiques à la langue.

Extends
BaseLexicalTokenizer

Propriétés

isSearchTokenizer

Valeur indiquant la façon dont le générateur de jetons est utilisé. Définissez sur true si utilisé comme générateur de jetons de recherche, sur false si utilisé comme générateur de jetons d’indexation. La valeur par défaut est false.
language

Langue à utiliser. La valeur par défaut est l’anglais.
maxTokenLength

Longueur maximale du jeton. Les jetons dépassant la longueur maximale sont fractionnés. La longueur maximale des jetons qui peut être utilisée est de 300 caractères. Les jetons de plus de 300 caractères sont d’abord divisés en jetons de longueur 300, puis chacun de ces jetons est fractionné en fonction de la longueur maximale des jetons définie. La valeur par défaut est 255.
odatatype

Discriminateur polymorphe, qui spécifie les différents types que cet objet peut être

Propriétés héritées

name

Nom du générateur de jetons. Il doit contenir uniquement des lettres, des chiffres, des espaces, des tirets ou des traits de soulignement. Il doit commencer et se terminer uniquement par des caractères alphanumériques, et ne doit pas dépasser 128 caractères.

Détails de la propriété

isSearchTokenizer

Valeur indiquant la façon dont le générateur de jetons est utilisé. Définissez sur true si utilisé comme générateur de jetons de recherche, sur false si utilisé comme générateur de jetons d’indexation. La valeur par défaut est false.

isSearchTokenizer?: boolean

Valeur de propriété

boolean

language

Langue à utiliser. La valeur par défaut est l’anglais.

language?: MicrosoftTokenizerLanguage

Valeur de propriété

MicrosoftTokenizerLanguage

maxTokenLength

Longueur maximale du jeton. Les jetons dépassant la longueur maximale sont fractionnés. La longueur maximale des jetons qui peut être utilisée est de 300 caractères. Les jetons de plus de 300 caractères sont d’abord divisés en jetons de longueur 300, puis chacun de ces jetons est fractionné en fonction de la longueur maximale des jetons définie. La valeur par défaut est 255.

maxTokenLength?: number

Valeur de propriété

number

odatatype

Discriminateur polymorphe, qui spécifie les différents types que cet objet peut être

odatatype: "#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Valeur de propriété

"#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

Détails de la propriété héritée

name

Nom du générateur de jetons. Il doit contenir uniquement des lettres, des chiffres, des espaces, des tirets ou des traits de soulignement. Il doit commencer et se terminer uniquement par des caractères alphanumériques, et ne doit pas dépasser 128 caractères.

name: string

Valeur de propriété

string

Hérité deBaseLexicalTokenizer.name