KeywordTokenizer interface
Génère la totalité de l’entrée sous la forme d’un unique jeton. Ce générateur de jetons est implémenté à l’aide d’Apache Lucene.
Propriétés
max |
Longueur maximale du jeton. La valeur par défaut est 256. Les jetons dépassant la longueur maximale sont fractionnés. La longueur maximale du jeton qui peut être utilisée est de 300 caractères. Valeur par défaut : 256. |
name | Nom du générateur de jetons. Il doit contenir uniquement des lettres, des chiffres, des espaces, des tirets ou des traits de soulignement. Il doit commencer et se terminer uniquement par des caractères alphanumériques, et ne doit pas dépasser 128 caractères. |
odatatype | Discriminateur polymorphe |
Détails de la propriété
maxTokenLength
Longueur maximale du jeton. La valeur par défaut est 256. Les jetons dépassant la longueur maximale sont fractionnés. La longueur maximale du jeton qui peut être utilisée est de 300 caractères. Valeur par défaut : 256.
maxTokenLength?: number
Valeur de propriété
number
name
Nom du générateur de jetons. Il doit contenir uniquement des lettres, des chiffres, des espaces, des tirets ou des traits de soulignement. Il doit commencer et se terminer uniquement par des caractères alphanumériques, et ne doit pas dépasser 128 caractères.
name: string
Valeur de propriété
string
odatatype
Discriminateur polymorphe
odatatype: "#Microsoft.Azure.Search.KeywordTokenizer" | "#Microsoft.Azure.Search.KeywordTokenizerV2"
Valeur de propriété
"#Microsoft.Azure.Search.KeywordTokenizer" | "#Microsoft.Azure.Search.KeywordTokenizerV2"