TokenizerType Énumération
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
public enum TokenizerTypetype TokenizerType = - Héritage
-
TokenizerType
Champs
| Nom | Valeur | Description |
|---|---|---|
| None | 0 | Cette valeur indique qu’aucun jeton ne doit être extrait de cette propriété. Il n’est valide que pour tokenizer_type 'NONE' si getIndexingType() est INDEXING_TYPE_NONE. Les parties de cette page sont des modifications basées sur le travail créé et partagé par le projet Android Open Source et utilisés en fonction des termes décrits dans la licence d’attribution Creative Commons 2.5. |
| Plain | 1 | Tokenization for plain text. Cette valeur indique que les jetons doivent être extraits de cette propriété en fonction des sauts de mot. Les segments d’espace blanc et de ponctuation ne sont pas considérés comme des jetons. Par exemple, une propriété avec « foo bar ». baz." produit des jetons pour « foo », « bar » et « baz ». Les segments « » et « ». ne seront pas considérés comme des jetons. Il n’est valide que pour tokenizer_type être « PLAIN » si getIndexingType() est INDEXING_TYPE_EXACT_TERMS ou INDEXING_TYPE_PREFIXES. Les parties de cette page sont des modifications basées sur le travail créé et partagé par le projet Android Open Source et utilisés en fonction des termes décrits dans la licence d’attribution Creative Commons 2.5. |
| Verbatim | 2 | Cette valeur indique qu’aucune normalisation ou segmentation ne doit être appliquée aux valeurs de chaîne qui sont tokenisées à l’aide de ce type. Par conséquent, le jeton de sortie équivaut à la valeur de chaîne brute. Par exemple, une propriété avec « Hello, world ! » produit le jeton « Hello, world ! », préservant la ponctuation et la mise en majuscules, et ne créent pas de jetons distincts entre l’espace. Il n’est valide que pour tokenizer_type être « VERBATIM » si getIndexingType() est INDEXING_TYPE_EXACT_TERMS ou INDEXING_TYPE_PREFIXES. Les parties de cette page sont des modifications basées sur le travail créé et partagé par le projet Android Open Source et utilisés en fonction des termes décrits dans la licence d’attribution Creative Commons 2.5. |
| Rfc822 | 3 | Tokenisation pour les e-mails. Cette valeur indique que les jetons doivent être extraits de cette propriété en fonction de la structure de messagerie. Par exemple, une propriété avec «alex.sav@google.com » produit des jetons pour « alex », « sav », « alex.sav », « google », « com » et «alexsav@google.com » Il est valide uniquement pour tokenizer_type être « RFC822 » si getIndexingType() est INDEXING_TYPE_EXACT_TERMS ou INDEXING_TYPE_PREFIXES. Les parties de cette page sont des modifications basées sur le travail créé et partagé par le projet Android Open Source et utilisés en fonction des termes décrits dans la licence d’attribution Creative Commons 2.5. |