Tokenizer Classe

Paquet:

com.microsoft.bot.dialogs.choices

Artefact Maven:

com.microsoft.bot:bot-dialogs:4.14.3

• java.lang.Object
• • com.microsoft.bot.dialogs.choices.Tokenizer

Implémente

TokenizerFunction

public class Tokenizer
implements TokenizerFunction

Fournit l’implémentation de Tokenizer par défaut.

Récapitulatif du constructeur

Constructeur	Description
Tokenizer()

Résumé de la méthode

Modificateur et type	Méthode et description
java.util.List<Token>	tokenize(String text, String locale) Tokenizer simple qui s’interrompt sur les espaces et la ponctuation.

Méthodes héritées de java.lang.Object

java.lang.Object.clone java.lang.Object.equals java.lang.Object.finalize java.lang.Object.getClass java.lang.Object.hashCode java.lang.Object.notify java.lang.Object.notifyAll java.lang.Object.toString java.lang.Object.wait java.lang.Object.wait java.lang.Object.wait

Détails du constructeur

Tokenizer

public Tokenizer()

Détails de la méthode

tokenize

public List tokenize(String text, String locale)

Tokenizer simple qui s’interrompt sur les espaces et la ponctuation. La seule normalisation effectuée consiste à mettre en minuscules.

Paramètres:

text - Texte d’entrée.

locale - Facultatif, identifie les paramètres régionaux du texte d’entrée.

Retours:

Liste des objets Token trouvés.