Tokenizer クラス

パッケージ:

com.microsoft.bot.dialogs.choices

Maven 成果物:

com.microsoft.bot:bot-dialogs:4.14.3

• java.lang.Object
• • com.microsoft.bot.dialogs.choices.Tokenizer

実装

TokenizerFunction

public class Tokenizer
implements TokenizerFunction

既定のトークナイザー実装を提供します。

コンストラクターの概要

コンストラクター	説明
Tokenizer()

メソッドの概要

修飾子と型	メソッドと説明
java.util.List<Token>	tokenize(String text, String locale) スペースと句読点を区切る単純なトークナイザー。

メソッドの継承元: java.lang.Object

java.lang.Object.clone java.lang.Object.equals java.lang.Object.finalize java.lang.Object.getClass java.lang.Object.hashCode java.lang.Object.notify java.lang.Object.notifyAll java.lang.Object.toString java.lang.Object.wait java.lang.Object.wait java.lang.Object.wait

コンストラクターの詳細

Tokenizer

public Tokenizer()

メソッドの詳細

tokenize

public List tokenize(String text, String locale)

スペースと句読点を区切る単純なトークナイザー。 行われる正規化は、小文字のみです。

パラメーター:

text - 入力テキスト。

locale - 省略可能。入力テキストのロケールを識別します。

戻り値:

見つかった Token オブジェクトの一覧。