TokenizerFunction インターフェイス
public interface TokenizerFunction
文字列をコンポーネント トークンに分割できるコールバック メソッドを表します。
メソッドの概要
| 修飾子と型 | メソッドと説明 |
|---|---|
| abstract java.util.List<Token> |
tokenize(String text, String locale)
文字列をコンポーネント トークンに分割できるコールバック メソッド。 |
メソッドの詳細
tokenize
public abstract List<Token> tokenize(String text, String locale)
文字列をコンポーネント トークンに分割できるコールバック メソッド。
パラメーター:
text
- 入力テキスト。
locale
- 省略可能。入力テキストのロケールを識別します。
返品:
見つかった Token オブジェクトの一覧。