TokenizerFunction インターフェイス
public interface TokenizerFunction
文字列をコンポーネント トークンに分割できるコールバック メソッドを表します。
メソッドの概要
| 修飾子と型 | メソッドと説明 |
|---|---|
| abstract java.util.List<Token> |
tokenize(String text, String locale)
文字列をコンポーネント トークンに分割できるコールバック メソッド。 |
メソッドの詳細
tokenize
public abstract List
文字列をコンポーネント トークンに分割できるコールバック メソッド。
パラメーター:
text
- 入力テキスト。
locale
- 省略可能。入力テキストのロケールを識別します。
戻り値:
見つかった Token オブジェクトの一覧。