TokenizerFunction 接口

public interface TokenizerFunction

表示可将字符串拆分为其组件令牌的回调方法。

方法摘要

修饰符和类型 方法和描述
abstract java.util.List<Token> tokenize(String text, String locale)

可将字符串拆分为其组件标记的回调方法。

方法详细信息

tokenize

public abstract List tokenize(String text, String locale)

可将字符串拆分为其组件标记的回调方法。

Parameters:

text - 输入文本。
locale - (可选)标识输入文本的区域设置。

Returns:

找到的 Token 对象的列表。

适用于