TokenizerFunction 接口
public interface TokenizerFunction
表示可将字符串拆分为其组件令牌的回调方法。
方法摘要
修饰符和类型 | 方法和描述 |
---|---|
abstract java.util.List<Token> |
tokenize(String text, String locale)
可将字符串拆分为其组件标记的回调方法。 |
方法详细信息
tokenize
public abstract List
可将字符串拆分为其组件标记的回调方法。
Parameters:
text
- 输入文本。
locale
- (可选)标识输入文本的区域设置。
Returns:
找到的 Token 对象的列表。