TokenizerFunction type
recognizeChoices()、findChoices()、または findValues()に渡すことができる代替ワード ブレーカーの署名。
type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]
注釈
defaultTokenizer() はかなりシンプルで、スペースと句読点でのみ中断されます。