TokenizerFunction type
recognizeChoices(), findChoices()또는 findValues()전달할 수 있는 대체 단어 분리기에 대한 서명입니다.
type TokenizerFunction = (text: string, locale?: string) => Token[];
type TokenizerFunction = (text: string, locale?: string) => Token[]
설명
defaultTokenizer() 매우 간단하고 공백과 문장 부호에서만 중단됩니다.