TokenizerFunction type

Пакет:

botbuilder-dialogs

Подпись для альтернативного средства разбиения слов, который можно передать в recognizeChoices(), findChoices()или findValues().

type TokenizerFunction = (text: string, locale?: string) => Token[];

type TokenizerFunction = (text: string, locale?: string) => Token[]

Комментарии

defaultTokenizer() довольно простой и только разрывы на пространствах и препинаниях.