Tokenizer.DefaultTokenizerImpl(String, String) 메서드

참조

정의

네임스페이스:: Microsoft.Bot.Builder.Dialogs.Choices

어셈블리:: Microsoft.Bot.Builder.Dialogs.dll

패키지:: Microsoft.Bot.Builder.Dialogs v4.18.1

중요

일부 정보는 릴리스되기 전에 상당 부분 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보에 대해 어떠한 명시적이거나 묵시적인 보증도 하지 않습니다.

공백 및 문장 부호를 중단하는 간단한 토큰화기입니다. 유일한 정규화는 소문자입니다.

public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl (string text, string locale = default);

static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>

Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)

매개 변수

text: String

입력 텍스트입니다.

locale: String

선택 사항으로 입력 텍스트의 로캘을 식별합니다.

반환

List<Token>

토큰의 목록입니다.

설명

여기서 .NET 라이브러리 함수가 JavaScript 문자열 코드 포인트 함수 대신 사용된다는 점을 제외하고 알고리즘의 JavaScript 구현에 대한 정확한 포트입니다.

적용 대상