Tokenizer.DefaultTokenizerImpl(String, String) 方法
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
在空格和標點符號上中斷的簡單 Tokenizer。 唯一完成的正規化是小寫。
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)參數
- text
- String
輸入文字。
- locale
- String
選擇性，識別輸入文字的地區設定。
傳回
Token 的清單。
備註
這是演算法 JavaScript 實作的確切埠，不同之處在于這裡會使用 .NET 程式庫函式來取代 JavaScript 字串程式碼點函式。