Tokenizer.DefaultTokenizerImpl(String, String) Metodo
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Tokenizzatore semplice che interrompe gli spazi e la punteggiatura. L'unica normalizzazione eseguita è quella minuscola.
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);
static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>
Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)
Parametri
- text
- String
Testo di input.
- locale
- String
Facoltativo, identifica le impostazioni locali del testo di input.
Restituisce
Elenco di token.
Commenti
Si tratta di una porta esatta dell'implementazione JavaScript dell'algoritmo, ad eccezione del fatto che le funzioni della libreria .NET vengono usate al posto delle funzioni del punto di codice stringa JavaScript.