Condividi tramite


Tokenizer.DefaultTokenizerImpl(String, String) Metodo

Definizione

Tokenizzatore semplice che interrompe gli spazi e la punteggiatura. L'unica normalizzazione eseguita è quella minuscola.

public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);
static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>
Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)

Parametri

text
String

Testo di input.

locale
String

Facoltativo, identifica le impostazioni locali del testo di input.

Restituisce

Elenco di token.

Commenti

Si tratta di una porta esatta dell'implementazione JavaScript dell'algoritmo, ad eccezione del fatto che le funzioni della libreria .NET vengono usate al posto delle funzioni del punto di codice stringa JavaScript.

Si applica a