Idioma

TiktokenTokenizer.CreateForEncoding Método

Definição

Criar tokenizer com base no nome da codificação

public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForEncoding(string encodingName, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);
static member CreateForEncoding : string * System.Collections.Generic.IReadOnlyDictionary<string, int> * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function CreateForEncoding (encodingName As String, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer

Parâmetros

encodingName
String

Nome da codificação

extraSpecialTokens
IReadOnlyDictionary<String,Int32>

Tokens especiais extras diferentes dos internos para a codificação

normalizer
Normalizer

Para normalizar o texto antes da tokenização

Retornos

O tokenizador

Aplica-se a