CodeGenTokenizer.Create(Stream, Stream, Boolean, Boolean, Boolean) Método

Definición

Espacio de nombres:: Microsoft.ML.Tokenizers

Ensamblado:: Microsoft.ML.Tokenizers.dll

Paquete:: Microsoft.ML.Tokenizers v1.0.1

Paquete:: Microsoft.ML.Tokenizers v0.22.0

Paquete:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Importante

Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.

Cree un tokenizador de CodeGen a partir de los flujos de vocab y combinaciones especificados.

public static Microsoft.ML.Tokenizers.CodeGenTokenizer Create(System.IO.Stream vocabStream, System.IO.Stream mergesStream, bool addPrefixSpace = false, bool addBeginOfSentence = false, bool addEndOfSentence = false);

static member Create : System.IO.Stream * System.IO.Stream * bool * bool * bool -> Microsoft.ML.Tokenizers.CodeGenTokenizer

Public Shared Function Create (vocabStream As Stream, mergesStream As Stream, Optional addPrefixSpace As Boolean = false, Optional addBeginOfSentence As Boolean = false, Optional addEndOfSentence As Boolean = false) As CodeGenTokenizer

Parámetros

vocabStream: Stream

Secuencia que contiene el archivo vocab.

mergesStream: Stream

Secuencia que contiene el archivo de mezcla.

addPrefixSpace: Boolean

Indica si se va a agregar un espacio antes del token.

addBeginOfSentence: Boolean

Indica la emisión del principio del token de oración durante la codificación.

addEndOfSentence: Boolean

Indica la emisión del final del token de oración durante la codificación.

Devoluciones

CodeGenTokenizer

El objeto Tokenizer de CodeGen.

Comentarios

El tokenizador se creará según la configuración especificada en https://huggingface.co/Salesforce/codegen-350M-mono/raw/main/tokenizer.json. Es importante proporcionar los archivos vocab y combinar similares a los usados en el entrenamiento del modelo. Los archivos vocab y merges se pueden descargar de los vínculos siguientes: https://huggingface.co/Salesforce/codegen-350M-mono/resolve/main/vocab.json?download=truehttps://huggingface.co/Salesforce/codegen-350M-mono/resolve/main/merges.txt?download=true al crear el tokenizador, asegúrese de que el flujo de vocabulario se origina desde un proveedor de confianza.

Se aplica a