CodeGenTokenizer Clase

Definición

Espacio de nombres:: Microsoft.ML.Tokenizers

Ensamblado:: Microsoft.ML.Tokenizers.dll

Paquete:: Microsoft.ML.Tokenizers v1.0.1

Paquete:: Microsoft.ML.Tokenizers v0.22.0

Paquete:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Importante

Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.

Representa el modelo de codificación de pares de bytes. Implementación del tokenizador de CodeGen descrito en https://huggingface.co/docs/transformers/main/en/model_doc/codegen#overview

public class CodeGenTokenizer : Microsoft.ML.Tokenizers.Tokenizer

type CodeGenTokenizer = class
    inherit Tokenizer

Public Class CodeGenTokenizer
Inherits Tokenizer

Herencia: Object

Tokenizer
CodeGenTokenizer

Derivado: Microsoft.ML.Tokenizers.Phi2Tokenizer

Propiedades

Nombre	Description
AddBeginningOfSentence	Obtiene la marca que indica si se debe incluir el principio del token de oración en la codificación.
AddEndOfSentence	Obtiene la marca que indica si se debe incluir el final del token de oración en la codificación.
AddPrefixSpace	Obtiene la marca que indica si se debe incluir un espacio inicial antes de codificar el texto.
BeginningOfSentenceId	Obtiene el final del identificador del token de oración.
BeginningOfSentenceToken	Obtiene el principio del token de oración.
EndOfSentenceId	Obtiene el final del identificador del token de oración.
EndOfSentenceToken	Obtiene el final del token de oración.
Normalizer	Obtiene el normalizador en uso por el tokenizador.
PreTokenizer	Obtiene el preTokenizer usado por el tokenizador.
SpecialTokens	Obtiene los tokens agregados.
UnknownToken	Token desconocido.
UnknownTokenId	Obtiene el identificador de token desconocido.
Vocabulary	Obtiene los tokens de asignación de diccionario a identificadores.

Métodos

Nombre	Description
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	Obtenga el número de tokens en los que se codificará el texto de entrada.
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de Tokenizer)
CountTokens(String, Boolean, Boolean, Boolean, Boolean, Boolean)	Obtenga el número de tokens en los que se codificará el texto de entrada.
CountTokens(String, Boolean, Boolean)	Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Obtenga el número de tokens en los que se codificará el texto de entrada.
Create(Stream, Stream, Boolean, Boolean, Boolean)	Cree un tokenizador de CodeGen a partir de los flujos de vocab y combinaciones especificados.
Decode(IEnumerable<Int32>, Boolean, Boolean)	Descodifique los identificadores especificados, de vuelta a una cadena.
Decode(IEnumerable<Int32>, Span<Char>, Boolean, Boolean, Int32, Int32)	Descodifique los identificadores especificados de vuelta al texto y almacene el resultado en el `destination` intervalo.
Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)	Descodifique los identificadores especificados de vuelta al texto y almacene el resultado en el `destination` intervalo.
Decode(IEnumerable<Int32>)	Descodifique los identificadores especificados, de vuelta a una cadena.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	Codifica el texto de entrada en los identificadores de tokens.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)	Codifica el texto de entrada en identificadores de token. (Heredado de Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Codifica el texto de entrada en los identificadores de tokens hasta el número máximo de tokens.
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Codifica el texto de entrada en identificadores de token hasta el número máximo de tokens. (Heredado de Tokenizer)
EncodeToIds(String, Boolean, Boolean, Boolean, Boolean, Boolean)	Codifica el texto de entrada en los identificadores de tokens.
EncodeToIds(String, Boolean, Boolean)	Codifica el texto de entrada en identificadores de token. (Heredado de Tokenizer)
EncodeToIds(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Codifica el texto de entrada en los identificadores de tokens hasta el número máximo de tokens.
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)	Codifica el texto de entrada en identificadores de token hasta el número máximo de tokens. <param name="text">El texto que se va a codificar.</param> (Heredado de Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)	Codifica el texto de entrada en identificadores de token.
EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean)	Codifica el texto de entrada en el objeto tiene la lista de tokens, identificadores de tokens, asignación de desplazamiento de tokens.
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)	Codifica el texto de entrada en una lista de EncodedTokens. (Heredado de Tokenizer)
EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean)	Codifica el texto de entrada en el objeto tiene la lista de tokens, identificadores de tokens, asignación de desplazamiento de tokens.
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Codifica el texto de entrada en una lista de EncodedTokens.
EncodeToTokens(String, String, Boolean, Boolean)	Codifica el texto de entrada en una lista de EncodedTokens. (Heredado de Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima desde el principio dentro del texto sin superar el límite de tokens.
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de Tokenizer)
GetIndexByTokenCount(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima desde el principio dentro del texto sin superar el límite de tokens.
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)	Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens.
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima desde el final dentro del texto sin superar el límite de tokens.
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de Tokenizer)
GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima desde el final dentro del texto sin superar el límite de tokens.
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de Tokenizer)

Se aplica a