Phi2Tokenizer Clase

Definición

Espacio de nombres:: Microsoft.ML.Tokenizers

Ensamblado:: Microsoft.ML.Tokenizers.dll

Paquete:: Microsoft.ML.Tokenizers v1.0.1

Paquete:: Microsoft.ML.Tokenizers v0.22.0

Paquete:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Source:: Phi2Tokenizer.cs

Source:: Phi2Tokenizer.cs

Source:: Phi2Tokenizer.cs

Importante

Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.

Representa el modelo de codificación de pares de bytes. Implementación del tokenizador Phi2 descrito en https://huggingface.co/microsoft/phi-2

public sealed class Phi2Tokenizer : Microsoft.ML.Tokenizers.CodeGenTokenizer

type Phi2Tokenizer = class
    inherit CodeGenTokenizer

Public NotInheritable Class Phi2Tokenizer
Inherits CodeGenTokenizer

Herencia: Object

Tokenizer

CodeGenTokenizer
Phi2Tokenizer

Propiedades

Nombre	Description
AddBeginningOfSentence	Obtiene la marca que indica si se debe incluir el principio del token de oración en la codificación. (Heredado de CodeGenTokenizer)
AddEndOfSentence	Obtiene la marca que indica si se debe incluir el final del token de oración en la codificación. (Heredado de CodeGenTokenizer)
AddPrefixSpace	Obtiene la marca que indica si se debe incluir un espacio inicial antes de codificar el texto. (Heredado de CodeGenTokenizer)
BeginningOfSentenceId	Obtiene el final del identificador del token de oración. (Heredado de CodeGenTokenizer)
BeginningOfSentenceToken	Obtiene el principio del token de oración. (Heredado de CodeGenTokenizer)
EndOfSentenceId	Obtiene el final del identificador del token de oración. (Heredado de CodeGenTokenizer)
EndOfSentenceToken	Obtiene el final del token de oración. (Heredado de CodeGenTokenizer)
Normalizer	Obtiene el normalizador en uso por el tokenizador. (Heredado de CodeGenTokenizer)
PreTokenizer	Obtiene el preTokenizer usado por el tokenizador. (Heredado de CodeGenTokenizer)
SpecialTokens	Obtiene los tokens agregados. (Heredado de CodeGenTokenizer)
UnknownToken	Token desconocido. (Heredado de CodeGenTokenizer)
UnknownTokenId	Obtiene el identificador de token desconocido. (Heredado de CodeGenTokenizer)
Vocabulary	Obtiene los tokens de asignación de diccionario a identificadores. (Heredado de CodeGenTokenizer)

Métodos

Nombre	Description
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de CodeGenTokenizer)
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de Tokenizer)
CountTokens(String, Boolean, Boolean, Boolean, Boolean, Boolean)	Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de CodeGenTokenizer)
CountTokens(String, Boolean, Boolean)	Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Obtenga el número de tokens en los que se codificará el texto de entrada. (Heredado de CodeGenTokenizer)
Create(Stream, Stream, Boolean, Boolean, Boolean)	Cree un tokenizador de CodeGen Phi2 a partir de los flujos de vocab y combinación especificados.
Decode(IEnumerable<Int32>, Boolean, Boolean)	Descodifique los identificadores especificados, de vuelta a una cadena. (Heredado de CodeGenTokenizer)
Decode(IEnumerable<Int32>, Span<Char>, Boolean, Boolean, Int32, Int32)	Descodifique los identificadores especificados de vuelta al texto y almacene el resultado en el `destination` intervalo. (Heredado de CodeGenTokenizer)
Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)	Descodifique los identificadores especificados de vuelta al texto y almacene el resultado en el `destination` intervalo. (Heredado de CodeGenTokenizer)
Decode(IEnumerable<Int32>)	Descodifique los identificadores especificados, de vuelta a una cadena. (Heredado de CodeGenTokenizer)
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	Codifica el texto de entrada en los identificadores de tokens. (Heredado de CodeGenTokenizer)
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)	Codifica el texto de entrada en identificadores de token. (Heredado de Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Codifica el texto de entrada en los identificadores de tokens hasta el número máximo de tokens. (Heredado de CodeGenTokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Codifica el texto de entrada en identificadores de token hasta el número máximo de tokens. (Heredado de Tokenizer)
EncodeToIds(String, Boolean, Boolean, Boolean, Boolean, Boolean)	Codifica el texto de entrada en los identificadores de tokens. (Heredado de CodeGenTokenizer)
EncodeToIds(String, Boolean, Boolean)	Codifica el texto de entrada en identificadores de token. (Heredado de Tokenizer)
EncodeToIds(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Codifica el texto de entrada en los identificadores de tokens hasta el número máximo de tokens. (Heredado de CodeGenTokenizer)
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)	Codifica el texto de entrada en identificadores de token hasta el número máximo de tokens. <param name="text">El texto que se va a codificar.</param> (Heredado de Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)	Codifica el texto de entrada en identificadores de token. (Heredado de CodeGenTokenizer)
EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean)	Codifica el texto de entrada en el objeto tiene la lista de tokens, identificadores de tokens, asignación de desplazamiento de tokens. (Heredado de CodeGenTokenizer)
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)	Codifica el texto de entrada en una lista de EncodedTokens. (Heredado de Tokenizer)
EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean)	Codifica el texto de entrada en el objeto tiene la lista de tokens, identificadores de tokens, asignación de desplazamiento de tokens. (Heredado de CodeGenTokenizer)
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Codifica el texto de entrada en una lista de EncodedTokens. (Heredado de CodeGenTokenizer)
EncodeToTokens(String, String, Boolean, Boolean)	Codifica el texto de entrada en una lista de EncodedTokens. (Heredado de Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima desde el principio dentro del texto sin superar el límite de tokens. (Heredado de CodeGenTokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de Tokenizer)
GetIndexByTokenCount(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima desde el principio dentro del texto sin superar el límite de tokens. (Heredado de CodeGenTokenizer)
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)	Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de CodeGenTokenizer)
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima desde el final dentro del texto sin superar el límite de tokens. (Heredado de CodeGenTokenizer)
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de Tokenizer)
GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima desde el final dentro del texto sin superar el límite de tokens. (Heredado de CodeGenTokenizer)
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)	Busque el índice de la capacidad de codificación máxima sin superar el límite de tokens. (Heredado de Tokenizer)

Se aplica a