Phi2Tokenizer.Create(Stream, Stream, Boolean, Boolean, Boolean) Método

Definição

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacote:: Microsoft.ML.Tokenizers v1.0.1

Pacote:: Microsoft.ML.Tokenizers v0.22.0

Pacote:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Origem:: Phi2Tokenizer.cs

Origem:: Phi2Tokenizer.cs

Origem:: Phi2Tokenizer.cs

Importante

Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.

Crie um tokenizador CodeGen Phi2 com base nos fluxos de vocação e mesclagem fornecidos.

public static Microsoft.ML.Tokenizers.Phi2Tokenizer Create(System.IO.Stream vocabStream, System.IO.Stream mergesStream, bool addPrefixSpace = false, bool addBeginOfSentence = false, bool addEndOfSentence = false);

static member Create : System.IO.Stream * System.IO.Stream * bool * bool * bool -> Microsoft.ML.Tokenizers.Phi2Tokenizer

Public Shared Function Create (vocabStream As Stream, mergesStream As Stream, Optional addPrefixSpace As Boolean = false, Optional addBeginOfSentence As Boolean = false, Optional addEndOfSentence As Boolean = false) As Phi2Tokenizer

Parâmetros

vocabStream: Stream

O fluxo que contém o arquivo vocab.

mergesStream: Stream

O fluxo que contém o arquivo de mesclagem.

addPrefixSpace: Boolean

Indique se deseja adicionar um espaço antes do token.

addBeginOfSentence: Boolean

Indique a emissão do início do token de sentença durante a codificação.

addEndOfSentence: Boolean

Indique a emissão do token de fim de sentença durante a codificação.

Retornos

Phi2Tokenizer

O objeto tokenizer CodeGen.

Comentários

O tokenizador será criado de acordo com a configuração especificada em https://huggingface.co/microsoft/phi-2/raw/main/tokenizer.json. É importante fornecer arquivos de vocação e mesclagem semelhantes aos usados no treinamento do modelo. Os arquivos de vocação e mesclagem podem ser baixados dos seguintes links: https://huggingface.co/microsoft/phi-2/resolve/main/vocab.json?download=truehttps://huggingface.co/microsoft/phi-2/resolve/main/merges.txt?download=true Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.

Aplica-se a