CodeGenTokenizer.GetIndexByTokenCountFromEnd Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Sobrecargas
| Nome | Description |
|---|---|
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação do final dentro do texto sem ultrapassar o limite de token. |
| GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Localize o índice da capacidade máxima de codificação do final dentro do texto sem ultrapassar o limite de token. |
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)
- Origem:
- CodeGenTokenizer.cs
- Origem:
- CodeGenTokenizer.cs
- Origem:
- CodeGenTokenizer.cs
Localize o índice da capacidade máxima de codificação do final dentro do texto sem ultrapassar o limite de token.
public int GetIndexByTokenCountFromEnd(ReadOnlySpan<char> text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);override this.GetIndexByTokenCountFromEnd : ReadOnlySpan<char> * int * bool * bool * bool * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParâmetros
- text
- ReadOnlySpan<Char>
O texto a ser codificado.
- maxTokenCount
- Int32
A contagem máxima de tokens para limitar a capacidade de codificação.
- addPrefixSpace
- Boolean
Indique se deve incluir um espaço à esquerda antes de codificar o texto.
- addBeginningOfSentence
- Boolean
Indique se deve incluir o início do token de sentença na codificação.
- addEndOfSentence
- Boolean
Indique se o token de fim de frase deve ser incluído na codificação.
- normalizedText
- String
Se a normalização do tokenizer estiver habilitada, o texto de entrada será representado no formulário de normalização; caso contrário, ele será nulo.
- tokenCount
- Int32
A contagem de tokens pode ser gerada, que deve ser menor que a contagem máxima de tokens.
- considerPreTokenization
- Boolean
Indique se deve considerar a pré-tokenização antes da tokenização.
- considerNormalization
- Boolean
Indique se deve considerar a normalização antes da tokenização.
Retornos
O índice inicial da capacidade máxima de codificação dentro do texto processado sem ultrapassar o limite de token.
Ele representa o índice no primeiro caractere a ser incluído. Nos casos em que nenhum token se ajustar, o resultado terá o normalizedTexttamanho do ; por outro lado, se todos os tokens se ajustarem, o resultado será 0.
Comentários
Se todo o texto puder ser codificado dentro do limite do token, o índice retornado será 0.
Aplica-se a
GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)
- Origem:
- CodeGenTokenizer.cs
- Origem:
- CodeGenTokenizer.cs
- Origem:
- CodeGenTokenizer.cs
Localize o índice da capacidade máxima de codificação do final dentro do texto sem ultrapassar o limite de token.
public int GetIndexByTokenCountFromEnd(string text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);override this.GetIndexByTokenCountFromEnd : string * int * bool * bool * bool * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As String, maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParâmetros
- text
- String
O texto a ser codificado.
- maxTokenCount
- Int32
A contagem máxima de tokens para limitar a capacidade de codificação.
- addPrefixSpace
- Boolean
Indique se deve incluir um espaço à esquerda antes de codificar o texto.
- addBeginningOfSentence
- Boolean
Indique se deve incluir o início do token de sentença na codificação.
- addEndOfSentence
- Boolean
Indique se o token de fim de frase deve ser incluído na codificação.
- normalizedText
- String
Se a normalização do tokenizer estiver habilitada, o texto de entrada será representado no formulário de normalização; caso contrário, ele será nulo.
- tokenCount
- Int32
A contagem de tokens pode ser gerada, que deve ser menor que a contagem máxima de tokens.
- considerPreTokenization
- Boolean
Indique se deve considerar a pré-tokenização antes da tokenização.
- considerNormalization
- Boolean
Indique se deve considerar a normalização antes da tokenização.
Retornos
O índice inicial da capacidade máxima de codificação dentro do texto processado sem ultrapassar o limite de token.
Ele representa o índice no primeiro caractere a ser incluído. Nos casos em que nenhum token se ajustar, o resultado será o comprimento do texto ou se a normalizedText normalização estiver habilitada; por outro lado, se todos os tokens se ajustarem, o resultado será 0.
Comentários
Se todo o texto puder ser codificado dentro do limite do token, o índice retornado será 0.