TokenizerResult Classe

Definição

Namespace:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Pacote:

Microsoft.ML.Tokenizers v0.21.1

A Codificação representa a saída de um Criador de Token.

public sealed class TokenizerResult

type TokenizerResult = class

Public NotInheritable Class TokenizerResult

Herança

Object

TokenizerResult

Construtores

TokenizerResult(String, String, IReadOnlyList<Split>, Boolean)

Crie um novo objeto do objeto TokenizerResult.

Propriedades

Ids	Obtém a lista de IDs de tokens. As IDs são a entrada principal para um Modelo de Linguagem. Eles são os índices de token, as representações numéricas que um LM entende.
NormalizedString	Obtém a forma normalizada da cadeia de caracteres original.
Offsets	Obtém a lista de deslocamentos. Esses deslocamentos permitem que você corte a cadeia de caracteres de entrada e, portanto, recupere a parte original que levou à produção do token correspondente.
OffsetsMappedToOriginalString	Obtém a forma normalizada da cadeia de caracteres original.
OriginalString	Obtém a cadeia de caracteres original com token.
Tokens	Obtém os tokens gerados. Elas são a representação de cadeia de caracteres das IDs.