Token Classe

Definição

Namespace:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Pacote:

Microsoft.ML.Tokenizers v0.21.1

Represente o token produzido do processo de tokenização que contém a subcadeia de caracteres de token, a ID associada à subcadeia de caracteres de token e o mapeamento de deslocamento para a cadeia de caracteres original.

public sealed class Token

type Token = class

Public NotInheritable Class Token

Herança

Object

Token

Construtores

Token(Int32, String, ValueTuple<Int32,Int32>)

Construa um novo objeto Token usando o valor do token, a ID e o mapeamento de deslocamento para a cadeia de caracteres original.

Propriedades

Id	Obtém ou define o valor da ID associado ao token.
Offset	Obtém ou define o mapeamento de deslocamento para a cadeia de caracteres original.
Value	Obtém ou define o valor da cadeia de caracteres de token.