Tokenizer Classe

Definição

Namespace:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Pacote:

Microsoft.ML.Tokenizers v0.21.1

Um Tokenizer funciona como um pipeline. Ele processa algum texto bruto como entrada e gera um objeto TokenizerResult.

public class Tokenizer

type Tokenizer = class

Public Class Tokenizer

Herança

Object

Tokenizer

Construtores

Tokenizer(Model, PreTokenizer, Normalizer)

Crie um novo objeto Tokenizer.

Propriedades

Decoder	Obtém ou define o Decodificador em uso pelo Tokenizer.
Model	Obtém o Modelo em uso pelo Tokenizer.
Normalizer	Obtém ou define o Normalizador em uso pelo Tokenizer.
PreTokenizer	Obtém ou define o PreTokenizer usado pelo Tokenizer.

Métodos

Decode(IEnumerable<Int32>, Boolean)	Decodificar as IDs fornecidas, de volta para uma Cadeia de Caracteres.
Decode(Int32, Boolean)	Decodifica a ID para o token mapeado.
Encode(String)	Codifica o texto de entrada no objeto que tem a lista de tokens, IDs de tokens, mapeamento de deslocamento de tokens.
IsValidChar(Char)	Um Tokenizer funciona como um pipeline. Ele processa algum texto bruto como entrada e gera um objeto TokenizerResult.
TrainFromFiles(Trainer, ReportProgress, String[])	Treine o modelo de tokenizer usando arquivos de entrada.