Tokenizer Classe

Definizione

Spazio dei nomi:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Pacchetto:

Microsoft.ML.Tokenizers v0.21.1

Un tokenizer funziona come pipeline. Elabora un testo non elaborato come input e restituisce un oggetto TokenizerResult.

public class Tokenizer

type Tokenizer = class

Public Class Tokenizer

Ereditarietà

Object

Tokenizer

Costruttori

Tokenizer(Model, PreTokenizer, Normalizer)

Creare un nuovo oggetto Tokenizer.

Proprietà

Decoder	Ottiene o imposta il decodificatore in uso dal tokenizer.
Model	Ottiene il modello in uso dal tokenizer.
Normalizer	Ottiene o imposta il normalizzatore in uso dal tokenizzatore.
PreTokenizer	Ottiene o imposta il PreTokenizer usato dal Tokenizer.

Metodi

Decode(IEnumerable<Int32>, Boolean)	Decodificare gli ID specificati, tornare a un valore String.
Decode(Int32, Boolean)	Decodifica l'ID nel token mappato.
Encode(String)	Codifica il testo di input per l'oggetto con l'elenco dei token, i token IDs, il mapping degli offset dei token.
IsValidChar(Char)	Un tokenizer funziona come pipeline. Elabora un testo non elaborato come input e restituisce un oggetto TokenizerResult.
TrainFromFiles(Trainer, ReportProgress, String[])	Eseguire il training del modello di tokenizer usando i file di input.