Sdílet prostřednictvím

Model Třída

  • Reference

Definice

Obor názvů:
Microsoft.ML.Tokenizers
Sestavení:
Microsoft.ML.Tokenizers.dll
Balíček:
Microsoft.ML.Tokenizers v0.21.1

Představuje model použitý během tokenizace (například BPE nebo Word Piece nebo Unigram).

public abstract class Model
type Model = class
Public MustInherit Class Model
Dědičnost
Object
Model
Odvozené

Konstruktory

Model()

Představuje model použitý během tokenizace (například BPE nebo Word Piece nebo Unigram).

Metody

GetTrainer()

Získá objekt školitele, který se použije při trénování modelu.
GetVocab()

Získá tokeny mapování slovníku na IDs.
GetVocabSize()

Získá velikost slovníku, který mapuje tokeny na IDs.
IdToString(Int32, Boolean)

Představuje model použitý během tokenizace (například BPE nebo Word Piece nebo Unigram).
IdToToken(Int32, Boolean)

Namapujte tokenizované ID na token.
IsValidChar(Char)

Vrátí hodnotu true, pokud je znak platný v tokenizátoru; v opačném případě vrátí hodnotu false.
Save(String, String)

Uložte data modelu do slovníku a sloučí soubory.
Tokenize(String)

Tokenizace sekvenčního řetězce na seznam tokenů.
TokenToId(String)

Namapujte token na tokenizované ID.

Platí pro