Freigeben über

Model Klasse

  • Referenz

Definition

Namespace:
Microsoft.ML.Tokenizers
Assembly:
Microsoft.ML.Tokenizers.dll
Paket:
Microsoft.ML.Tokenizers v0.21.1

Stellt ein Modell dar, das während der Tokenisierung verwendet wird (z. B. BPE oder Word Piece oder Unigram).

public abstract class Model
type Model = class
Public MustInherit Class Model
Vererbung
Object
Model
Abgeleitet

Konstruktoren

Model()

Stellt ein Modell dar, das während der Tokenisierung verwendet wird (z. B. BPE oder Word Piece oder Unigram).

Methoden

GetTrainer()

Ruft ein Trainerobjekt ab, das beim Trainieren des Modells verwendet werden soll.
GetVocab()

Ruft die Wörterbuchzuordnungstoken zu Ids ab.
GetVocabSize()

Ruft die Wörterbuchgröße ab, die Token ids zuordnen.
IdToString(Int32, Boolean)

Stellt ein Modell dar, das während der Tokenisierung verwendet wird (z. B. BPE oder Word Piece oder Unigram).
IdToToken(Int32, Boolean)

Ordnen Sie die tokenisierte ID dem Token zu.
IsValidChar(Char)

Gibt true zurück, wenn das Zeichen im Tokenizer gültig ist. gibt andernfalls false zurück.
Save(String, String)

Speichern Sie die Modelldaten im Vokabular und führt Dateien zusammen.
Tokenize(String)

Tokenisieren Sie eine Sequenzzeichenfolge in eine Liste von Token.
TokenToId(String)

Ordnen Sie das Token der tokenisierten ID zu.

Gilt für: