TokenizingByCharactersEstimator Klasse

Definition

Namespace:

Microsoft.ML.Transforms.Text

Assembly:

Microsoft.ML.Transforms.dll

Paket:

Microsoft.ML v3.0.1

IEstimator<TTransformer> für die TokenizingByCharactersTransformer.

public sealed class TokenizingByCharactersEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.TokenizingByCharactersTransformer>

type TokenizingByCharactersEstimator = class
    inherit TrivialEstimator<TokenizingByCharactersTransformer>

Public NotInheritable Class TokenizingByCharactersEstimator
Inherits TrivialEstimator(Of TokenizingByCharactersTransformer)

Vererbung

Object

TrivialEstimator<TokenizingByCharactersTransformer>

TokenizingByCharactersEstimator

Hinweise

Stimatoreigenschaften

Muss dieser Schätzer die Daten untersuchen, um seine Parameter zu trainieren?	Yes
Eingabespaltendatentyp	Skalar oder Vektor von Text
Ausgabespaltendatentyp	Variabler Vektor des Schlüsseltyps .
Exportierbar in ONNX	Yes

Der Schätzer tokenisiert Zeichen, indem Text in Sequenzen von Zeichen mithilfe eines Gleitfensters aufgeteilt wird. Während der Schulung erstellt der Schätzer ein Schlüsselwert-Paarwörterbuch mit den gefundenen Sequenzen von Zeichen.

Durch TokenizingByCharactersTransformer die Anpassung des Schätzators wird eine neue Spalte erstellt, die in den Parametern für die Ausgabespaltennamen angegeben ist, die die Schlüssel der Zeichensequenzen enthält, die in der Eingabe aufgetreten sind.

Überprüfen Sie den Abschnitt "Siehe auch", um Links zu Verwendungsbeispielen zu finden.

Methoden

Fit(IDataView)	IEstimator<TTransformer> für die TokenizingByCharactersTransformer. (Geerbt von TrivialEstimator<TTransformer>)
GetOutputSchema(SchemaShape)	Gibt das SchemaShape Schema zurück, das vom Transformator erzeugt wird. Wird für die Schemaverteilung und Überprüfung in einer Pipeline verwendet.

Erweiterungsmethoden

AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment)

Fügen Sie einen "Zwischenspeicherungsprüfpunkt" an die Schätzkette an. Dadurch wird sichergestellt, dass die nachgelagerten Schätzer anhand zwischengespeicherter Daten trainiert werden. Es ist hilfreich, einen Cache-Prüfpunkt vor Trainern zu haben, die mehrere Datendurchläufe übernehmen.

WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>)

Wenn sie eine Schätzung erhalten, geben Sie ein Umbruchobjekt zurück, das einen Delegaten aufruft, sobald Fit(IDataView) er aufgerufen wird. Es ist häufig wichtig, dass ein Schätzer Informationen darüber zurückgibt, was passt, weshalb die Fit(IDataView) Methode ein speziell typiertes Objekt zurückgibt, anstatt nur ein allgemeines ITransformerObjekt zurückzugeben. IEstimator<TTransformer> Gleichzeitig werden jedoch häufig Pipelines mit vielen Objekten gebildet, daher müssen wir möglicherweise eine Kette von Schätzern erstellen, über EstimatorChain<TLastTransformer> die der Schätzer, für den wir den Transformator erhalten möchten, irgendwo in dieser Kette begraben wird. Für dieses Szenario können wir über diese Methode eine Stellvertretung anfügen, die aufgerufen wird, sobald sie aufgerufen wird.

Weitere Informationen

• TokenizeIntoCharactersAsKeys(TransformsCatalog+TextTransforms, String, String, Boolean)