Udostępnij za pośrednictwem


WordTokenizingEstimator Klasa

Definicja

Tokenizuje tekst wejściowy przy użyciu określonych ograniczników.

public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>
type WordTokenizingEstimator = class
    inherit TrivialEstimator<WordTokenizingTransformer>
Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)
Dziedziczenie

Uwagi

Charakterystyka narzędzia do szacowania

Czy ten narzędzie do szacowania musi przyjrzeć się danym, aby wytrenować jego parametry? Nie
Typ danych kolumny wejściowej Skalarny lub wektor tekstu
Typ danych kolumny wyjściowej Wektor o zmiennym rozmiarze tekstu
Możliwość eksportowania do ONNX Tak

WordTokenizingTransformer Wynikowy tworzy nową kolumnę o nazwie określonej w parametrach nazwy kolumny wyjściowej, gdzie każdy ciąg wejściowy jest mapowany na wektor podciągów uzyskanych przez podzielenie ciągu wejściowego zgodnie z ogranicznikami zdefiniowanymi przez użytkownika. Znak spacji jest domyślnym ogranicznikiem.

Puste ciągi i ciągi zawierające tylko spacje są porzucane.

Zapoznaj się z sekcją Zobacz również, aby uzyskać linki do przykładów użycia.

Metody

Fit(IDataView)

Tokenizuje tekst wejściowy przy użyciu określonych ograniczników.

(Odziedziczone po TrivialEstimator<TTransformer>)
GetOutputSchema(SchemaShape)

SchemaShape Zwraca schemat, który zostanie wygenerowany przez transformator. Służy do propagacji schematu i weryfikacji w potoku.

Metody rozszerzania

AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment)

Dołącz "punkt kontrolny buforowania" do łańcucha narzędzia do szacowania. Zapewni to, że narzędzia do szacowania podrzędnego zostaną wytrenowane pod kątem buforowanych danych. Warto mieć punkt kontrolny buforowania, zanim trenerzy przejdą wiele danych.

WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>)

Biorąc pod uwagę narzędzie do szacowania, zwróć obiekt opakowujący, który będzie wywoływać delegata po Fit(IDataView) wywołaniu. Często ważne jest, aby narzędzie do szacowania zwracało informacje o tym, co było odpowiednie, dlatego Fit(IDataView) metoda zwraca specjalnie wpisany obiekt, a nie tylko ogólny ITransformerelement . Jednak w tym samym czasie IEstimator<TTransformer> są często tworzone w potoki z wieloma obiektami, więc może być konieczne utworzenie łańcucha narzędzi do szacowania, za pośrednictwem EstimatorChain<TLastTransformer> którego narzędzie do szacowania, dla którego chcemy uzyskać transformator jest pochowany gdzieś w tym łańcuchu. W tym scenariuszu możemy za pomocą tej metody dołączyć delegata, który zostanie wywołany po wywołaniu dopasowania.

Dotyczy

Zobacz też