TextFeaturizingEstimator Klasa

Definicja

Przestrzeń nazw:

Microsoft.ML.Transforms.Text

Zestaw:

Microsoft.ML.Transforms.dll

Pakiet:

Microsoft.ML v3.0.1

Narzędzie do szacowania, które przekształca kolekcję dokumentów tekstowych w wektory cech liczbowych. Wektory cech są znormalizowanymi liczbami wyrazów i/lub n-gramami znaków (na podstawie podanych opcji).

public sealed class TextFeaturizingEstimator : Microsoft.ML.IEstimator<Microsoft.ML.ITransformer>

type TextFeaturizingEstimator = class
    interface IEstimator<ITransformer>

Public NotInheritable Class TextFeaturizingEstimator
Implements IEstimator(Of ITransformer)

Dziedziczenie

Object

TextFeaturizingEstimator

Implementuje

IEstimator<ITransformer>

Uwagi

Charakterystyka narzędzia do szacowania

Czy ten narzędzie do szacowania musi przyjrzeć się danym, aby wytrenować jego parametry?	Tak.
Typ danych kolumny wejściowej	Tekst
Typ danych kolumny wyjściowej	Wektor Single
Możliwość eksportowania do ONNX	Nie

Ten narzędzie do szacowania zapewnia użytkownikowi jednokrotne rozwiązanie do wykonywania następujących czynności:

• Wykrywanie języka
• Tokenizacja
• Normalizacja tekstu
• Usuwanie wstępnie zdefiniowanych i niestandardowych słów przestawnych
• [Word lub oparte na znakach wyodrębnianie Ngram i wyodrębnianie SkipGram (za pośrednictwem opcji zaawansowanych)](https://en.wikipedia.org/wiki/N-gram)
• TF, IDF lub TF-IDF
• [Normalizacja wektorów L-p] (xref: Microsoft.ML.Transforms.LpNormNormalizingTransformer)

Domyślnie funkcje są tworzone (słowo/znak) n-gramy/skip-gramy, a liczba cech jest równa rozmiarowi słownictwa znalezionego przez analizę danych. Aby wyświetlić dodatkową kolumnę z wygenerowanymi tokenami, użyj elementu OutputTokensColumnName. Liczbę funkcji można również określić, wybierając maksymalną liczbę n-gram, aby zachować w TextFeaturizingEstimator.Optionsobiekcie , gdzie narzędzie do szacowania można dalej dostroić.

Zapoznaj się z sekcją Zobacz również, aby uzyskać linki do przykładów użycia.

Metody

Fit(IDataView)	Trenuje i zwraca wartość ITransformer.
GetOutputSchema(SchemaShape)	SchemaShape Zwraca schemat, który zostanie wygenerowany przez transformator. Służy do propagacji schematu i weryfikacji w potoku.

Metody rozszerzania

AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment)

Dołącz "punkt kontrolny buforowania" do łańcucha narzędzia do szacowania. Zapewni to, że narzędzia do szacowania podrzędnego zostaną wytrenowane pod kątem buforowanych danych. Warto mieć punkt kontrolny buforowania, zanim trenerzy przejdą wiele danych.

WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>)

Biorąc pod uwagę narzędzie do szacowania, zwróć obiekt opakowujący, który będzie wywoływać delegata po Fit(IDataView) wywołaniu. Często ważne jest, aby narzędzie do szacowania zwracało informacje o tym, co było odpowiednie, dlatego Fit(IDataView) metoda zwraca specjalnie wpisany obiekt, a nie tylko ogólny ITransformerelement . Jednak w tym samym czasie IEstimator<TTransformer> są często tworzone w potoki z wieloma obiektami, więc może być konieczne utworzenie łańcucha narzędzi do szacowania, za pośrednictwem EstimatorChain<TLastTransformer> którego narzędzie do szacowania, dla którego chcemy uzyskać transformator jest pochowany gdzieś w tym łańcuchu. W tym scenariuszu możemy za pomocą tej metody dołączyć delegata, który zostanie wywołany po wywołaniu dopasowania.

Zobacz też

• FeaturizeText(TransformsCatalog+TextTransforms, String, String)
• FeaturizeText(TransformsCatalog+TextTransforms, String, TextFeaturizingEstimator+Options, String[])