WordTokenizingEstimator Třída

Definice

Obor názvů:

Microsoft.ML.Transforms.Text

Sestavení:

Microsoft.ML.Transforms.dll

Balíček:

Microsoft.ML v3.0.1

Tokenizuje vstupní text pomocí zadaných oddělovačů.

public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>

type WordTokenizingEstimator = class
    inherit TrivialEstimator<WordTokenizingTransformer>

Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)

Dědičnost

Object

TrivialEstimator<WordTokenizingTransformer>

WordTokenizingEstimator

Poznámky

Charakteristiky estimátoru

Potřebuje tento estimátor podívat se na data, aby vytrénovala jeho parametry?	No
Datový typ vstupního sloupce	Skalární nebo vektor textu
Datový typ výstupního sloupce	Vektor proměnné velikosti textu
Exportovatelné do ONNX	Yes

Výsledek WordTokenizingTransformer vytvoří nový sloupec s názvem zadaným v parametrech názvu výstupního sloupce, kde se každý vstupní řetězec mapuje na vektor podřetězců získaných rozdělením vstupního řetězce podle uživatelem definovaných oddělovačů. Znak mezery je výchozím oddělovačem.

Prázdné řetězce a řetězce obsahující pouze mezery se zahodí.

Odkazy na příklady použití najdete v části Viz také.

Metody

Fit(IDataView)	Tokenizuje vstupní text pomocí zadaných oddělovačů. (Zděděno od TrivialEstimator<TTransformer>)
GetOutputSchema(SchemaShape)	SchemaShape Vrátí schéma, které bude vytvořen transformátorem. Používá se pro šíření a ověřování schématu v kanálu.

Metody rozšíření

AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment)

Připojte k řetězci estimátoru kontrolní bod ukládání do mezipaměti. Tím zajistíte, aby podřízené estimátory byly vytrénovány proti datům uloženým v mezipaměti. Před průchodem více dat je užitečné mít kontrolní bod ukládání do mezipaměti.

WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>)

Vzhledem k estimátoru vraťte zalamovací objekt, který zavolá delegáta jednou Fit(IDataView) . Často je důležité, aby odhadovač vrátil informace o tom, co bylo vhodné, což je důvod, proč Fit(IDataView) metoda vrací konkrétně typ objekt, nikoli jen obecné ITransformer. Ve stejnou dobu se však často vytvářejí do kanálů s mnoha objekty, takže možná budeme muset vytvořit řetězec estimátorů, kde EstimatorChain<TLastTransformer> je odhadovač, IEstimator<TTransformer> pro který chceme získat transformátor, zakopán někde v tomto řetězci. Pro tento scénář můžeme prostřednictvím této metody připojit delegáta, který bude volána po zavolání fit.

Viz také

• TokenizeIntoWords(TransformsCatalog+TextTransforms, String, String, Char[])