Sdílet prostřednictvím


TokenizingByCharactersEstimator Třída

Definice

public sealed class TokenizingByCharactersEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.TokenizingByCharactersTransformer>
type TokenizingByCharactersEstimator = class
    inherit TrivialEstimator<TokenizingByCharactersTransformer>
Public NotInheritable Class TokenizingByCharactersEstimator
Inherits TrivialEstimator(Of TokenizingByCharactersTransformer)
Dědičnost
TokenizingByCharactersEstimator

Poznámky

Charakteristiky odhadu

Potřebuje tento estimátor podívat se na data, aby se natrénovala jeho parametry? Yes
Datový typ vstupního sloupce Skalární nebo vektor textu
Datový typ výstupního sloupce Vektor velikosti proměnné typu klíče .
Exportovatelný do ONNX Yes

Estimátor tokenizuje znaky rozdělením textu na sekvence znaků pomocí posuvného okna. Během trénování vytvoří estimátor slovník páru klíč-hodnota s zjištěnými sekvencemi znaků.

Výsledek TokenizingByCharactersTransformer přizpůsobení odhadce vytvoří nový sloupec s názvem zadaným v parametrech názvu výstupního sloupce, který obsahuje klíče sekvencí znaků, které byly zjištěny ve vstupu.

V části Viz také najdete odkazy na příklady použití.

Metody

Fit(IDataView)

IEstimator<TTransformer>TokenizingByCharactersTransformerpro .

(Zděděno od TrivialEstimator<TTransformer>)
GetOutputSchema(SchemaShape)

SchemaShape Vrátí schéma, které bude vytvořen transformátorem. Používá se k šíření a ověřování schématu v kanálu.

Metody rozšíření

AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment)

Připojte k řetězci odhadu kontrolní bod ukládání do mezipaměti. Tím zajistíte, aby se podřízené estimátory natrénovaly na data uložená v mezipaměti. Před průchodem více dat je užitečné mít kontrolní bod ukládání do mezipaměti.

WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>)

Pokud získáte odhadátor, vraťte obtékání objektu, který jednou zavolá delegáta Fit(IDataView) . Často je důležité, aby estimátor vrátil informace o tom, co bylo vhodné, což je důvod, proč Fit(IDataView) metoda vrací konkrétně zadaný objekt, a ne jen obecné ITransformer. Ve stejnou dobu se však často vytvářejí do kanálů s mnoha objekty, takže možná budeme muset vytvořit řetězec odhadovačů prostřednictvím EstimatorChain<TLastTransformer> toho, kde je odhadovač, IEstimator<TTransformer> pro který chceme získat transformátor, uložen někde v tomto řetězu. Pro tento scénář můžeme prostřednictvím této metody připojit delegáta, který bude volána po volání fit.

Platí pro

Viz také