WordTokenizingEstimator Classe

Definizione

Spazio dei nomi:

Microsoft.ML.Transforms.Text

Assembly:

Microsoft.ML.Transforms.dll

Pacchetto:

Microsoft.ML v3.0.1

Tokenzza il testo di input usando delimitatori specificati.

public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>

type WordTokenizingEstimator = class
    inherit TrivialEstimator<WordTokenizingTransformer>

Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)

Ereditarietà

Object

TrivialEstimator<WordTokenizingTransformer>

WordTokenizingEstimator

Commenti

Caratteristiche dello strumento di stima

Questo stimatore deve esaminare i dati per eseguire il training dei relativi parametri?	No
Tipo di dati della colonna di input	Scalare o vettore di testo
Tipo di dati della colonna di output	Vettore di dimensioni variabili del testo
Esportabile in ONNX	Sì

Il risultato WordTokenizingTransformer crea una nuova colonna, denominata come specificato nei parametri del nome della colonna di output, in cui ogni stringa di input viene mappata a un vettore di sottostringa ottenute suddividendo la stringa di input in base ai delimitatori definiti dall'utente. Il carattere di spazio è il delimitatore predefinito.

Le stringhe e le stringhe vuote contenenti solo spazi vengono eliminati.

Controllare la sezione Vedere anche i collegamenti agli esempi di utilizzo.

Metodi

Fit(IDataView)	Tokenzza il testo di input usando delimitatori specificati. (Ereditato da TrivialEstimator<TTransformer>)
GetOutputSchema(SchemaShape)	Restituisce l'oggetto SchemaShape dello schema che verrà prodotto dal trasformatore. Usato per la propagazione e la verifica dello schema in una pipeline.

Metodi di estensione

AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment)

Aggiungere un "checkpoint di memorizzazione nella cache" alla catena di stima. Ciò garantisce che gli estimatori downstream vengano sottoposti a training sui dati memorizzati nella cache. È utile avere un checkpoint di memorizzazione nella cache prima dei training che accettano più passaggi di dati.

WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>)

Dato un stimatore, restituire un oggetto wrapping che chiamerà un delegato una volta Fit(IDataView) chiamato. Spesso è importante che un stimatore restituisca informazioni su ciò che è stato adatto, che è il motivo per cui il Fit(IDataView) metodo restituisce un oggetto tipizzato in modo specifico, anziché solo un oggetto generale ITransformer. Tuttavia, allo stesso tempo, IEstimator<TTransformer> sono spesso formati in pipeline con molti oggetti, quindi potrebbe essere necessario creare una catena di stima tramite EstimatorChain<TLastTransformer> dove lo stimatore per cui si vuole ottenere il trasformatore è sepolto da qualche parte in questa catena. Per questo scenario, è possibile collegare questo metodo a un delegato che verrà chiamato una volta chiamato fit.

Vedi anche

• TokenizeIntoWords(TransformsCatalog+TextTransforms, String, String, Char[])