WordTokenizingEstimator Classe

Definição

Namespace:

Microsoft.ML.Transforms.Text

Assembly:

Microsoft.ML.Transforms.dll

Pacote:

Microsoft.ML v3.0.1

Tokeniza o texto de entrada usando delimitadores especificados.

public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>

type WordTokenizingEstimator = class
    inherit TrivialEstimator<WordTokenizingTransformer>

Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)

Herança

Object

TrivialEstimator<WordTokenizingTransformer>

WordTokenizingEstimator

Comentários

Características do avaliador

Esse avaliador precisa examinar os dados para treinar seus parâmetros?	No
Tipo de dados de coluna de entrada	Escalar ou Vetor de Texto
Tipo de dados da coluna de saída	Vetor de texto de tamanho variável
Exportável para ONNX	Sim

O resultado WordTokenizingTransformer cria uma nova coluna, nomeada conforme especificado nos parâmetros de nome da coluna de saída, em que cada cadeia de caracteres de entrada é mapeada para um vetor de subcadeias de caracteres obtidas dividindo a cadeia de caracteres de entrada de acordo com os delimitadores definidos pelo usuário. O caractere de espaço é o delimitador padrão.

Cadeias de caracteres vazias e cadeias de caracteres que contêm apenas espaços são descartadas.

Verifique a seção Consulte Também para obter links para exemplos de uso.

Métodos

Fit(IDataView)	Tokeniza o texto de entrada usando delimitadores especificados. (Herdado de TrivialEstimator<TTransformer>)
GetOutputSchema(SchemaShape)	Retorna o SchemaShape esquema que será produzido pelo transformador. Usado para propagação e verificação de esquema em um pipeline.

Métodos de Extensão

AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment)

Acrescente um 'ponto de verificação de cache' à cadeia do avaliador. Isso garantirá que os estimadores downstream sejam treinados em relação aos dados armazenados em cache. É útil ter um ponto de verificação de cache antes dos treinadores que levam vários passes de dados.

WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>)

Dado um avaliador, retorne um objeto de encapsulamento que chamará um delegado uma vez Fit(IDataView) que seja chamado. Geralmente, é importante que um avaliador retorne informações sobre o que estava em forma, e é por isso que o Fit(IDataView) método retorna um objeto especificamente tipado, em vez de apenas um geral ITransformer. No entanto, ao mesmo tempo, IEstimator<TTransformer> muitas vezes são formados em pipelines com muitos objetos, portanto, talvez seja necessário criar uma cadeia de avaliadores por meio EstimatorChain<TLastTransformer> de onde o estimador para o qual queremos obter o transformador está enterrado em algum lugar nesta cadeia. Para esse cenário, podemos por meio desse método anexar um delegado que será chamado assim que o ajuste for chamado.

Confira também

• TokenizeIntoWords(TransformsCatalog+TextTransforms, String, String, Char[])