TokenizingByCharactersEstimator Classe

Definição

Namespace:

Microsoft.ML.Transforms.Text

Assembly:

Microsoft.ML.Transforms.dll

Pacote:

Microsoft.ML v3.0.1

IEstimator<TTransformer> para o TokenizingByCharactersTransformer.

public sealed class TokenizingByCharactersEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.TokenizingByCharactersTransformer>

type TokenizingByCharactersEstimator = class
    inherit TrivialEstimator<TokenizingByCharactersTransformer>

Public NotInheritable Class TokenizingByCharactersEstimator
Inherits TrivialEstimator(Of TokenizingByCharactersTransformer)

Herança

Object

TrivialEstimator<TokenizingByCharactersTransformer>

TokenizingByCharactersEstimator

Comentários

Características do estimador

Esse estimador precisa examinar os dados para treinar seus parâmetros?	Sim
Tipo de dados de coluna de entrada	Escalar ou vetor de texto
Tipo de dados de coluna de saída	Vetor de tamanho variável do tipo de chave .
Exportável para ONNX	Sim

O estimador tokeniza os caracteres dividindo o texto em sequências de caracteres usando uma janela deslizante. Durante o treinamento, o estimador cria um dicionário de pares chave-valor com as sequências de caracteres encontradas.

O TokenizingByCharactersTransformer resultado da montagem do estimador cria uma nova coluna, nomeada conforme especificado nos parâmetros de nome da coluna de saída, que contém as chaves das sequências de caracteres que foram encontradas na entrada.

Verifique a seção Consulte Também para obter links para exemplos de uso.

Métodos

Fit(IDataView)	IEstimator<TTransformer> para o TokenizingByCharactersTransformer. (Herdado de TrivialEstimator<TTransformer>)
GetOutputSchema(SchemaShape)	Retorna o SchemaShape esquema que será produzido pelo transformador. Usado para propagação e verificação de esquema em um pipeline.

Métodos de Extensão

AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment)

Acrescente um "ponto de verificação de cache" à cadeia de estimativas. Isso garantirá que os estimadores downstream serão treinados em relação aos dados armazenados em cache. É útil ter um ponto de verificação de cache antes dos treinadores que fazem várias passagens de dados.

WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>)

Dado um estimador, retorne um objeto de encapsulamento que chamará um delegado uma vez Fit(IDataView) chamado. Geralmente, é importante que um estimador retorne informações sobre o que estava em forma, e é por isso que o Fit(IDataView) método retorna um objeto especificamente tipado, em vez de apenas um geral ITransformer. No entanto, ao mesmo tempo, IEstimator<TTransformer> muitas vezes são formados em pipelines com muitos objetos, portanto, talvez seja necessário construir uma cadeia de estimadores por meio EstimatorChain<TLastTransformer> de onde o estimador para o qual queremos que o transformador seja enterrado em algum lugar nesta cadeia. Para esse cenário, podemos por meio desse método anexar um delegado que será chamado quando fit for chamado.

Confira também

• TokenizeIntoCharactersAsKeys(TransformsCatalog+TextTransforms, String, String, Boolean)