WordTokenizingEstimator Класс

Определение

Пространство имен:

Microsoft.ML.Transforms.Text

Сборка:

Microsoft.ML.Transforms.dll

Пакет:

Microsoft.ML v3.0.1

Маркеризирует входной текст с помощью указанных разделителей.

public sealed class WordTokenizingEstimator : Microsoft.ML.Data.TrivialEstimator<Microsoft.ML.Transforms.Text.WordTokenizingTransformer>

type WordTokenizingEstimator = class
    inherit TrivialEstimator<WordTokenizingTransformer>

Public NotInheritable Class WordTokenizingEstimator
Inherits TrivialEstimator(Of WordTokenizingTransformer)

Наследование

Object

TrivialEstimator<WordTokenizingTransformer>

WordTokenizingEstimator

Комментарии

Характеристики оценщика

Нужно ли этому оценщику просмотреть данные для обучения параметров?	нет
Тип данных входного столбца	Скалярный или вектор текста
Тип данных выходного столбца	Вектор переменного размера текста
Экспортируемый в ONNX	Да

В результате WordTokenizingTransformer создается новый столбец с именем, указанным в параметрах имени выходного столбца, где каждая входная строка сопоставляется с вектором подстрок, полученным путем разделения входной строки в соответствии с определяемыми пользователем разделителями. Символ пробела — это разделитель по умолчанию.

Пустые строки и строки, содержащие только пробелы, удаляются.

Ознакомьтесь с разделом "См. также" ссылки на примеры использования.

Методы

Fit(IDataView)	Маркеризирует входной текст с помощью указанных разделителей. (Унаследовано от TrivialEstimator<TTransformer>)
GetOutputSchema(SchemaShape)	Возвращает схему SchemaShape , которая будет производиться преобразователем. Используется для распространения и проверки схемы в конвейере.

Методы расширения

AppendCacheCheckpoint<TTrans>(IEstimator<TTrans>, IHostEnvironment)

Добавьте "контрольную точку кэширования" в цепочку оценщика. Это обеспечит обучение подчиненных оценщиков на основе кэшированных данных. Рекомендуется создать контрольную точку кэширования перед обучением, которые принимают несколько передач данных.

WithOnFitDelegate<TTransformer>(IEstimator<TTransformer>, Action<TTransformer>)

Учитывая оценщик, возвращает объект-оболочку, который будет вызывать делегат один раз Fit(IDataView) . Часто важно, чтобы оценщик возвращал сведения о том, что было в форме, поэтому Fit(IDataView) метод возвращает специально типизированный объект, а не просто общий ITransformer. Однако, в то же время, IEstimator<TTransformer> часто формируются в конвейеры со многими объектами, поэтому нам может потребоваться построить цепочку оценщиков, где EstimatorChain<TLastTransformer> оценщик, для которого мы хотим получить преобразователь, похоронен где-то в этой цепочке. В этом сценарии мы можем подключить делегат, который будет вызываться после вызова соответствия.

См. также раздел

• TokenizeIntoWords(TransformsCatalog+TextTransforms, String, String, Char[])