Оценка модели Vowpal Wabbit

В этой статье описывается, как использовать модуль Оценка модели Vowpal Wabbit в конструкторе Машинного обучения Microsoft Azure, чтобы создавать оценки для набора входных данных с помощью имеющейся обученной модели Vowpal Wabbit.

Этот компонент предоставляет последнюю версию Vowpal Wabbit Framework — версию 8.8.1. Используйте этот компонент для оценки данных с помощью обученной модели, сохраненной в VW версии 8.

Как настроить Оценку модели Vowpal Wabbit

1. Добавьте компонент Оценка модели Vowpal Wabbit в эксперимент.

2. Добавьте обученную модель Vowpal Wabbit и подключите ее к левому порту ввода. Вы можете использовать обученную модель, созданную в этом же эксперименте, или выбрать сохраненную модель в категории Наборы данных в левой области навигации конструктора. Однако модель должна быть доступна в конструкторе Машинного обучения Azure.

   Примечание

   Поддерживаются только модели Vowpal Wabbit версии 8.8.1. Подключить сохраненные модели, которые были обучены с помощью других алгоритмов, невозможно.

3. Добавьте набор данных для тестирования и подключите его к правому порту ввода. Если набор данных для тестирования является каталогом, который содержит тестовый файл данных, укажите имя этого тестового файла данных в поле Name of the test data file (Имя тестового файла данных). Если набором данных для тестирования является один файл, оставьте поле Name of the test data file (Имя тестового файла данных) пустым.

4. В текстовом поле VW arguments (Аргументы VW) введите набор допустимых аргументов командной строки в исполняемый файл Vowpal Wabbit.

   Сведения о том, какие аргументы Wabbit Vowpal поддерживаются в службе "Машинное обучение Azure", см. в разделе Технические примечания.

5. Name of the test data file (Имя тестового файла данных). Введите имя файла, содержащего входные данные. Этот аргумент используется только в том случае, если набор данных для тестирования является каталогом.

6. Specify file type (Укажите тип файла). Укажите, какой формат используют ваши данные для обучения. Vowpal Wabbit поддерживает следующие два формата входных файлов:

   • VW — это внутренний формат, используемый Vowpal Wabbit. Дополнительные сведения см. на вики-странице Vowpal Wabbit.
   • SVMLight — это формат, используемый некоторыми другими средствами машинного обучения.

7. Выберите параметр Include an extra column containing labels (Включить дополнительный столбец, содержащий метки), если вместе с оценками нужно выводить метки.

   Как правило, при обработке текстовых данных Vowpal Wabbit не требует меток и возвращает для каждой строки данных только оценки.

8. Выберите параметр Include an extra column containing raw scores (Включить дополнительный столбец, содержащий необработанные оценки), если вместе с результатами нужно выводить необработанные оценки.

9. Отправьте конвейер.

Результаты

После завершения обучения:

• Чтобы визуализировать результаты, щелкните правой кнопкой мыши выходные данные компонента Оценка модели Vowpal Wabbit. Выходные данные содержат оценку прогноза, нормализованную от 0 до 1.

• Чтобы оценить результаты, выходной набор данных должен содержать конкретные имена столбцов оценки, которые соответствуют требованиям компонента оценки модели.

  • Для задачи регрессии набор данных для оценки должен иметь один столбец с именем Regression Scored Labels, который представляет метки с оценками.
  • Для задачи двоичной классификации набор данных для оценки должен иметь два столбца с именами Binary Class Scored Labels и Binary Class Scored Probabilities, которые представляют метки с оценками и вероятности соответственно.
  • Для задачи с несколькими классификациями набор данных для оценки должен иметь один столбец с именем Multi Class Scored Labels, который представляет метки с оценками.

  Обратите внимание, что результаты компонента "Оценка модели Vowpal Wabbit" нельзя вычислить напрямую. Перед оценкой набор данных нужно изменить в соответствии с приведенными выше требованиями.

Технические примечания

В этом разделе содержатся сведения и советы относительно реализации, а также ответы на часто задаваемые вопросы.

Параметры

В Vowpal Wabbit есть множество параметров командной строки для выбора и настройки алгоритмов. Мы не можем привести здесь полное описание всех этих параметров, поэтому рекомендуем перейти на вики-страницу Vowpal Wabbit.

Следующие параметры не поддерживаются в Студии машинного обучения Azure (классическая версия).

• Параметры ввода-вывода, указанные в https://github.com/JohnLangford/vowpal_wabbit/wiki/Command-line-arguments

  Эти свойства автоматически настраивает компонент.

• Кроме того, запрещены любые параметры, которые создают несколько выводов или принимают несколько вводов. Это операторы --cbt , --lda , а также --wap .

• Поддерживаются только контролируемые алгоритмы обучения. Это запрещает следующие параметры: –active, --rank, --search и т. д.

Все аргументы, отличные от описанных выше, являются разрешенными.

Дальнейшие действия

Ознакомьтесь с набором доступных компонентов для Машинного обучения Azure.