Проверка точности моделей интеллектуального анализа данных (учебник по интеллектуальному анализу данных)

После того как модели интеллектуального анализа данных были построены, обработаны и опробованы для сценария прямой почтовой рассылки, можно протестировать их на точность прогнозирования и выявить, работает ли одна из моделей лучше остальных.

На вкладке Диаграмма точности интеллектуального анализа конструктора интеллектуального анализа данных можно вычислить, насколько точны прогнозы каждой из моделей, а также сравнить результаты каждой модели по отношению к другим моделям. Этот метод сравнения имеет название диаграмма точности прогнозов. На вкладке Диаграмма точности интеллектуального анализа с помощью входных данных, которые представляют собой данные, отделенные от исходного набора данных, можно сравнить прогнозы с заранее известными результатами. Затем результаты сравнения сортируются и выводятся на диаграмме. На диаграмме также отображается идеальная модель, то есть теоретическая модель, прогнозирующая результат со стопроцентной точностью. Можно сравнить результаты каждой из моделей с результатами идеальной модели, чтобы оценить, насколько хорошо эта модель выполняет прогнозы. Дополнительные сведения о работе с диаграммами точности прогнозов см. в разделе Диаграмма точности предсказаний.

Диаграммы точности прогнозов являются важным инструментом, поскольку с их помощью можно определить качество работы практически одинаковых моделей структуры, что позволяет выявить модель с наилучшей точностью прогнозов. Кроме того, с помощью диаграмм точности прогнозов можно понять, какой из типов алгоритмов дает лучшие прогнозы в конкретной ситуации. Дополнительные сведения об использовании вкладки Диаграмма точности интеллектуального анализа см. в разделе Проверка моделей интеллектуального анализа данных.

В этом разделе будут выполнены следующие задачи:

• Сопоставление входных столбцов
• Фильтрация входных строк
• Выбор моделей, прогнозируемых столбцов и значений
• Просмотр диаграммы точности прогнозов

Сопоставление входных столбцов

Первым шагом тестирования точности моделей интеллектуального анализа данных является сопоставление столбцов структуры интеллектуального анализа данных с входными данными. Если сопоставляются непосредственно имена столбцов, в конструкторе интеллектуального анализа данных связи создаются автоматически.

Сопоставление входных столбцов со структурой интеллектуального анализа данных

1. На вкладке Сопоставление столбцов вкладки Диаграммы точности интеллектуального анализа конструктора интеллектуального анализа данных в поле Выбор входных таблиц щелкните Выбрать таблицу вариантов.

   Откроется диалоговое окно Выбор таблицы. В этом диалоговом окне нужно выбрать таблицу, содержащую входные данные, которые будут использоваться для составления прогнозирующих запросов, необходимых для вычисления точности моделей. В этом учебнике для входных столбцов будут использоваться те же данные, что и для обработки моделей. Однако в идеале для входных столбцов должны применяться отдельные строки данных, которые не пересекаются с данными, использовавшимися для обработки моделей. Данные для входных столбцов выбираются в диалоговом окне Выбор таблицы.

2. Убедитесь, что в списке Источник данных выбрана база данных Adventure Works DW.

3. В списке Имя таблицы или представления выберите таблицу vTargetMail и нажмите кнопку ОК.

   Столбцы в структуре интеллектуального анализа данных автоматически сопоставляются со столбцами входной таблицы, имеющими те же имена.

На основе сопоставления столбцов формируется прогнозирующий запрос для каждой из моделей структуры. Чтобы удалить сопоставление двух столбцов, выберите строку, связывающую столбец в таблице Структура интеллектуального анализа данных со столбцом в таблице Выбор входных таблиц и нажмите кнопку DELETE. Кроме того, сопоставления можно создать вручную, щелкнув столбец в поле Выбор входных таблиц и перетянув его в соответствующий столбец Структура интеллектуального анализа данных.

Фильтрация входных строк

Чтобы отфильтровать входные данные, можно использовать сетку в области Фильтровать входящие данные, формирующие диаграммы точности прогнозов. Можно перетащить на эту сетку столбцы из таблицы Выбор входных таблиц или выбрать значения, щелкнув столбец сетки и воспользовавшись появившимся списком значений. Например, если нужно ограничить число входных строк теми, у которых значение столбца Доход больше x, выберите vTargetMail в столбце Источник, а затем Доход в столбце Поле, после чего в столбце Критерий или аргумент введите значение >x.

Обратите внимание, что данные в этом учебнике фильтровать не нужно.

Выбор моделей, прогнозируемых столбцов и значений

Теперь следует выбрать модели, которые будут включены в диаграмму точности прогнозов, а также выбрать прогнозируемый столбец, с которым будут сравниваться эти модели. По умолчанию выбраны все модели в структуре интеллектуального анализа данных. Можно исключить любую из моделей, однако в данном учебнике следует оставить выбранными все модели.

Можно создавать два типа диаграмм точности. Если выбрать прогнозируемое значение, в диаграмме будет отображаться расхождение прогнозируемых результатов модели с идеальными. Если прогнозируемое значение не указано, в диаграмме будет показана точность модели.

Отображение расхождения моделей

1. Убедитесь, что в группе Выбрать прогнозируемые столбцы модели интеллектуального анализа данных для отображения на диаграмме точности прогнозов в списке Имя прогнозируемого столбца для каждой модели выбран Покупатель велосипеда.

2. В столбце Прогнозируемое значение выберите 1 для каждой из моделей.

Отображение точности моделей

• Убедитесь, что в группе Выбрать прогнозируемые столбцы модели интеллектуального анализа данных для отображения на диаграмме точности прогнозов в списке Имя прогнозируемого столбца для каждой модели выбран Покупатель велосипеда.

  Оставьте столбец Прогнозируемое значение пустым.

Если установлен флажок Синхронизировать столбцы и значения прогноза, прогнозируемые столбцы синхронизируются с каждой моделью в структуре интеллектуального анализа данных.

Примечание.
Столбцы модели, которые перечислены в списке Имя прогнозируемого столбца, ограничены столбцами, имеющими тип применения Predict или Predict Only. Кроме того, столбцы должны быть основаны на столбцах структуры интеллектуального анализа данных с типом содержимого Discrete или Discretized.

В некоторых расширенных сценариях может потребоваться создать диаграмму точности прогнозов, которая включает прогнозируемые столбцы двух моделей, не основанных на одной структуре интеллектуального анализа данных, но содержащих одинаковые данные. Если снять флажок Синхронизировать столбцы и значения прогноза, можно выбирать любые доступные прогнозируемые столбцы и значения. Результаты будут выведены вместе, независимо от того, имеют ли они смысл.

Просмотр диаграммы точности прогнозов

Чтобы просмотреть диаграмму точности прогнозов, перейдите на вкладку Диаграмма точности прогнозов вкладки Диаграмма точности интеллектуального анализа. Если щелкнуть эту вкладку, будет выполнен прогнозирующий запрос к серверу и базе данных для структуры интеллектуального анализа данных и входной таблицы. Результаты прогнозирования сравниваются с известными фактическими значениями и выводятся в виде диаграммы. Дополнительные сведения об использовании этой диаграммы см. в разделе Диаграмма точности предсказаний.

Следующая задача занятия

Создание прогнозов (учебник по интеллектуальному анализу данных)