Средства проверки точности построения моделей (службы Analysis Services — интеллектуальный анализ данных)
Вкладка Диаграмма точности интеллектуального анализа данных, доступная как в среде SQL Server Management Studio, так и в среде Business Intelligence Development Studio, содержит несколько средств, используемых при проверке моделей интеллектуального анализа данных.
Диаграммы точности прогнозов, диаграммы роста прибыли и точечные диаграммы. Все эти диаграммы можно просматривать на вкладке Диаграмма точности прогнозов. Используйте вкладку Выбор входа для выбора параметров модели и набора, затем перейдите на вкладку Диаграмма точности прогнозов и выберите тип диаграммы из списка Тип диаграммы. Если модель представляет линейную регрессию, то будет автоматически выбрана точечная диаграмма.
Матрицы классификации, иногда называемые таблицами смешения, можно настроить на вкладке Выбор входа, а затем отобразить на вкладке Матрица классификации.
Отчеты перекрестной проверки можно настраивать и просматривать на вкладке Перекрестная проверка вкладки Диаграмма точности интеллектуального анализа.
Примечание
Вкладку Диаграмма точности интеллектуального анализа нельзя использовать с моделями временных рядов.
Диаграмма точности прогнозов
Диаграмма точности прогнозов создается путем построения графика по результатам прогнозирующих запросов из проверочного набора данных относительно известных значений прогнозируемых столбцов, присутствующих в наборе. В диаграмме данные модели интеллектуального анализа данных отображаются наряду с представлением результатов, предложенных оптимальной моделью и полученных в результате случайного предположения. Любое улучшение по сравнению с линией случайного выбора называется точностью предсказаний. Чем большую точность предсказаний демонстрирует модель, тем она эффективнее. Только модели интеллектуального анализа данных, содержащие дискретные прогнозируемые атрибуты, можно сравнивать на диаграмме точности прогнозов.
Диаграмму точности прогнозов можно создать, используя вкладку Выбор входа для настройки целевой модели и выбора набора проверочных данных. Затем щелкните вкладку Диаграмма точности прогнозов для просмотра готовой диаграммы.
Дополнительные сведения см. в разделах: Диаграмма точности прогнозов (службы Analysis Services — интеллектуальный анализ данных), Вкладка «Диаграмма точности интеллектуального анализа». Инструкции, Средства проверки точности построения моделей (службы Analysis Services — интеллектуальный анализ данных)
Диаграмма роста прибыли
Диаграмма роста прибыли является разновидностью диаграммы точности прогнозов, в которой интегрированы сведения о расходах, связанных с использованием прогнозов, созданных моделью. После ввода данных, связанных с затратами (например, стоимости рассылки), службы Analysis Services выводят на экран кривую, на которой отображается представленная моделью точность прогнозов, и рассчитывают окупаемость инвестиций при использовании этой модели.
Диаграмму роста прибыли можно создать, используя вкладку Выбор входа для настройки целевой модели и выбора набора проверочных данных. Затем перейдите на вкладку Диаграмма точности прогнозов и выберите из списка Тип диаграммы пункт Диаграмма роста прибыли. Автоматически откроется диалоговое окно Настройки диаграммы роста прибыли. После настройки параметров, уникальных для диаграмм роста прибыли, диаграмма, отображаемая во вкладке Диаграмма точности интеллектуального анализа данных, автоматически изменится для отображения прибылей и затрат на одну единицу.
Дополнительные сведения см. в разделе Диаграмма роста прибыли (службы Analysis Services — интеллектуальный анализ данных), Диалоговое окно «Настройки диаграммы роста прибыли» (представление диаграммы точности интеллектуального анализа данных)
Точечная диаграмма
На точечной диаграмме отображается точность модели, прогнозирующей непрерывный атрибут, причем для каждого варианта фактические значения сравниваются со спрогнозированными. Формирование точечной диаграммы вместо диаграммы точности прогнозов выполняется всегда, когда значения прогнозируемых атрибутов являются непрерывными.
Если модель поддерживает необходимые входные столбцы и прогнозируемый столбец, то на вкладке Диаграмма точности интеллектуального анализа данных конструктора интеллектуального анализа данных можно будет создать точечную диаграмму. Сначала необходимо использовать вкладку Выбор входа для настройки целевой модели и выбора проверочного набора данных. Затем необходимо щелкнуть вкладку Диаграмма точности прогнозов. Диаграмма, отображаемая на вкладке Диаграмма точности интеллектуального анализа данных, автоматически сменится на диаграмму, отображающую линейную взаимосвязь между входами и прогнозируемыми значениями.
Дополнительные сведения см. в разделе Точечная диаграмма (службы Analysis Services — интеллектуальный анализ данных)
Матрица классификации
Матрица классификации — это еще один способ исследования точности прогнозов, создаваемых моделями в структуре интеллектуального анализа данных. Чтобы построить матрицу классификации, службы Analysis Services подсчитывают количество верных и неверных прогнозов, используя фактические значения, имеющиеся в проверочном наборе данных. Матрица полезна, поскольку она отображает не только то, как часто модель прогнозировала верное значение, но и то, какие значения прогнозируются неправильно. В матрице классификации отображается фактическое количество истинных положительных, ложных положительных, истинных отрицательных и ложных отрицательных результатов по каждому прогнозируемому атрибуту.
Матрицу классификации можно создать на вкладке Диаграмма точности интеллектуального анализа данных конструктора интеллектуального анализа данных. Сначала необходимо использовать вкладку Выбор входа для настройки целевой модели и выбора проверочного набора данных. Затем необходимо перейти на вкладку Матрица классификации. Диаграмма отобразится автоматически, дополнительной настройки не требуется.
Дополнительные сведения см. в разделах:Матрица классификации (службы Analysis Services — интеллектуальный анализ данных), Вкладка «Диаграмма точности интеллектуального анализа». Инструкции, Средства проверки точности построения моделей (службы Analysis Services — интеллектуальный анализ данных)
Отчет перекрестной проверки
Перекрестная проверка — это продвинутый метод интеллектуального анализа данных, помогающий определить достоверность модели. При создании отчета перекрестной проверки службы Analysis Services разделяют набор данных пользователя на несколько разрезов, автоматически создают и обучают несколько моделей на поднаборах, а затем вычисляют точность для всех моделей. Пересмотр сформированных статистических сведений позволяет предположить, насколько хорошо какая-либо модель применима к различным наборам данных, или выяснить, какая из нескольких моделей структуры дает наилучшие результаты.
Отчет перекрестной проверки можно создать на вкладке Диаграмма точности интеллектуального анализа данных конструктора интеллектуального анализа данных, выбрав модель или структуру, а затем используя вкладку Перекрестная проверка для настройки параметров для числа сверток, целевого атрибута и т. д.
Дополнительные сведения см. в разделе Перекрестная проверка (службы Analysis Services — интеллектуальный анализ данных), Отчет перекрестной проверки (службы Analysis Services — интеллектуальный анализ данных)