Основные понятия интеллектуального анализа данных
Применимо к:
SQL Server 2019 и более ранних версий Analysis Services 
Azure Analysis Services Fabric/Power BI Premium
Важно!
Интеллектуальный анализ данных не рекомендуется использовать в службах SQL Server 2017 Analysis Services, а в SQL Server 2022 Analysis Services его поддержка прекращена. Документация не обновляется для устаревших и неподдерживаемых функций. Дополнительные сведения см. в статье об обратной совместимости служб Analysis Services.
Интеллектуальный анализ данных представляет собой процесс обнаружения пригодных к использованию сведений в крупных наборах данных. В интеллектуальном анализе данных применяется математический анализ для выявления закономерностей и тенденций, существующих в данных. Обычно такие закономерности нельзя обнаружить при традиционном просмотре данных, поскольку связи слишком сложны, или из-за чрезмерного объема данных.
Эти закономерности и тренды можно собрать вместе и определить как модель интеллектуального анализа данных. Модели интеллектуального анализа данных могут применяться к конкретным сценариям, а именно:
Прогнозирование: оценка продаж, прогнозирование нагрузки сервера или времени простоя сервера
Риск и вероятность: выбор наиболее подходящих заказчиков для целевой рассылки, определение точки равновесия для рискованных сценариев, назначение вероятностей диагнозам или другим результатам
Рекомендации: определение продуктов, которые с высокой долей вероятности могут быть проданы вместе, создание рекомендаций
Поиск последовательностей: анализ выбора заказчиков во время совершения покупок, прогнозирование следующего возможного события
Группирование: разделение заказчиков или событий на кластеры связанных элементов, анализ и прогнозирование общих черт
Построение модели интеллектуального анализа данных является частью более масштабного процесса, в который входят все задачи, от формулировки вопросов относительно данных и создания модели для ответов на эти вопросы до развертывания модели в рабочей среде. Этот процесс можно представить как последовательность следующих шести базовых шагов.
На следующей схеме описаны связи между каждым этапом процесса и технологиями в Microsoft SQL Server, которые можно использовать для выполнения каждого шага.
Процесс, представленный на следующей диаграмме, является циклическим, то есть создание аналитической модели данных является динамическим и повторяющимся процессом. Выполнив просмотр данных, пользователь может обнаружить, что данных недостаточно для создания требуемых моделей интеллектуального анализа данных, что ведет к необходимости поиска дополнительных данных. Также может возникнуть ситуация, когда после построения нескольких моделей окажется, что они не дают адекватный ответ на поставленную задачу, и поэтому необходимо поставить задачу по-другому. Может возникнуть необходимость в обновлении уже развернутых моделей за счет новых поступивших данных. Для создания хорошей модели может понадобиться многократно повторить каждый шаг процесса.
Интеллектуальный анализ данных Microsoft SQL Server предоставляет интегрированную среду для создания моделей интеллектуального анализа данных и работы с ними. Эта среда включает SQL Server Development Studio, которая содержит алгоритмы интеллектуального анализа данных и средства запросов, которые упрощают создание комплексного решения для различных проектов, а также SQL Server Management Studio, которая содержит средства для просмотра моделей и управления объектами интеллектуального анализа данных. Дополнительные сведения см. в статье Создание многомерных моделей с помощью SQL Server Data Tools (SSDT).
Пример применения средств SQL Server к бизнес-сценарию см. в учебнике по базовому интеллектуальному анализу данных.
Постановка задачи
Первым шагом процесса интеллектуального анализа данных, как видно из диаграммы ниже, является четкое определение проблемы и рассмотрение способов использования данных для решения проблемы.
Этот шаг включает анализ бизнес-требований, определение области проблемы, метрик, по которым будет выполняться оценка модели, а также определение задач для проекта интеллектуального анализа данных. Эти задачи можно сформулировать в виде следующих вопросов.
Что необходимо найти? Какие типы связей необходимо найти?
Отражает ли решаемая задача бизнес-правила или бизнес-процессы?
Надо ли делать прогнозы на основании модели интеллектуального анализа данных или просто найти содержательные закономерности и взаимосвязи?
Какой результат или атрибут необходимо спрогнозировать?
Какие виды данных нужно иметь и какого рода информация находится в каждом столбце? Если существует несколько таблиц, как они связаны? Нужно ли выполнять очистку, статистическую обработку или обработку, чтобы данные стали применимыми?
Каким образом распределяются данные? Являются ли данные сезонными? Дают ли данные точное представление бизнес-процессов?
Чтобы ответить на эти вопросы, возможно, потребуется исследовать уровень доступности данных, изучить потребности пользователей в отношении доступных данных. Если данные не поддерживают потребности пользователей, то может возникнуть необходимость в изменении определения проекта.
Также необходимо рассмотреть способы для учета результатов модели в ключевых показателях эффективности, которые используются для оценки ведения бизнеса.
Подготовка данных
Вторым шагом процесса интеллектуального анализа данных, как видно из следующей диаграммы, является объединение и очистка данных, определенных во время шага Постановка задачи .
Данные могут находиться в разных частях компании и храниться в различных форматах или содержать такие ошибки согласования, как неверные или отсутствующие записи. Например, согласно данным, может оказаться, что клиент купил товар до того, как тот появился на рынке, или регулярно делает покупки в магазине, расположенном за 3 000 километров от дома.
Очистка данных — это не только удаление недопустимых данных или интерполяция отсутствующих значений, но и поиск в данных скрытых зависимостей, определение источников самых точных данных и подбор столбцов, которые больше всего подходят для использования в анализе. Например, следует ли использовать дату отгрузки или дату заказа? Какой фактор сильнее всего влияет на продажи — количество товара, итоговая цена или цена со скидкой? Неполные данные, ошибочные данные и входные параметры, которые выглядят как независимые, но на самом деле имеют прочную взаимосвязь, могут непредвиденным образом повлиять на результаты модели.
Поэтому перед началом построения моделей интеллектуального анализа данных следует выявить такие проблемы и определить, как их устранить. Для интеллектуального анализа данных обычно вы работаете с очень большим набором данных и не можете проверить каждую транзакцию на качество данных. Поэтому вам может потребоваться использовать некоторые виды профилирования данных и автоматизированные средства очистки и фильтрации данных, например, предоставляемые в службах Integration Services, Microsoft SQL Server 2012 Master Data Services или SQL Server Data Quality Services для изучения данных и обнаружения несоответствий. Для получения дополнительных сведений см. следующие ресурсы.
Важно заметить, что данные, используемые для интеллектуального анализа, не обязательно хранить в кубе аналитической обработки в сети (OLAP) или в реляционной базе данных, хотя оба эти типа объектов можно использовать в качестве источника данных. Интеллектуальный анализ данных можно выполнять с помощью любого источника данных, определенного как источник данных SQL Server Analysis Services. Сюда могут относиться текстовые файлы, книги Excel или данные из других внешних поставщиков. Дополнительные сведения см. в разделе Поддерживаемые источники данных (SSAS — многомерные)).
изучение данных;
Третьим шагом процесса интеллектуального анализа данных, как видно из диаграммы ниже, является просмотр подготовленных данных.
Для принятия правильных решений при создании моделей интеллектуального анализа данных необходимо понимать данные. Методы исследования данных включают в себя расчет минимальных и максимальных значений, вычисление средневероятного и стандартного отклонения и изучение распределения данных. Например, по максимальному, минимальному и среднему значениям можно заключить, что выборка данных не является репрезентативной для имеющихся клиентов или бизнес-процессов, и поэтому необходимо получить более сбалансированные данные или изменить предположения, лежащие в основе ожидаемых результатов. Стандартное отклонение и другие характеристики распределения могут сообщить полезные сведения о стабильности и точности результатов. Большая величина стандартного отклонения может свидетельствовать о том, что добавление новых данных поможет усовершенствовать модель. Данные, которые сильно отклоняются от стандартного распределения, могут оказаться искаженными или представлять точную картину реальной проблемы, которая делает сложным подбор соответствующей модели для данных.
Изучение данных в свете собственных представлений о бизнес-проблеме может привести к выводу о наличии ошибок в наборе данных, и затем можно выработать стратегию для устранения проблем или получить более глубокое представление о моделях поведения, характерных для бизнеса.
Вы можете использовать такие средства, как Master Data Services к холстам доступных источников данных и определить их доступность для интеллектуального анализа данных. Вы можете использовать такие средства, как SQL Server Data Quality Services или профилировщик данных в службах Integration Services, для анализа распределения данных и устранения проблем, таких как неправильные или отсутствующие данные.
Определив источники, вы объедините их в представление источника данных с помощью Designer представления источника данных в SQL Server Data Tools. Дополнительные сведения см. в разделе Представления источников данных в многомерных моделях. Конструктор содержит также ряд средств, которые можно использовать для просмотра данных и определения того, подходят ли они для создания модели. Дополнительные сведения см. в разделе Просмотр данных в представлении источника данных (службы Analysis Services).
Обратите внимание, что при создании модели SQL Server Analysis Services автоматически создает статистические сводки данных, содержащихся в модели, которые можно запрашивать для использования в отчетах или последующем анализе. Дополнительные сведения см. в статье Запросы интеллектуального анализа данных.
построение моделей;
Четвертым шагом процесса интеллектуального анализа данных, как видно из диаграммы ниже, является построение моделей интеллектуального анализа данных. Знания, полученные при выполнении шага Просмотр данных , помогут определить и создать модели.
Пользователь определяет столбцы данных, которые должны быть использованы, путем создания структуры интеллектуального анализа данных. Структура интеллектуального анализа связана с источником данных, но не содержит никаких данных до обработки. При обработке структуры интеллектуального анализа данных SQL Server Analysis Services создает статистические выражения и другую статистическую информацию, которую можно использовать для анализа. Эти данные могут использоваться любой моделью интеллектуального анализа данных, которая основана на этой структуре. Дополнительные сведения о связи структур интеллектуального анализа данных с моделями интеллектуального анализа данных см. в разделе Логическая архитектура (службы Analysis Services — интеллектуальный анализ данных).
Модель интеллектуального анализа данных перед обработкой структуры и модели является просто контейнером, который задает столбцы, используемые для входных данных, прогнозируемый атрибут и параметры, управляющие алгоритмом обработки данных. Обработку модели часто называют обучением. Обучение обозначает процесс применения некоторого математического алгоритма к данным в структуре с целью выявить закономерности. Закономерности, обнаруженные в процессе обучения, зависят от выбора обучающих данных, выбранного алгоритма и его конфигурации. SQL Server 2017 содержит множество различных алгоритмов, каждый из которых подходит для разных типов задач и создает разные типы моделей. Список алгоритмов, представленных в SQL Server 2017, см. в статье Алгоритмы интеллектуального анализа данных (службы Analysis Services — интеллектуальный анализ данных).
Для настройки каждого алгоритма используются параметры, и кроме того, можно применить фильтры к обучающим данным, чтобы использовать только их подмножество, что приведет к получению других результатов. После прохождения данных через модель объект модели интеллектуального анализа данных будет содержать сводные данные и закономерности, которые можно запрашивать и использовать для прогнозирования.
Новую модель можно определить с помощью мастера интеллектуального анализа данных в SQL Server Data Tools или с помощью языка расширений интеллектуального анализа данных. Дополнительные сведения об использовании мастера интеллектуального анализа данных см. в разделе Мастер интеллектуального анализа данных (службы Analysis Services — интеллектуальный анализ данных). Дополнительные сведения об использовании расширений интеллектуального анализа данных см. в справочнике по расширениям интеллектуального анализа данных.
Важно помнить, что при любом изменении данных необходимо обновить и структуру, и модель интеллектуального анализа данных. При обновлении структуры интеллектуального анализа данных путем ее повторной обработки SQL Server Analysis Services извлекает данные из источника, включая любые новые данные, если источник обновляется динамически, и повторно обновляет структуру интеллектуального анализа данных. Если на этой структуре основаны существующие модели, можно обновить эти модели, что будет означать их повторное обучение с новыми данными, или оставить модели без изменений. Дополнительные сведения см. в разделе Требования к обработке и рекомендации (интеллектуальный анализ данных).
Исследование и проверка моделей
Пятым шагом процесса интеллектуального анализа данных, как видно из диаграммы ниже, является исследование построенных моделей интеллектуального анализа данных и проверка их эффективности.
Перед развертыванием модели в рабочей среде необходимо проверить эффективность работы модели. Кроме того, во время построения модели обычно создается несколько моделей с различной конфигурацией, а затем проверяются все модели, чтобы определить, какая из них обеспечивает лучшие результаты для поставленной задачи и имеющихся данных.
SQL Server Analysis Services предоставляет средства, помогающие разделить данные на наборы данных для обучения и тестирования, чтобы можно было точно оценить производительность всех моделей на основе одних и того же данных. Набор данных для обучения используется в ходе построения модели, а набор проверочных данных — для проверки точности модели путем создания прогнозирующих запросов. Это секционирование можно выполнить автоматически при построении модели интеллектуального анализа данных. Дополнительные сведения см. в разделе Тестирование и проверка (интеллектуальный анализ данных).
Вы можете изучить тенденции и закономерности, обнаруженные алгоритмами, с помощью средств просмотра в Designer интеллектуального анализа данных в SQL Server Data Tools. Дополнительные сведения см. в статье Средства просмотра моделей интеллектуального анализа данных. Точность прогнозов, создаваемых моделями, можно проверить при помощи таких средств конструктора, как диаграмма точности прогнозов и матрица классификации. Чтобы проверить, ограничена применимость модели имеющимися данными или она может использоваться для совершения выводов относительно генеральной совокупности, можно применить статистический метод, называемый перекрестной проверкой , чтобы автоматически создать подмножества данных и проверить модель по каждому подмножеству. Дополнительные сведения см. в разделе Тестирование и проверка (интеллектуальный анализ данных).
Если ни одна из моделей, созданных при выполнении шага Построение моделей , не обладает нужной эффективностью, может возникнуть необходимость вернуться к предыдущему шагу процесса и либо изменить постановку задачи либо выполнить повторное изучение данных в исходном наборе данных.
Развертывание и обновление моделей
Последним шагом процесса интеллектуального анализа данных, как видно из диаграммы ниже, является развертывание наиболее эффективных моделей в рабочей среде.
После развертывания моделей интеллектуального анализа данных в рабочей среде можно выполнять множество задач, соответствующих потребностям пользователя. Ниже перечислены некоторые задачи, доступные для выполнения.
Используйте модели для создания прогнозов, которые можно затем использовать для принятия бизнес-решений. SQL Server предоставляет язык расширений интеллектуального анализа данных, который можно использовать для создания прогнозирующих запросов, и построитель прогнозирующих запросов для создания запросов. Дополнительные сведения см. в разделе Справочник по расширениям интеллектуального анализа данных (DMX).
Создание запросов содержимого для получения статистики, правил или формул из модели. Дополнительные сведения см. в статье Запросы интеллектуального анализа данных.
Внедрение функций интеллектуального анализа данных непосредственно в приложение. Можно включать объекты AMO, содержащие набор объектов, которые приложение может использовать для создания, изменения, обработки и удаления структур и моделей интеллектуального анализа данных. Кроме того, можно отправлять сообщения XML для анализа (XMLA) непосредственно экземпляру SQL Server Analysis Services. Дополнительные сведения см. в статье Разработка (службы Analysis Services — интеллектуальный анализ данных).
Используйте службы Integration Services для создания пакета, в котором модель интеллектуального анализа данных используется для интеллектуального разделения входящих данных на несколько таблиц. Например, если база данных постоянно обновляется с учетом потенциальных клиентов, можно использовать модель интеллектуального анализа данных вместе со службами Integration Services, чтобы разделить входящие данные на клиентов, которые, скорее всего, приобретют продукт, и клиентов, которые, скорее всего, не приобретют продукт. Дополнительные сведения см. в статье Типовое использование служб Integration Services.
Создание отчета, который позволит пользователям составлять прямые запросы к существующей модели интеллектуального анализа данных. Дополнительные сведения см. в разделе Службы Reporting Services в SQL Server Data Tools (службы SSDT).
Обновление моделей после просмотра и анализа. После любого обновления необходимо выполнить повторную обработку моделей. Дополнительные сведения см. в статье Processing Data Mining Objects.
Динамическое обновление моделей по мере поступления в организацию новых данных и постоянные изменения, направленные на повышение эффективности решения, должны быть частью стратегии развертывания. Дополнительные сведения см. в разделе Управление решениями и объектами интеллектуального анализа данных.
См. также:
Решения для интеллектуального анализа данных
Средства интеллектуального анализа данных