Поделиться через

Azure Cosmos DB: варианты использования аналитики no-ETL

  • Статья

Область применения: Nosql Mongodb Гремлин

Azure Cosmos DB предоставляет различные варианты аналитики без ETL, практически в режиме реального времени аналитики по операционным данным. Вы можете включить аналитику данных Azure Cosmos DB с помощью следующих параметров:

  • Зеркальное отображение Azure Cosmos DB в Microsoft Fabric
  • Сведения об Azure Synapse Link для Azure Cosmos DB

Дополнительные сведения об этих параметрах см. в статье "Аналитика и бизнес-аналитика в данных Azure Cosmos DB".

Внимание

Зеркальное отображение Azure Cosmos DB в Microsoft Fabric теперь доступно в предварительной версии для API NoSql. Эта функция предоставляет все возможности Azure Synapse Link с более высокой аналитической производительностью, возможность объединить ресурсы данных с Fabric OneLake и открыть доступ к данным в OneLake с форматом Delta Parquet. Если вы рассматриваете Azure Synapse Link, рекомендуется попробовать зеркальное отображение для оценки общего соответствия вашей организации. Чтобы приступить к работе с зеркальным отображением, щелкните здесь.

Без ETL аналитика практически в режиме реального времени может открывать различные возможности для вашего бизнеса. Ниже приведены три примера сценариев:

  • Анализ цепочек поставок, прогнозирование и отчеты
  • Персонализация в реальном времени
  • Прогнозное обслуживание, обнаружение аномалий в сценариях для Интернета вещей

Анализ цепочек поставок, прогнозирование и отчеты

Исследования показывают, что внедрение анализа больших данных в операции цепочки поставок приводит к улучшениям времени доставки и эффективности цепочки поставок.

Производители используют облачные технологии, чтобы избежать ограничений устаревших систем планирования ресурсов предприятия (ERP) и управления цепочкой поставок (SCM). Поскольку цепочки поставок создают ежеминутно растущие объемы операционных данных (заказ, отправку, данные транзакций), производителям требуется операционная база данных. Эта операционная база данных должна масштабироваться для работы с томами данных, а также с аналитической платформой, чтобы получить уровень контекстной аналитики в режиме реального времени, чтобы вовремя реагировать на изменения.

В следующей архитектуре показана мощность использования Azure Cosmos DB в качестве облачной операционной базы данных в аналитике цепочки поставок:

Схема аналитики в режиме реального времени для Azure Cosmos DB в цепочке поставок.

На основе предыдущей архитектуры можно достичь следующих вариантов использования:

  • Подготовка и обучение прогнозного конвейера: создание аналитических сведений о операционных данных в цепочке поставок с помощью машинного обучения преобразуется. Таким образом можно уменьшить количество операций инвентаризации, затрат на эксплуатацию и сократить время доставки заказа клиентам.

Зеркальное отображение и Synapse Link позволяют анализировать изменяющиеся операционные данные в Azure Cosmos DB без каких-либо ручных процессов ETL. Эти предложения позволяют сэкономить от дополнительных затрат, задержки и сложности работы. Они позволяют инженерам и специалистам по обработке и анализу данных создавать надежные прогнозные конвейеры:

  • Запрос операционных данных из Azure Cosmos DB с помощью собственной интеграции с пулами Apache Spark в Microsoft Fabric или Azure Synapse Analytics. Данные можно запрашивать в интерактивной записной книжке или запланированных удаленных заданиях без сложного инжиниринга данных.

  • Создание моделей Машинное обучение (ML) с помощью алгоритмов Машинного обучения Spark и интеграции Машинное обучение Azure (AML) в Microsoft Fabric или Azure Synapse Analytics.

  • Обратная запись результатов после определения модели в Azure Cosmos DB для повышения эффективности оценки почти в реальном времени.

  • Операционные отчеты: группам цепочек поставок требуются гибкие и настраиваемые отчеты в режиме реального времени и точные операционные данные. Эти отчеты необходимы для получения моментального представления об эффективности, рентабельности и производительности цепочки поставок. Это позволяет аналитикам данных и другим ключевым заинтересованным лицам постоянно переоценивать бизнес-деятельность и вычислять области, которые необходимо настроить для сокращения эксплуатационных расходов.

Зеркальное отображение и Synapse Link для Azure Cosmos DB позволяют использовать расширенные сценарии бизнес-аналитики (BI)/reporting:

  • Запрос операционных данных из Azure Cosmos DB с помощью собственной интеграции с полной экспрессивностью языка T-SQL.

  • Модель и публикация панелей мониторинга бизнес-аналитики в Azure Cosmos DB с помощью Power BI, интегрированной в Microsoft Fabric или Azure Synapse Analytics.

Ниже приведены некоторые рекомендации по интеграции данных для пакетной и потоковой передачи данных в Azure Cosmos DB.

  • Интеграция с пакетными данными и оркестрация. Благодаря цепочкам поставок становится сложнее, платформы данных цепочки поставок должны интегрироваться с различными источниками данных и форматами. Microsoft Fabric и Azure Synapse встроены с тем же механизмом интеграции данных и интерфейсом, что и Фабрика данных Azure. Такая интеграция позволяет инженерам данных создавать многофункциональные конвейеры данных без отдельной подсистемы оркестрации:

  • Интеграция потоковых данных и обработка: при росте промышленного Интернета вещей (ресурсы отслеживания датчиков из "пола в хранилище", подключенных логистики и т. д.), существует взрыв данных в режиме потоковой передачи, которая должна быть интегрирована с традиционными медленными перемещениями данных для создания аналитических сведений. Azure Stream Analytics является рекомендуемой службой для потоковой передачи ETL и обработки в Azure с использованием широкого спектра сценариев. Azure Stream Analytics поддерживает Azure Cosmos DB в качестве собственного приемника данных.

Персонализация в реальном времени

Сегодня поставщики конечных решений должны создавать безопасные и масштабируемые решения для электронной коммерции, которые отвечают требованиям как клиентов, так и бизнеса. Эти решения для электронной коммерции должны привлекать клиентов через настраиваемые продукты и предложения, обрабатывайте сделки быстро и безопасно, сосредоточившись на услугах по обработке заказов и обслуживании клиентов. Azure Cosmos DB вместе с последней версией Synapse Link для Azure Cosmos DB позволяет розничным продавцам создавать персонализированные рекомендации для клиентов в режиме реального времени. Они используют параметры малой задержки и настраиваемой совместимости для немедленного анализа, как показано в следующей архитектуре:

Схема azure Cosmos DB в режиме реального времени персонализации.

  • Подготовка и обучение прогнозного конвейера. Вы можете создавать аналитические сведения о операционных данных в бизнес-подразделениях или сегментах клиентов с помощью Fabric или Synapse Spark и моделей машинного обучения. Это преобразуется в персонализированную доставку для целевых сегментов клиентов, прогнозных интерфейсов конечных пользователей и целевого маркетинга в соответствии с вашими требованиями конечных пользователей. )

Прогнозное обслуживание Интернета вещей

Нововведения в промышленных решениях для Интернета вещей значительно уменьшили время простоя оборудования и повысили общую эффективность всех сегментов отрасли. Одним из таких нововведений является анализ прогнозного обслуживания для компьютеров на границе облака.

Ниже приведена архитектура с помощью возможностей HTAP в облаке в прогнозном обслуживании Интернета вещей:

Схема Azure Cosmos DB в прогнозном обслуживании IOT.

  • Подготовка и обучение прогнозного конвейера: исторические операционные данные датчиков устройств Интернета вещей можно использовать для обучения прогнозных моделей, таких как детекторы аномалий. Затем эти средства обнаружения аномалий развертываются обратно на границе для мониторинга в режиме реального времени. Такой цикл тем самым эффективно обеспечивает непрерывное переобучение прогнозных моделей.

  • Операционные отчеты: благодаря росту популярности инициативы создания цифровых двойников компании собирают большие объемы операционных данных из большого количества датчиков для создания цифровой копии каждого компьютера. Эти данные позволяют бизнес-аналитике понимать тенденции по сравнению с историческими данными в дополнение к недавним горячим данным.

Связанный контент