Azure Cosmos DB: варианты использования аналитики no-ETL
Область применения: 
Nosql Mongodb Гремлин
Azure Cosmos DB предоставляет различные варианты аналитики без ETL, практически в режиме реального времени аналитики по операционным данным. Вы можете включить аналитику данных Azure Cosmos DB с помощью следующих параметров:
- Зеркальное отображение Azure Cosmos DB в Microsoft Fabric
- Сведения об Azure Synapse Link для Azure Cosmos DB
Дополнительные сведения об этих параметрах см. в статье "Аналитика и бизнес-аналитика в данных Azure Cosmos DB".
Внимание
Зеркальное отображение Azure Cosmos DB в Microsoft Fabric теперь доступно в предварительной версии для API NoSql. Эта функция предоставляет все возможности Azure Synapse Link с более высокой аналитической производительностью, возможность объединить ресурсы данных с Fabric OneLake и открыть доступ к данным в OneLake с форматом Delta Parquet. Если вы рассматриваете Azure Synapse Link, рекомендуется попробовать зеркальное отображение для оценки общего соответствия вашей организации. Чтобы приступить к работе с зеркальным отображением, щелкните здесь.
Без ETL аналитика практически в режиме реального времени может открывать различные возможности для вашего бизнеса. Ниже приведены три примера сценариев:
- Анализ цепочек поставок, прогнозирование и отчеты
- Персонализация в реальном времени
- Прогнозное обслуживание, обнаружение аномалий в сценариях для Интернета вещей
Анализ цепочек поставок, прогнозирование и отчеты
Исследования показывают, что внедрение анализа больших данных в операции цепочки поставок приводит к улучшениям времени доставки и эффективности цепочки поставок.
Производители используют облачные технологии, чтобы избежать ограничений устаревших систем планирования ресурсов предприятия (ERP) и управления цепочкой поставок (SCM). Поскольку цепочки поставок создают ежеминутно растущие объемы операционных данных (заказ, отправку, данные транзакций), производителям требуется операционная база данных. Эта операционная база данных должна масштабироваться для работы с томами данных, а также с аналитической платформой, чтобы получить уровень контекстной аналитики в режиме реального времени, чтобы вовремя реагировать на изменения.
В следующей архитектуре показана мощность использования Azure Cosmos DB в качестве облачной операционной базы данных в аналитике цепочки поставок:
На основе предыдущей архитектуры можно достичь следующих вариантов использования:
- Подготовка и обучение прогнозного конвейера: создание аналитических сведений о операционных данных в цепочке поставок с помощью машинного обучения преобразуется. Таким образом можно уменьшить количество операций инвентаризации, затрат на эксплуатацию и сократить время доставки заказа клиентам.
Зеркальное отображение и Synapse Link позволяют анализировать изменяющиеся операционные данные в Azure Cosmos DB без каких-либо ручных процессов ETL. Эти предложения позволяют сэкономить от дополнительных затрат, задержки и сложности работы. Они позволяют инженерам и специалистам по обработке и анализу данных создавать надежные прогнозные конвейеры:
Запрос операционных данных из Azure Cosmos DB с помощью собственной интеграции с пулами Apache Spark в Microsoft Fabric или Azure Synapse Analytics. Данные можно запрашивать в интерактивной записной книжке или запланированных удаленных заданиях без сложного инжиниринга данных.
Создание моделей Машинное обучение (ML) с помощью алгоритмов Машинного обучения Spark и интеграции Машинное обучение Azure (AML) в Microsoft Fabric или Azure Synapse Analytics.
Обратная запись результатов после определения модели в Azure Cosmos DB для повышения эффективности оценки почти в реальном времени.
Операционные отчеты: группам цепочек поставок требуются гибкие и настраиваемые отчеты в режиме реального времени и точные операционные данные. Эти отчеты необходимы для получения моментального представления об эффективности, рентабельности и производительности цепочки поставок. Это позволяет аналитикам данных и другим ключевым заинтересованным лицам постоянно переоценивать бизнес-деятельность и вычислять области, которые необходимо настроить для сокращения эксплуатационных расходов.
Зеркальное отображение и Synapse Link для Azure Cosmos DB позволяют использовать расширенные сценарии бизнес-аналитики (BI)/reporting:
Запрос операционных данных из Azure Cosmos DB с помощью собственной интеграции с полной экспрессивностью языка T-SQL.
Модель и публикация панелей мониторинга бизнес-аналитики в Azure Cosmos DB с помощью Power BI, интегрированной в Microsoft Fabric или Azure Synapse Analytics.
Ниже приведены некоторые рекомендации по интеграции данных для пакетной и потоковой передачи данных в Azure Cosmos DB.
Интеграция с пакетными данными и оркестрация. Благодаря цепочкам поставок становится сложнее, платформы данных цепочки поставок должны интегрироваться с различными источниками данных и форматами. Microsoft Fabric и Azure Synapse встроены с тем же механизмом интеграции данных и интерфейсом, что и Фабрика данных Azure. Такая интеграция позволяет инженерам данных создавать многофункциональные конвейеры данных без отдельной подсистемы оркестрации:
Перемещение данных из свыше 85 поддерживаемых источников данных в Azure Cosmos DB с помощью Фабрики данных Azure.
Создавайте конвейеры ETL без написания кода для Azure Cosmos DB включая реляционные и иерархические сопоставления с потоками данных сопоставления.
Интеграция потоковых данных и обработка: при росте промышленного Интернета вещей (ресурсы отслеживания датчиков из "пола в хранилище", подключенных логистики и т. д.), существует взрыв данных в режиме потоковой передачи, которая должна быть интегрирована с традиционными медленными перемещениями данных для создания аналитических сведений. Azure Stream Analytics является рекомендуемой службой для потоковой передачи ETL и обработки в Azure с использованием широкого спектра сценариев. Azure Stream Analytics поддерживает Azure Cosmos DB в качестве собственного приемника данных.
Персонализация в реальном времени
Сегодня поставщики конечных решений должны создавать безопасные и масштабируемые решения для электронной коммерции, которые отвечают требованиям как клиентов, так и бизнеса. Эти решения для электронной коммерции должны привлекать клиентов через настраиваемые продукты и предложения, обрабатывайте сделки быстро и безопасно, сосредоточившись на услугах по обработке заказов и обслуживании клиентов. Azure Cosmos DB вместе с последней версией Synapse Link для Azure Cosmos DB позволяет розничным продавцам создавать персонализированные рекомендации для клиентов в режиме реального времени. Они используют параметры малой задержки и настраиваемой совместимости для немедленного анализа, как показано в следующей архитектуре:
- Подготовка и обучение прогнозного конвейера. Вы можете создавать аналитические сведения о операционных данных в бизнес-подразделениях или сегментах клиентов с помощью Fabric или Synapse Spark и моделей машинного обучения. Это преобразуется в персонализированную доставку для целевых сегментов клиентов, прогнозных интерфейсов конечных пользователей и целевого маркетинга в соответствии с вашими требованиями конечных пользователей. )
Прогнозное обслуживание Интернета вещей
Нововведения в промышленных решениях для Интернета вещей значительно уменьшили время простоя оборудования и повысили общую эффективность всех сегментов отрасли. Одним из таких нововведений является анализ прогнозного обслуживания для компьютеров на границе облака.
Ниже приведена архитектура с помощью возможностей HTAP в облаке в прогнозном обслуживании Интернета вещей:
Подготовка и обучение прогнозного конвейера: исторические операционные данные датчиков устройств Интернета вещей можно использовать для обучения прогнозных моделей, таких как детекторы аномалий. Затем эти средства обнаружения аномалий развертываются обратно на границе для мониторинга в режиме реального времени. Такой цикл тем самым эффективно обеспечивает непрерывное переобучение прогнозных моделей.
Операционные отчеты: благодаря росту популярности инициативы создания цифровых двойников компании собирают большие объемы операционных данных из большого количества датчиков для создания цифровой копии каждого компьютера. Эти данные позволяют бизнес-аналитике понимать тенденции по сравнению с историческими данными в дополнение к недавним горячим данным.