Идеи решения
В этой статье описывается идея решения. Ваш архитектор облака может использовать это руководство, чтобы визуализировать основные компоненты для типичной реализации этой архитектуры. Используйте эту статью в качестве отправной точки для разработки хорошо спроектированного решения, которое соответствует конкретным требованиям рабочей нагрузки.
В этой статье описывается, как использовать Azure Data Explorer и Служебная шина Azure для улучшения существующей архитектуры брокера сообщений с помощью аналитики практически в режиме реального времени. Он предназначен для ИТ-администраторов, разработчиков облачных решений и групп мониторинга.
Архитектура
Скачайте файл Visio для этой архитектуры.
Логотип Grafana является товарным знаком Raintank, Inc., dba Grafana Labs. Никакое подтверждение не подразумевается использованием этого знака.
На схеме показаны два пути к данным. Основной путь, представленный сплошными линиями и полями 1–5, — прием данных из различных источников в служебной шине, где она обрабатывается заданием stream analytics и хранится в базе данных SQL. Второй путь, представленный пунктирными линиями и полями, показывает данные, поступающие из служебной шины в кластер Azure Data Explorer, где его можно запрашивать и анализировать с помощью язык запросов Kusto (KQL).
служебная шина используется для реализации Шаблон выравнивания нагрузки на основе очередей для транзакционного приложения.
Azure Data Explorer используется для запуска аналитики практически в реальном времени и предоставления данных с помощью API или прямых запросов, например Power BI, Управляемых Grafana или панелей мониторинга Azure Data Explorer.
Поток данных
Источник данных в архитектуре — это существующее приложение для обработки транзакций (OLTP). служебная шина используется для асинхронного масштабирования приложения.
Приложение OLTP (источник данных), размещенное в службе приложение Azure, отправляет данные в служебная шина.
Потоки данных из служебная шина в двух направлениях:
В существующем потоке приложений OLTP приложение-функция запускает приложение-функцию для хранения данных в База данных SQL Azure, Azure Cosmos DB или аналогичной операционной базе данных.
В потоке аналитики практически в режиме реального времени он активирует поток оркестрации.
Поток оркестрации отправляет данные в Azure Data Explorer для аналитики в режиме реального времени. Поток может использовать любой из следующих вариантов:
- Приложение-функция, использующее пакеты SDK для отправки данных в микропакетах или использующее поддержку приема управляемой потоковой передачи, предоставляемой Azure Data Explorer при настройке приема потоковой передачи.
- Служба опроса, например приложение, размещенное на Служба Azure Kubernetes (AKS) или виртуальной машине Azure, которая отправляет данные в Azure Data Explorer в микропакетах. Этот параметр не требует настройки приема потоковой передачи Azure Data Explorer.
Azure Data Explorer обрабатывает данные с помощью политик сопоставления схем и обновления, а также предоставляет доступ через API, пакет SDK или соединитель для интерактивной аналитики или отчетов. При необходимости Azure Data Explorer также может получать или ссылаться на данные из других источников данных, например База данных SQL или Azure Data Lake Storage.
Приложения, пользовательские службы или службы отчетов, такие как панели мониторинга Azure Data Explorer, Power BI и Azure Managed Grafana, могут запрашивать данные в Azure Data Explorer практически в режиме реального времени.
Компоненты
- Служба приложений позволяет создавать и размещать веб-приложения, мобильные серверные части и API RESTful на выбранном языке программирования без управления инфраструктурой.
- служебная шина обеспечивает надежную облачную службу обмена сообщениями.
- База данных SQL — это полностью управляемая база данных SQL, созданная для облака. Она предоставляет автоматические обновления, подготовку, масштабирование и резервные копии.
- Azure Cosmos DB — это глобально распределенная многомодельная база данных для приложений любого масштаба.
- Функции Azure — это бессерверная платформа вычислений на основе событий. С помощью функций можно развертывать и работать в масштабе в облаке и использовать триггеры и привязки для интеграции служб.
- AKS — это высокодоступная, высокозащищенная и полностью управляемая служба Kubernetes для рабочих нагрузок приложений и микрослужб.
- Azure Data Explorer — это быстрая, полностью управляемая и высокомасштабируемая служба аналитики данных для анализа больших объемов данных, которые передаются из приложений, веб-сайтов, устройств Интернета вещей и т. д.
- Data Lake Storage, построенная на Хранилище BLOB-объектов Azure, обеспечивает масштабируемую функциональность озера данных.
- Power BI помогает превратить данные в последовательные, визуально иммерсивные, интерактивные аналитические сведения.
- Управляемый Grafana Azure — это полностью управляемая служба, которая позволяет развертывать Grafana без затрат времени на настройку.
Подробности сценария
Аналитика в режиме реального времени — это процесс анализа данных, как только он создается, чтобы получить аналитические сведения о текущем состоянии системы. Организации все чаще внедряют аналитику в режиме реального времени, чтобы получить конкурентное преимущество. Аналитика практически в режиме реального времени — это вариант аналитики в режиме реального времени, которая предоставляет аналитические сведения в течение нескольких секунд или минут создания данных.
Эти процессы позволяют организациям быстрее получать аналитические сведения, принимать лучшие решения и реагировать на изменение условий более эффективно. Аналитика практически в режиме реального времени может применяться к различным доменам, таким как электронная коммерция, здравоохранение, производство и финансы. Например, компания электронной коммерции может использовать аналитику практически в режиме реального времени для мониторинга поведения клиентов, оптимизации ценообразования и персонализации рекомендаций.
Многие организации реализуют аналитику практически в режиме реального времени в существующих решениях. Эта идея решения демонстрирует, как добавить аналитику практически в режиме реального времени в существующую архитектуру, основанную на брокере сообщений, и это часть операционного приложения OLTP.
OLTP означает обработку транзакций через Интернет. Это тип обработки данных, который управляет приложениями, ориентированными на транзакции, как правило, для записи данных и получения транзакций в среде реального времени. Системы OLTP предназначены для обработки небольших, быстрых транзакций, которые часто являются финансовыми, например банковские транзакции или покупки кредитной карты.
Потенциальные варианты использования
Ниже приведены некоторые варианты использования, иллюстрирующие преимущества аналитики практически в режиме реального времени:
- Медицинские поставщики могут отслеживать результаты пациентов, обнаруживать аномалии и улучшать качество ухода.
- Производственные компании могут оптимизировать производство, сократить отходы и предотвратить простой.
- Финансовые учреждения могут отслеживать транзакции, обнаруживать мошенничество, управлять рисками и обеспечивать соответствие нормативным требованиям.
- Коммерческие компании могут отслеживать кампании и получать аналитические сведения о поддержке продвижения.
- Компании могут отслеживать, оптимизировать, анализировать и прогнозы цепочек поставок.
Соавторы
Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.
Автор субъекта:
- Шломо Сагир | Старший разработчик содержимого
Другой участник:
- Мик Альбертс | Технический писатель
Чтобы просмотреть недоступные профили LinkedIn, войдите в LinkedIn.