Изменить

Поделиться через

Потоковая передача данных с помощью AKS

Служба приложений Azure
Cлужба управления Azure API
Реестр контейнеров Azure
Кэш Azure для Redis
Azure Cosmos DB

Идеи решения

В этой статье описывается идея решения. Ваш архитектор облака может использовать это руководство, чтобы визуализировать основные компоненты для типичной реализации этой архитектуры. Используйте эту статью в качестве отправной точки для разработки хорошо спроектированного решения, которое соответствует конкретным требованиям рабочей нагрузки.

В этой статье представлено решение для быстрого обработки и анализа большого объема потоковых данных с устройств с помощью Служба Azure Kubernetes (AKS).

Apache, Apache® Kafka и Apache Spark являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и /или других странах. Использование этих меток не подразумевает подтверждения от Apache Software Foundation.

Архитектура

Схема архитектуры, на которой показано, как потоковая передача данных с устройств обрабатывается, обрабатывается и анализируется.

Скачайте файл Visio для этой архитектуры.

Поток данных

  1. Датчики создают данные и передают их в Azure Управление API.
  2. Кластер AKS запускает микрослужбы, развернутые в качестве контейнеров за сеткой службы. Контейнеры создаются с помощью процесса DevOps и хранятся в Реестр контейнеров Azure.
  3. Служба приема сохраняет данные в Azure Cosmos DB.
  4. Асинхронно служба анализа получает данные и передает их в Apache Kafka и Azure HDInsight.
  5. Специалисты по обработке и анализу данных используют модели машинного обучения и платформу Splunk.
  6. Служба обработки обрабатывает данные и сохраняет результат База данных Azure для PostgreSQL. Служба также кэширует данные в Кэш Azure для Redis.
  7. Веб-приложение, работающее в службе приложение Azure, создает визуализации результатов.

Компоненты

Решение использует следующие ключевые технологии:

Подробности сценария

Это решение хорошо подходит для сценария, который включает миллионы точек данных, где источники данных включают устройства, датчики и транспортные средства Интернета вещей. В такой ситуации обработка большого объема данных является одной проблемой. Быстрый анализ данных является еще одной сложной задачей, так как организации стремятся получить представление о сложных сценариях.

Контейнерные микрослужбы в AKS образуют ключевую часть решения. Эти автономные службы обрабатывают и обрабатывают поток данных в режиме реального времени. Они также масштабируются по мере необходимости. Переносимость контейнеров позволяет службам выполняться в разных средах и обрабатывать данные из нескольких источников. Для разработки и развертывания микрослужб используются DevOps и непрерывная интеграция и непрерывная доставка (CI/CD). Эти подходы сокращают цикл разработки.

Для хранения данных приема решение использует Azure Cosmos DB. Эта база данных эластично масштабирует пропускную способность и хранилище, что делает его хорошим выбором для больших объемов данных.

Решение также использует Kafka. Эта платформа потоковой передачи с низкой задержкой обрабатывает веб-каналы данных в режиме реального времени с чрезвычайно высокой скоростью.

Другим ключевым компонентом решения является HDInsight, который является управляемой облачной службой аналитики с открытым исходным кодом. HDInsight упрощает выполнение платформ больших данных в большом объеме и скорости при использовании Apache Spark в Azure. Splunk помогает в процессе анализа данных. Эта платформа создает визуализации из данных в режиме реального времени и предоставляет бизнес-аналитику.

Потенциальные варианты использования

Это решение обеспечивает следующие преимущества:

  • Безопасность транспортных средств, особенно в автомобильной промышленности
  • Обслуживание клиентов в розничной торговле и других отраслях
  • Облачные решения для здравоохранения
  • Финансовые технологические решения в финансовой отрасли

Следующие шаги

Документация по продукту:

Модули обучения Майкрософт: