Потоковая передача данных с помощью AKS

Служба приложений
Управление API
Реестр контейнеров
Кэш для Redis
Cosmos DB

Идеи, связанные с решением

Эта статья — идея решения. Если вы хотите, чтобы мы дополнили содержимое дополнительными сведениями, такими как потенциальные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценообразованию, сообщите нам об этом, предоставив отзыв на GitHub.

В этой статье представлено решение для использования Служба Azure Kubernetes (AKS) для быстрой обработки и анализа большого объема потоковых данных с устройств.

Apache®, Apache Kafka и Apache Spark являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и/или других странах. Использование этих меток не подразумевает подтверждения от Apache Software Foundation.

Архитектура

Схема архитектуры, показывающая прием, обработку и анализ потоковой передачи данных с устройств.Скачайте SVG этой архитектуры.

Поток данных

  1. Датчики создают данные и передают их в Управление API Azure.
  2. Кластер AKS запускает микрослужбы, развернутые как контейнеры за сеткой служб. Контейнеры создаются с помощью процесса DevOps и хранятся в Реестр контейнеров Azure.
  3. Служба приема хранит данные в Azure Cosmos DB.
  4. Асинхронно служба анализа получает данные и передает их в Apache Kafka и Azure HDInsight.
  5. Специалисты по обработке и анализу данных используют модели машинного обучения и платформу Splunk для анализа данных.
  6. Служба обработки обрабатывает данные и сохраняет результат в База данных Azure для PostgreSQL. Служба также кэширует данные в Кэш Azure для Redis.
  7. Веб-приложение, работающее в Служба приложений Azure, создает визуализации результатов.

Компоненты

Решение использует следующие ключевые технологии:

Сведения о сценарии

Это решение хорошо подходит для сценария, в котором используются миллионы точек данных, где источники данных включают устройства Интернета вещей, датчики и транспортные средства. В такой ситуации обработка большого объема данных является одной из проблем. Быстрый анализ данных является еще одной сложной задачей, так как организации стремятся получить представление о сложных сценариях.

Контейнерные микрослужбы в AKS являются ключевой частью решения. Эти автономные службы по приему и обработке потока данных в режиме реального времени. Они также масштабируются по мере необходимости. Переносимость контейнеров позволяет службам выполняться в разных средах и обрабатывать данные из нескольких источников. Для разработки и развертывания микрослужб используются DevOps и непрерывная интеграция и непрерывная поставка (CI/CD). Эти подходы сокращают цикл разработки.

Для хранения данных в решении используется Azure Cosmos DB. Эта база данных эластично масштабирует пропускную способность и хранилище, что делает ее хорошим выбором для больших объемов данных.

В решении также используется Kafka. Эта платформа потоковой передачи с низкой задержкой обрабатывает веб-каналы данных в режиме реального времени с чрезвычайно высокой скоростью.

Другим ключевым компонентом решения является HDInsight— управляемая облачная служба аналитики с открытым исходным кодом. HDInsight упрощает выполнение платформ больших данных в большом объеме и скорости при использовании Apache Spark в Azure. Splunk помогает в процессе анализа данных. Эта платформа создает визуализации на основе данных в режиме реального времени и предоставляет бизнес-аналитику.

Потенциальные варианты использования

Это решение обеспечивает преимущества следующих областей:

  • Безопасность транспортных средств, особенно в автомобильной промышленности
  • Обслуживание клиентов в розничной торговле и других отраслях
  • Облачные решения для здравоохранения
  • Финансовые технологические решения в финансовой отрасли

Дальнейшие действия

Документация по продуктам:

Майкрософт учебных модулей: