Изменить

Потоковая передача данных с помощью AKS

Служба приложений Azure
Cлужба управления Azure API
Реестр контейнеров Azure
Кэш Azure для Redis
Azure Cosmos DB

Идеи решения

Эта статья является идеей решения. Если вы хотите расширить содержимое с дополнительными сведениями, такими как потенциальные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценам, сообщите нам, предоставив отзыв GitHub.

В этой статье представлено решение для быстрого обработки и анализа большого объема потоковых данных с устройств с помощью Служба Azure Kubernetes (AKS).

Apache, Apache® Kafka и Apache Spark являются зарегистрированными товарными знаками или товарными знаками Apache Software Foundation в США и /или других странах. Использование этих меток не подразумевает подтверждения от Apache Software Foundation.

Архитектура

Схема архитектуры, на которой показано, как потоковая передача данных с устройств обрабатывается, обрабатывается и анализируется.

Скачайте файл Visio для этой архитектуры.

Поток данных

  1. Датчики создают данные и передают их в Azure Управление API.
  2. Кластер AKS запускает микрослужбы, развернутые в качестве контейнеров за сеткой службы. Контейнеры создаются с помощью процесса DevOps и хранятся в Реестр контейнеров Azure.
  3. Служба приема сохраняет данные в Azure Cosmos DB.
  4. Асинхронно служба анализа получает данные и передает их в Apache Kafka и Azure HDInsight.
  5. Специалисты по обработке и анализу данных используют модели машинного обучения и платформу Splunk.
  6. Служба обработки обрабатывает данные и сохраняет результат База данных Azure для PostgreSQL. Служба также кэширует данные в Кэш Azure для Redis.
  7. Веб-приложение, работающее в службе приложение Azure, создает визуализации результатов.

Компоненты

Решение использует следующие ключевые технологии:

Подробности сценария

Это решение хорошо подходит для сценария, который включает миллионы точек данных, где источники данных включают устройства, датчики и транспортные средства Интернета вещей. В такой ситуации обработка большого объема данных является одной проблемой. Быстрый анализ данных является еще одной сложной задачей, так как организации стремятся получить представление о сложных сценариях.

Контейнерные микрослужбы в AKS образуют ключевую часть решения. Эти автономные службы обрабатывают и обрабатывают поток данных в режиме реального времени. Они также масштабируются по мере необходимости. Переносимость контейнеров позволяет службам выполняться в разных средах и обрабатывать данные из нескольких источников. Для разработки и развертывания микрослужб используются DevOps и непрерывная интеграция и непрерывная доставка (CI/CD). Эти подходы сокращают цикл разработки.

Для хранения данных приема решение использует Azure Cosmos DB. Эта база данных эластично масштабирует пропускную способность и хранилище, что делает его хорошим выбором для больших объемов данных.

Решение также использует Kafka. Эта платформа потоковой передачи с низкой задержкой обрабатывает веб-каналы данных в режиме реального времени с чрезвычайно высокой скоростью.

Другим ключевым компонентом решения является HDInsight, который является управляемой облачной службой аналитики с открытым исходным кодом. HDInsight упрощает выполнение платформ больших данных в большом объеме и скорости при использовании Apache Spark в Azure. Splunk помогает в процессе анализа данных. Эта платформа создает визуализации из данных в режиме реального времени и предоставляет бизнес-аналитику.

Потенциальные варианты использования

Это решение обеспечивает следующие преимущества:

  • Безопасность транспортных средств, особенно в автомобильной промышленности
  • Обслуживание клиентов в розничной торговле и других отраслях
  • Облачные решения для здравоохранения
  • Финансовые технологические решения в финансовой отрасли

Следующие шаги

Документация по продукту:

Модули обучения Майкрософт: