AKS を使用したデータ ストリーミング

この記事では、Azure Kubernetes Service (AKS) を使用してデバイスからの大量のストリーミング データをすばやく処理および分析するためのソリューションについて説明します。

Apache®、Apache Kafka、Apache Spark は、Apache Software Foundation の米国およびその他の国における登録商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。

アーキテクチャ

このアーキテクチャの Visio ファイルをダウンロードします。

データフロー

1. センサーによってデータが生成され、Azure API Management にストリーミングされます。
2. AKS クラスターで、サービス メッシュの背後にコンテナーとしてデプロイされているマイクロサービスが実行されます。 コンテナーが DevOps プロセスにより構築され Azure Container Registry に格納されます。
3. インジェスト サービスによりデータが Azure Cosmos DB に格納されます。
4. 分析サービスによって非同期的にデータが受信され、それが Apache Kafka と Azure HDInsight にストリーミングされます。
5. データ サイエンティストが、機械学習モデルと Splunk プラットフォームを使用してデータを分析します。
6. 処理サービスによってデータが処理され、結果が Azure Database for PostgreSQL に格納されます。 また、このサービスにより Azure Cache for Redis のデータがキャッシュされます。
7. Azure App Service で実行されている Web アプリで、結果の視覚化が作成されます。

Components

このソリューションでは、以下の主要なテクノロジが使用されます。

• API Management
• App Service
• Azure Cache for Redis
• Container Registry
• Azure Cosmos DB
• Azure Database for PostgreSQL
• HDInsight
• AKS
• Azure Pipelines

シナリオの詳細

このソリューションは、何百万ものデータ ポイントを扱うシナリオに適しています。データ ソースにはモノのインターネット (IoT) デバイス、センサー、自動車などが含まれます。 このような場合、大量のデータを処理することが課題の 1 つです。 組織は複雑なシナリオに関する分析情報を得ようとするため、データを迅速に分析することも要求の多いタスクの 1 つです。

AKS のコンテナー化されたマイクロサービスは、ソリューションの重要な部分を形成しています。 これらの自己完結型サービスでは、リアルタイム データ ストリームが取り込まれ、処理されます。 また、必要に応じてスケーリングすることもできます。 コンテナーの移植性により、サービスをさまざまな環境で実行し、複数のソースからのデータを処理できます。 マイクロサービスの開発やデプロイには、DevOps と継続的インテグレーション/継続的デリバリー (CI/CD) が使用されます。 これらのアプローチにより、開発サイクルが短縮されます。

このソリューションでは、取り込まれたデータの格納に Azure Cosmos DB が使用されます。 このデータベースは、スループットやストレージの柔軟なスケーリングが可能なため、大量のデータにも対応できます。

このソリューションでは、Kafka も使用されます。 この低遅延ストリーミング プラットフォームでは、リアルタイムのデータ フィードが非常に高速に処理されます。

もう 1 つの主要なソリューション コンポーネントは HDInsight です。これは、マネージドかつオープンソースのクラウド分析サービスです。 HDInsight により、Azure で Apache Spark を使用しながら、簡単にビッグ データ フレームワークを大量かつ高速に実行できるようになります。 Splunk は、データ分析プロセスに役立ちます。 このプラットフォームでは、リアルタイム データから視覚化が作成され、ビジネス インテリジェンスが得られます。

考えられるユース ケース

このソリューションは、次のような分野に役立ちます。

• 自動車の安全性 (特に自動車業界)
• 顧客サービス (小売業界など)
• 医療クラウド ソリューション
• 金融技術ソリューション (金融業界)

次のステップ

製品ドキュメント:

• Azure Cache for Redis について
• Azure API Management とは
• App Service の概要
• Azure Kubernetes Service
• Azure のプライベート Docker コンテナー レジストリの概要
• Azure Cosmos DB へようこそ
• Azure Database for PostgreSQL とは
• Azure HDInsight とは
• Azure Pipelines とは

Microsoft トレーニング モジュール:

• Azure Container Registry を使用してコンテナー イメージをビルドして格納する
• Azure App Service プランを構成する
• Azure Cosmos DB を操作する
• Azure Database for PostgreSQL を作成して接続する
• Azure Cache for Redis の開発
• API Management の詳細
• Azure と DSC を使用したコードとしてのインフラストラクチャの管理
• Azure HDInsight の概要

関連リソース

• Azure Kubernetes Service (AKS) アーキテクチャの設計
• イベント ストリーム処理での Azure Kubernetes