Azure Data Explorer を使用したビッグ データ分析

このソリューションのアイディアは、さまざまなソースからの更新頻度の高い大量のデータに対するビッグ データ分析を示しています。

Apache® および Apache Kafka® は、米国およびその他の国における Apache Software Foundation の登録商標または商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。

アーキテクチャ

このアーキテクチャの Visio ファイルをダウンロードします。

データフロー

1. あらゆる種類のログ、ビジネス イベント、ユーザー アクティビティなど、生の構造化、半構造化、非構造化 (フリー テキスト) データを、さまざまなソースから Azure Data Explorer に取り込むことができます。
2. Azure Data Factory、Azure Event Hubs、Azure IoT Hub、Kafka などに対応するコネクタを使用して、低遅延、高スループットで Azure Data Explorer にデータを取り込みます。 または、Azure Storage (Blob または ADLS Gen2) からデータを取り込み、Azure Event Grid を使用して、Azure Data Explorer へのインジェスト パイプラインをトリガーします。 また、「継続的データ エクスポートの概要」で詳述するように、圧縮され、パーティション分割された parquet 形式でデータを Azure Storage に継続的にエクスポートし、そのデータのクエリをシームレスに実行することもできます。
3. 事前に集計されたデータを Azure Data Explorer から Azure Storage にエクスポートし、そのデータを Synapse Analytics に取り込んでデータ モデルとレポートを作成します。
4. Azure Data Explorer のネイティブ機能を使用して、データを処理、集計、分析します。 分析情報を瞬時に取得するには、Azure Data Explorer ダッシュボード、Power BI、Grafana などのツールを使用して、ほぼリアルタイムの分析ダッシュボードを構築します。 Azure Synapse Analytics を使用して最新のデータ ウェアハウスを構築し、それを Azure Data Explorer のデータと組み合わせて、キュレーションおよび集計されたデータ モデルに関する BI レポートを生成します。
5. Azure Data Explorer は、時系列分析、パターン認識、異常検出と予測、機械学習のためのネイティブの高度な分析機能を備えています。 Azure Data Explorer は、Databricks や Azure Machine Learning などの ML サービスとも統合されています。 この統合により、他のツールやサービスを使用してモデルを構築し、ML モデルを Azure Data Explorer にエクスポートしてデータをスコア付けできます。

コンポーネント

• Azure Event Hubs: シンプルで信頼性とスケーラビリティに優れた、フル マネージドのリアルタイム データ インジェスト サービスです。
• Azure IoT Hub:IoT デバイスと Azure 間の双方向通信を可能にするマネージド サービスです。
• HDInsight 上の Kafka: Apache Kafka を使用したオープンソース分析のための手軽でコスト効率に優れたエンタープライズ レベルのサービスです。
• Azure Data Explorer: アプリケーション、Web サイト、IoT デバイスなどからの大量のデータ ストリーミングをリアルタイムで分析するための、高速でスケーラビリティに優れたフル マネージドのデータ分析サービスです。
• Azure Data Explorer ダッシュボード: Web UI で確認された Kusto クエリを、最適化されたダッシュボードにネイティブにエクスポートします。
• Azure Synapse Analytics:エンタープライズ データ ウェアハウスとビッグ データ分析をまとめた分析サービスです。

シナリオの詳細

考えられるユース ケース

このソリューションは、ほぼリアルタイムの分析と最新のデータ ウェアハウスのユース ケースで、Azure Data Explorer と Azure Synapse Analytics が互いに補完するしくみを示しています。

Microsoft のお客様はこのソリューションを既に使用しています。 たとえば、シンガポールを拠点とするタクシー配車サービス会社の Grab は、自社の配車サービスとフード デリバリー サービスおよびマーチャント パートナー アプリから収集された膨大な量のデータのリアルタイム分析を実装しました。 MS Ignite で Grab のチームが紹介したソリューションについては、このビデオ (20:30 以降) をご覧ください。 Grab は、このパターンを使用して 1 日あたり 1 兆件を超えるイベントを処理しました。

このソリューションは、小売業界向けに最適化されています。

共同作成者

この記事は、Microsoft によって保守されています。 当初の寄稿者は以下のとおりです。

プリンシパル作成者:

• Ornat Spodek | シニア コンテンツ マネージャー

パブリックでない LinkedIn プロファイルを表示するには、LinkedIn にサインインします。

次のステップ

• Azure Data Explorer のドキュメント
• トレーニング: Azure Data Explorer の概要
• Azure Synapse Analytics
• Azure Event Hubs

関連リソース

• 分析アーキテクチャ デザイン
• Azure Synapse を使用した分析のエンド ツー エンド
• 高度な分析アーキテクチャ