Azure Data Explorer は、大量のデータをほぼリアルタイムで簡単に分析できるようにする、フル マネージドかつハイ パフォーマンスなビッグ データ分析プラットフォームです。 Azure Data Explorer ツールボックスにより、データ インジェスト、クエリ、視覚化、管理のためのエンドツーエンドのソリューションを利用できます。
時系列全体で構造化データ、半構造化データ、非構造化データを分析し、機械学習を使用することで、Azure Data Explorerは、主要な分析情報の抽出、パターンと傾向の特定、予測モデルの作成を簡単に行うことができます。 Azure Data Explorer では、従来のリレーショナル モデルを使用して、厳密に型指定されたスキーマを持つテーブルにデータを編成します。 テーブルはデータベース内に格納され、クラスターは複数のデータベースを管理できます。 Azure Data Explorerはスケーラブルで、セキュリティで保護され、堅牢で、エンタープライズ対応です。 ログ分析、時系列分析、IoT、汎用探索分析に役立ちます。
クエリ言語 Kusto クエリ言語 (KQL) に基づいて構築されたその他のサービスでは、Azure Data Explorer機能が拡張されます。 これらのサービスには、Azure Monitor Logs、Application Insights、および Microsoft Defender for Endpoint が含まれます。
Azure Data Explorer を使用する必要があるのはどのような場合ですか。
次の質問を使用すると、Azure Data Explorer がお客様のユース ケースに適しているかを判断するのに役立ちます。
- 対話型分析: 対話型分析はソリューションの一部ですか? たとえば、集計、関連付け、異常検出などです。
- 多様性、速度、ボリューム: スキーマは多様ですか? 大量のデータをほぼリアルタイムで取り込む必要がありますか?
- データの編成: 生データを分析しますか? たとえば、完全にキュレーションされたスター スキーマではないデータなどです。
- クエリのコンカレンシー: 複数のユーザーまたはプロセスによって Azure Data Explorer が使用されますか?
- ビルドと購入: データ プラットフォームのカスタマイズを計画していますか?
Azure Data Explorerは、高速で多様な生データに対して対話型の分析機能を有効にするのに最適です。 次のデシジョン ツリーを使用すると、Azure Data Explorer がお客様に適しているかを判断するのに役立ちます。
Azure データ エクスプローラーを唯一無二の存在にしている要素は何ですか?
データのベロシティ、種類、量
Azure Data Explorer を使用すると、キューに登録されたインジェストまたはストリーミング インジェストを使用して、数テラバイトのデータを数分で取り込むことができます。 ミリ秒から数秒以内に返された結果を使用して、ペタバイト単位のデータに対してクエリを実行できます。 Azure Data Explorer には、高速度 (1 秒あたり数百万のイベント)、短い待機時間 (秒)、生データの線形スケール インジェストが備わっています。 さまざまなパイプラインとソースから流れるデータをさまざまな形式と構造で取り込みます。
ユーザーフレンドリなクエリ言語
Azure Data Explorer チームが作成したオープンソース言語である Kusto クエリ言語 (KQL) を使用してAzure Data Explorerクエリを実行します。 この言語は、理解と習得が簡単であり、生産性を高めることができます。 単純な演算子と高度な分析を使用できます。 Azure Data Explorer では、 T-SQL もサポートされています。
高度な分析
時系列の追加と減算、フィルター処理、回帰、季節性検出、地理空間分析、異常検出、スキャン、予測など、大規模な関数セットを使用した時系列分析には、Azure Data Explorerを使用します。 時系列関数は、数千の時系列を秒単位で処理するように最適化されています。 パターン検出は、異常を診断して根本原因分析を実行できるクラスター プラグインを使用すると簡単です。 KQL クエリにコードPython埋め込むことで、Azure Data Explorer機能を拡張することもできます。
使いやすいウィザード
データ エクスペリエンスを使用すると、データ インジェスト プロセスを簡単、高速、直感的に行うことができます。 Azure Data Explorer Web UI は、直感的でガイド付きのエクスペリエンスを提供し、データの取り込み、データベース テーブルの作成、およびマッピング構造をすばやく開始するのに役立ちます。 これにより、さまざまなソースやさまざまなデータ形式からの 1 回限りまたは継続的なインジェストが可能になります。 テーブル マッピングとスキーマは自動的に提案され、簡単に変更できます。
さまざまな用途に使えるデータの視覚化
データの視覚化は、重要な分析情報を得るために役立ちます。 Azure Data Explorer には、さまざまなグラフや視覚化をサポートする、組み込みの視覚化とダッシュボードが用意されています。 Power BI、Grafana、Kibana、Databricks 用のネイティブ コネクタ、および Tableau、Sisense、Qlik などの ODBC サポートとのネイティブ統合があります。
自動取り込み、処理、およびエクスポート
Azure Data Explorerでは、サーバー側のストアド関数、継続的取り込み、Azure Data Lake Storageへの連続エクスポートがサポートされます。 また、サーバー側でのインジェスト時間マッピング変換、ポリシーの更新、マテリアライズド ビューを使用した事前計算済みのスケジュールされた集計もサポートします。
Azure データ エクスプローラーのフロー
次は、Azure データ エクスプローラーの使用をさまざまな側面から見た図です。
Azure Data Explorerと対話するときは、通常、次のワークフローに従います。
注
Azure Data Explorer のリソースには、Azure Data Explorer Web UI から、または SDK を使用してアクセスできます。
データベースを作成します。 クラスターを作成し、その クラスターに 1 つ以上の データベース を作成します。 各Azure Data Explorer クラスターは最大 10,000 個のデータベースを保持でき、各データベースには最大 10,000 個のテーブルを保持できます。 各テーブルのデータは、 エクステントとも呼ばれるデータ シャードに格納されます。 すべてのデータは、インジェスト時間に基づいて自動的にインデックスが作成され、パーティション分割されます。 このストレージ アーキテクチャは、大量のさまざまなデータを格納でき、クエリを実行するときに高速にアクセスできることを意味します。 クイック スタート: Azure データ エクスプローラー クラスターとデータベースを作成する
データの取り込み: クエリを実行できるように、データをデータベース テーブルに読み込みます。 Azure Data Explorer では複数のインジェスト方法がサポートされており、それぞれに固有のターゲット シナリオがあります。 これらの方法には、インジェスト ツール、さまざまなサービスへのコネクタとプラグイン、マネージド パイプライン、SDK を使用したプログラムによる取り込み、インジェストへの直接アクセスなどがあります。 データ取得エクスペリエンス を使って始めましょう。
データベースにクエリを実行する: Azure Data Explorerは、表現力が高く、直感的で生産性の高いクエリ言語である Kusto クエリ言語を使用します。 シンプルなワンライナーから複雑なデータ処理スクリプトへのスムーズな移行を提供し、構造化、半構造化、非構造化 (テキスト検索) データのクエリをサポートします。 この言語には、集計、フィルター処理、時系列関数、地理空間関数、結合、共用体など、さまざまなクエリ演算子と関数があります。 KQL では、 クラスター間クエリとデータベース間クエリがサポートされており、JSON や XML などの形式を解析する機能が豊富です。 この言語では、高度な分析もネイティブでサポートされています。
Web アプリケーションを使用してクエリを実行し、結果を確認して共有します。 SDK を利用してプログラミングでクエリを送信したり、REST API エンドポイントにクエリを送信したりすることもできます。 SQL に慣れている場合は、SQL to Kusto チート シートとクイック スタート: Azure Data Explorer Web UI でデータのクエリを実行する方法について説明します。
結果を視覚化する:ネイティブ Azure Data Explorer ダッシュボードで、データのさまざまなビジュアル表示を使用します。 Power BIや Grafana など、一部の主要な視覚化サービスへのコネクタを使用して結果を表示することもできます。 Azure Data Explorerには、Tableau や Sisense などのツールに対する ODBC および JDBC コネクタのサポートもあります。
フィードバックの提供
Azure Data Explorerと Kusto クエリ言語に関するフィードバックを共有するには、次のリソースを使用します。