Azure Stream Analytics を使用してイベント ハブからのデータを処理する

Azure Stream Analytics サービスを利用すると、簡単に Azure Event Hubs からストリーミング データを取り込み、処理し、分析できるようになり、優れた分析情報を利用してリアルタイム操作を始動できます。 Azure portal を使用して、受信データを視覚化し、Stream Analytics クエリを記述できます。 クエリを準備できたら、数回のクリック操作だけで運用環境に移行できます。

主な利点

Azure Event Hubs と Azure Stream Analytics の統合の主な利点を次に示します。

• データのプレビュー – Azure portal 内でイベント ハブからの受信データをプレビューできます。
• クエリのテスト – 変換クエリを準備して、Azure portal 内で直接テストします。 クエリ言語の構文については、Stream Analytics クエリ言語に関するドキュメントをご覧ください。
• 運用環境へのクエリのデプロイ – Azure Stream Analytics ジョブを作成して起動することで、クエリを運用環境にデプロイできます。

エンド ツー エンドのフロー

重要

Azure サブスクリプションレベルで 所有者 ロールまたは 共同作成 者ロールのメンバーでない場合は、このセクションの手順を正常に完了するには、azure サブスクリプションレベルで Stream Analytics クエリテスター ロールのメンバーである必要があります。 このロールを使用すると、最初に stream analytics ジョブを作成せずに、クエリのテストを実行できます。 ユーザーにロールを割り当てる方法については、「 ユーザーへの AD ロールの割り当て」を参照してください。

1. Azure portal にサインインします。

2. Event Hubs の名前空間に移動して、そのイベント ハブに移動します。受信データが保持されています。

3. イベント ハブ ページで [データの処理] を選択するか、左側のメニューで [データの処理] を選択します。

   

4. [イベントからのリアルタイムの分析情報を有効にする] タイルで [開始する] を選択します。

   

5. 次のフィールドに値が既に設定された状態で、クエリ ページが表示されます。

   1. クエリへの入力としてのイベント ハブ。

   2. SELECT ステートメントによるサンプルの SQL クエリ。

   3. クエリのテスト結果を参照するための出力のエイリアス。

      

      Note

      初めてこの機能を使用するとき、このページでは、お使いのイベント ハブによって受信データをプレビューするために、コンシューマー グループとポリシーを作成するためのアクセス許可が求められます。

6. 前の画像に示したように、[入力のプレビュー] ウィンドウにある [作成] を選択します。

7. このタブに、最新の受信データのスナップショットがすぐに表示されます。

   • お使いのデータでのシリアル化の種類が、自動検出されます (JSON/CSV)。 JSON/CSV/AVRO に手動で変更することも可能です。

   • 表形式または未加工の形式で受信データをプレビューできます。

   • 表示されたデータが最新でない場合、 [更新] を選択して最新のイベントを表示します。

     表形式でのデータの例を次に示します。

     

     未加工の形式でのデータの例を次に示します。

     

8. [クエリのテスト] を選択して、 [テスト結果] タブにクエリのテスト結果のスナップショットを表示します。結果をダウンロードすることもできます。

   

9. 独自のクエリを作成してデータを変換します。 「Stream Analytics Query Language reference (Stream Analytics クエリ言語リファレンス)」をご覧ください。

10. クエリをテストし終えて、運用環境に移行するには、[Stream Analytics ジョブの作成] を選択します。

    

11. [新しい Stream Analytics ジョブ] ページで、次の手順のようにします。

    1. ジョブの名前を指定します。

    2. ジョブを作成する Azure サブスクリプションを選択します。

    3. Stream Analytics ジョブ リソースのリソース グループを選択します。

    4. ジョブの場所を選択します。

    5. [Event Hubs ポリシー名] で、新しいポリシーを作成するか、既存のものを選択します。

    6. [イベント ハブ コンシューマー グループ] で、新しいコンシューマー グループを作成するか、既存のコンシューマー グループを選択します。

    7. [作成] を選択して、Stream Analytics ジョブを作成します。

       

       Note

       [Event Hubs] ページから作成する新しい各 Azure Stream Analytics ジョブに対してコンシューマー グループとポリシーを作成することをお勧めします。 コンシューマー グループでは、同時実行の閲覧者は 5 人しか許可されないので、ジョブごとに専用のコンシューマー グループを指定することで、その上限を超過した場合に発生するエラーを回避します。 専用ポリシーを利用すると、他のリソースに影響を及ぼさずに、キーを交代で利用したりアクセス許可を取り消したりできます。

12. これで、クエリがテストしたものと同一で、入力がお使いのイベント ハブになっているStream Analytics ジョブが作成されました。

    

13. 任意の出力を追加します。

14. 階層リンクでジョブの名前をクリックして、[Stream Analytics ジョブ] ページに戻ります。

15. [クエリ] ウィンドウの上にある [クエリの編集] を選択します。

16. 出力名で [OutputAlias] を更新し、クエリの上にある [クエリの保存] リンクを選択します。 右上隅にある [X] を選択して、[クエリ] ページを閉じます。

17. [Stream Analytics ジョブ] ページで、ツール バーにある [開始] を選択してジョブを開始します。

    

アクセス

問題: ユーザーはサブスクリプションに対する適切なアクセス許可を持っていないため、プレビュー データにアクセスできません。

オプション 1: 受信データをプレビューするユーザーは、サブスクリプションの共同作成者として追加する必要があります。

オプション 2: ユーザーは、サブスクリプションの Stream Analytics クエリ テスター ロールとして追加する必要があります。 サブスクリプションのアクセス制御に移動します。 ユーザーの新しいロールの割り当てを "Stream Analytics クエリ テスター" ロールとして追加します。

オプション 3: ユーザーは Azure Stream Analytics ジョブを作成できます。 入力をこのイベント ハブとして設定し、[クエリ] に移動して、このイベント ハブからの受信データをプレビューします。

オプション 4: 管理者は、サブスクリプションにカスタム役割を作成できます。 カスタム役割に次のアクセス許可を追加し、新しいカスタム役割にユーザーを追加します。

[ストリーミング ユニット]

Azure Stream Analytics ジョブは既定で、3 つのストリーミング ユニット (SU) になっています。 この設定を調整するには、Azure portal の [Stream Analytics ジョブ] 上で、左側のメニューにある [スケール] を選択します。 ストリーミング ユニットの詳細を確認するには、「ストリーミング ユニットの理解と調整」をご覧ください。

次のステップ

Stream Analytics クエリの詳細を確認するには、Stream Analytics クエリ言語に関するページをご覧ください