Azure portal を使用した Azure Data Lake Analytics の管理

  • [アーティクル]

重要

新しい Azure Data Lake Analytics アカウントは、サブスクリプションが有効になっていない場合は作成できなくなります。 サブスクリプションを有効にする必要がある場合は、サポートに連絡し、ビジネス シナリオを提供してください。

Azure Data Lake Analytics を既に使用している場合は、2024 年 2 月 29 日までに組織で Azure Synapse Analytics への移行計画を作成する必要があります。

このアーティクルでは、Azure portal を使用して、Azure Data Lake Analytics アカウント、データ ソース、ユーザー、およびジョブを管理する方法について説明します。

Data Lake Analytics アカウントの管理

アカウントを作成する

  1. Azure portal にサインインします。
  2. [リソースの作成] を選び、[Data Lake Analytics] を検索します。
  3. 次の項目の値を選択します。
    1. Name:Data Lake Analytics アカウントの名前。
    2. サブスクリプション:アカウントに使用する Azure サブスクリプション。
    3. リソース グループ:アカウントの作成先の Azure リソース グループ。
    4. [場所] :Data Lake Analytics アカウントの Azure データセンター。
    5. [Data Lake Store] :Data Lake Analytics アカウントのために使用される既定のストア。 Azure Data Lake Store アカウントと Data Lake Analytics アカウントは、同じ場所にある必要があります。
  4. ［作成］ を選択します

Data Lake Analytics アカウントの削除

Data Lake Analytics アカウントを削除する前に、その既定の Data Lake Store アカウントを削除します。

  1. Azure Portal で Data Lake Analytics アカウントに移動します。
  2. [削除] を選択します。
  3. アカウント名を入力します。
  4. [削除] を選択します。

データ ソースを管理する

Data Lake Analytics では、次のデータ ソースがサポートされています。

  • Data Lake Store
  • Azure Storage

データ エクスプローラーを使用して、データ ソースを参照し、基本的なファイル管理操作を実行することができます。

データ ソースの追加

  1. Azure Portal で Data Lake Analytics アカウントに移動します。

  2. [データ エクスプローラー] を選びます。

  3. [Add Data Source](データ ソースの追加) を選択します。

    • Data Lake Store アカウントを追加するには、アカウント名と、クエリを実行できるようにするためのアカウントへのアクセスが必要です。
    • Azure Blob Storage を追加するには、ストレージ アカウントとアカウント キーが必要です。 それらを見つけるには、ポータルでストレージ アカウントに移動し、[アクセス キー] を選びます。

ファイアウォール規則の設定

Data Lake Analytics を使用すると、ネットワーク レベルで Data Lake Analytics アカウントへのアクセスをさらにロックダウンできます。 ファイアウォールを有効にして、IP アドレスを指定するか、信頼されているクライアントの IP アドレス範囲を定義することができます。 こうした方法を有効にすると、定義された範囲内の IP アドレスを使用しているクライアントだけがストアに接続できます。

Azure Data Factory や VM など、他の Azure サービスが Data Lake Analytics アカウントに接続する場合は、 [Allow Azure Services](Azure サービスを許可する) が [オン] になっていることを確認してください。

ファイアウォール規則の設定

  1. Azure Portal で Data Lake Analytics アカウントに移動します。
  2. 左側のメニューで [ファイアウォール] を選びます。

新しいユーザーの追加

ユーザーの追加ウィザードを使用すると、新しい Data Lake ユーザーを簡単に作成できます。

  1. Azure Portal で Data Lake Analytics アカウントに移動します。
  2. 左側の [作業の開始] で、[ユーザー追加ウィザード] を選びます。
  3. ユーザーを選んでから、[選択] を選びます。
  4. ロールを選んでから、[選択] を選びます。 Azure Data Lake を使用する新しい開発者を設定するには、Data Lake Analytics の開発者ロールを選択します。
  5. U-SQL データベースのアクセス制御リスト (ACL) を選択します。 正しく選択できたら、[選択] を選びます。
  6. ファイルの ACL を選択します。 既定のストアの場合は、ルート フォルダー "/" と /system フォルダーの ACL を変更しないでください。 [選択] を選びます。
  7. 選択したすべての変更を確認し、[実行] を選びます。
  8. ウィザードが終了したら、[完了] を選びます。

Azure ロールベースのアクセス制御の管理

他の Azure サービスと同様に、Azure ロールベースのアクセス制御 (RBAC) を使用して、ユーザーがサービスと対話する方法を制御できます。

標準の Azure ロールには、次のような機能があります。

  • 所有者:ジョブの送信、ジョブの監視、任意のユーザーのジョブの取り消し、アカウントの構成を行えます。
  • 共同作成者:ジョブの送信、ジョブの監視、任意のユーザーのジョブの取り消し、アカウントの構成を行えます。
  • 閲覧者:ジョブを監視できます。

U-SQL 開発者が Data Lake Analytics サービスを使用できるようにするには、Data Lake Analytics の開発者ロールを使用します。 Data Lake Analytics の開発者ロールを使用すると、次の操作を行えます。

  • ジョブを送信する。
  • ジョブの状態と、任意のユーザーによって送信されたジョブの進行状況を監視する。
  • 任意のユーザーによって送信されたジョブの U-SQL スクリプトを確認する。
  • 自分のジョブだけを取り消す。

Data Lake Analytics アカウントへのユーザーまたはセキュリティ グループの追加

  1. Azure Portal で Data Lake Analytics アカウントに移動します。

  2. [アクセス制御 (IAM)] を選択します。

  3. [追加][ロールの割り当ての追加] の順に選択して、[ロールの割り当ての追加] ページを開きます。

  4. ユーザーにロールを割り当てます。 詳細な手順については、「Azure portal を使用して Azure ロールを割り当てる」を参照してください。

    Azure portal の [ロールの割り当ての追加] ページを示すスクリーンショット。

注意

ユーザーまたはセキュリティ グループがジョブを送信する必要がある場合は、ストア アカウントに対するアクセス許可も必要です。 詳細については、Data Lake Store に格納されているデータのセキュリティ保護に関する記事を参照してください。

ジョブの管理

ジョブの送信

  1. Azure Portal で Data Lake Analytics アカウントに移動します。

  2. [新しいジョブ] を選びます。 各ジョブで、以下の項目を構成します。

    1. [ジョブ名] :ジョブの名前。
    2. [優先度]: [その他のオプション] の下に表示されます。 数値が小さいほど優先度が高くなります。 2 つのジョブがキューに登録されている場合は、優先度の値が小さい方のジョブが先に実行されます。
    3. [AU]: このジョブのために予約する分析ユニット (コンピューティング プロセス) の最大数。
    4. [ランタイム]: これも [その他のオプション] の下に表示されます。 カスタム ランタイムを受け取っていない場合は、[既定のランタイム] を選びます。

  3. 実際のスクリプトを追加します。

  4. [ジョブの送信] を選びます。

ジョブの監視

  1. Azure Portal で Data Lake Analytics アカウントに移動します。
  2. ページの上部にある [すべてのジョブの表示] を選びます。 アカウントのすべてのアクティブなジョブと最近終了したジョブの一覧が表示されます。
  3. 必要に応じて [フィルター] を選ぶと、[時間範囲]、[状態]、[ジョブ名]、[ジョブ ID]、[パイプライン名] または [パイプライン ID]、[定期的なアイテムの名前] または [定期的なアイテムの ID]、[作成者] の値でジョブを検索できます。

パイプライン ジョブの監視

パイプラインの一部であるジョブは、特定のシナリオを実現するために、通常は順次実行されます。 たとえば、Customer Insights 用に利用状況をクリーンアップ、抽出、変換、集約するパイプラインがあります。 パイプライン ジョブは、ジョブの送信時に "Pipeline" プロパティを使用して識別されます。 ADF V2 を使用してスケジュールされたジョブには、このプロパティが自動的に設定されます。

パイプラインの一部である U-SQL ジョブの一覧を表示するには、次の手順を実行します。

  1. Azure Portal で Data Lake Analytics アカウントに移動します。
  2. [ジョブ分析情報] を選びます。 既定では [すべてのジョブ] タブに移動し、実行中のジョブ、キューに登録済みのジョブ、終了したジョブの一覧が表示されます。
  3. [パイプライン ジョブ] タブを選びます。パイプライン ジョブの一覧が、各パイプラインの集計された統計と共に表示されます。

定期的なジョブの監視

定期的なジョブとは、ビジネス ロジックは同一で、入力データが実行するたびに異なるジョブです。 定期的なジョブは、常に成功し、実行時間も比較的安定していることが理想的です。定期的なジョブの動作を監視することは、ジョブの正常性を保つのに役立ちます。 定期的なジョブは、"Recurrence" プロパティを使用して識別されます。 ADF V2 を使用してスケジュールされたジョブには、このプロパティが自動的に設定されます。

定期的に実行される U-SQL ジョブの一覧を表示するには、次の手順を実行します。

  1. Azure Portal で Data Lake Analytics アカウントに移動します。
  2. [ジョブ分析情報] を選びます。 既定では [すべてのジョブ] タブに移動し、実行中のジョブ、キューに登録済みのジョブ、終了したジョブの一覧が表示されます。
  3. [定期的なジョブ] タブを選びます。定期的なジョブの一覧が、定期的な各ジョブの集計された統計と共に表示されます。

次のステップ