Azure Data Lake Analytics .NET アプリを管理する

[アーティクル]
12/20/2023

重要

Azure Data Lake Analytics 2024 年 2 月 29 日に廃止されました。詳細については、このお知らせを参照してください。

データ分析の場合、organizationでは Azure Synapse Analytics または Microsoft Fabric を使用できます。

この記事では、Azure .NET SDK を使用して記述されたアプリを使用して、Azure Data Lake Analytics のアカウント、データソース、ユーザー、ジョブを管理する方法について説明します。

前提条件

Visual Studio 2015、Visual Studio 2013 Update 4、または Visual Studio 2012 (Visual C++ インストール済み) 。
Microsoft Azure SDK for .NET バージョン 2.5 以上。 Web Platform Installer を使用してインストールします。
必要な NuGet パッケージ

NuGet パッケージのインストール

Package	Version
Microsoft.Rest.ClientRuntime.Azure.Authentication	2.3.1
Microsoft.Azure.Management.DataLake.Analytics	3.0.0
Microsoft.Azure.Management.DataLake.Store	2.2.0
Microsoft.Azure.Management.ResourceManager	1.6.0-preview
Microsoft.Azure.Graph.RBAC	3.4.0-preview

これらのパッケージは、NuGet コマンドラインで次のコマンドを使ってインストールできます。

Install-Package -Id Microsoft.Rest.ClientRuntime.Azure.Authentication  -Version 2.3.1
Install-Package -Id Microsoft.Azure.Management.DataLake.Analytics  -Version 3.0.0
Install-Package -Id Microsoft.Azure.Management.DataLake.Store  -Version 2.2.0
Install-Package -Id Microsoft.Azure.Management.ResourceManager  -Version 1.6.0-preview
Install-Package -Id Microsoft.Azure.Graph.RBAC -Version 3.4.0-preview

共通の変数

string subid = "<Subscription ID>"; // Subscription ID (a GUID)
string tenantid = "<Tenant ID>"; // AAD tenant ID or domain. For example, "contoso.onmicrosoft.com"
string rg == "<value>"; // Resource  group name
string clientid = "abcdef01-2345-6789-0abc-def012345678"; // Sample client ID

認証

Azure Data Lake Analytics にログオンするいくつかのオプションがあります。次のスニペットは、ポップアップの対話ユーザー認証での認証の例です。

ClientID の場合は、ユーザーの ID またはサービスプリンシパルのアプリケーション (クライアント) ID を使用できます。

using System;
using System.IO;
using System.Threading;
using System.Security.Cryptography.X509Certificates;

using Microsoft.Rest;
using Microsoft.Rest.Azure.Authentication;
using Microsoft.Azure.Management.DataLake.Analytics;
using Microsoft.Azure.Management.DataLake.Analytics.Models;
using Microsoft.Azure.Management.DataLake.Store;
using Microsoft.Azure.Management.DataLake.Store.Models;
using Microsoft.IdentityModel.Clients.ActiveDirectory;
using Microsoft.Azure.Graph.RBAC;

public static Program
{
   public static string TENANT = "microsoft.onmicrosoft.com";
   public static string CLIENTID = "abcdef01-2345-6789-0abc-def012345678";
   public static System.Uri ARM_TOKEN_AUDIENCE = new System.Uri( @"https://management.core.windows.net/");
   public static System.Uri ADL_TOKEN_AUDIENCE = new System.Uri( @"https://datalake.azure.net/" );
   public static System.Uri GRAPH_TOKEN_AUDIENCE = new System.Uri( @"https://graph.windows.net/" );

   static void Main(string[] args)
   {
      string MY_DOCUMENTS= System.Environment.GetFolderPath( System.Environment.SpecialFolder.MyDocuments);
      string TOKEN_CACHE_PATH = System.IO.Path.Combine(MY_DOCUMENTS, "my.tokencache");

      var tokenCache = GetTokenCache(TOKEN_CACHE_PATH);
      var armCreds = GetCreds_User_Popup(TENANT, ARM_TOKEN_AUDIENCE, CLIENTID, tokenCache);
      var adlCreds = GetCreds_User_Popup(TENANT, ADL_TOKEN_AUDIENCE, CLIENTID, tokenCache);
      var graphCreds = GetCreds_User_Popup(TENANT, GRAPH_TOKEN_AUDIENCE, CLIENTID, tokenCache);
   }
}

GetCreds_User_Popup のソースコードおよび認証の他のオプションのコードについては、Data Lake Analytics .NET の認証オプションに関する記事をご覧ください

クライアント管理オブジェクトを作成する

var resourceManagementClient = new ResourceManagementClient(armCreds) { SubscriptionId = subid };

var adlaAccountClient = new DataLakeAnalyticsAccountManagementClient(armCreds);
adlaAccountClient.SubscriptionId = subid;

var adlsAccountClient = new DataLakeStoreAccountManagementClient(armCreds);
adlsAccountClient.SubscriptionId = subid;

var adlaCatalogClient = new DataLakeAnalyticsCatalogManagementClient(adlCreds);
var adlaJobClient = new DataLakeAnalyticsJobManagementClient(adlCreds);

var adlsFileSystemClient = new DataLakeStoreFileSystemManagementClient(adlCreds);

var  graphClient = new GraphRbacManagementClient(graphCreds);
graphClient.TenantID = domain;

アカウントの管理

Azure リソースグループを作成する

Azure リソースグループをまだ作成していない場合は、Data Lake Analytics コンポーネントを作成する際に必要になります。認証資格情報、サブスクリプション ID、場所が必要です。次のコードは、リソースグループの作成方法を示しています。

var resourceGroup = new ResourceGroup { Location = location };
resourceManagementClient.ResourceGroups.CreateOrUpdate(groupName, rg);

詳細については、「Azure リソースグループと Data Lake Analytics」を参照してください。

Data Lake Store アカウントを作成する

ADLA アカウントには ADLS アカウントが必要です。使うものがまだない場合は、次のコードで作成できます。

var new_adls_params = new DataLakeStoreAccount(location: _location);
adlsAccountClient.Account.Create(rg, adls, new_adls_params);

Data Lake Analytics アカウントを作成する

次のコードは ADLS アカウントを作成します

var new_adla_params = new DataLakeAnalyticsAccount()
{
   DefaultDataLakeStoreAccount = adls,
   Location = location
};

adlaClient.Account.Create(rg, adla, new_adla_params);

Data Lake Store アカウントを一覧表示する

var adlsAccounts = adlsAccountClient.Account.List().ToList();
foreach (var adls in adlsAccounts)
{
   Console.WriteLine($"ADLS: {0}", adls.Name);
}

Data Lake Analytics アカウントを一覧表示します。

var adlaAccounts = adlaClient.Account.List().ToList();

for (var adla in AdlaAccounts)
{
   Console.WriteLine($"ADLA: {0}, adla.Name");
}

アカウントが存在するかどうか確認する

bool exists = adlaClient.Account.Exists(rg, adla));

アカウントに関する情報を取得する

bool exists = adlaClient.Account.Exists(rg, adla));
if (exists)
{
   var adla_accnt = adlaClient.Account.Get(rg, adla);
}

アカウントの削除

if (adlaClient.Account.Exists(rg, adla))
{
   adlaClient.Account.Delete(rg, adla);
}

既定の Data Lake Store アカウントを取得する

すべての Data Lake Analytics アカウントに、既定の Data Lake Store アカウントが必要です。次のコードを使用して、Analytics アカウントの既定の Store アカウントを決定使用します。

if (adlaClient.Account.Exists(rg, adla))
{
  var adla_accnt = adlaClient.Account.Get(rg, adla);
  string def_adls_account = adla_accnt.DefaultDataLakeStoreAccount;
}

データソースを管理する

Data Lake Analytics では現在、以下のデータソースがサポートされています。

Azure Storage アカウントにリンクする

Azure Storage アカウントへのリンクを作成することができます。

string storage_key = "xxxxxxxxxxxxxxxxxxxx";
string storage_account = "mystorageaccount";
var addParams = new AddStorageAccountParameters(storage_key);            
adlaClient.StorageAccounts.Add(rg, adla, storage_account, addParams);

Azure Storage データソースを一覧表示する

var stg_accounts = adlaAccountClient.StorageAccounts.ListByAccount(rg, adla);

if (stg_accounts != null)
{
  foreach (var stg_account in stg_accounts)
  {
      Console.WriteLine($"Storage account: {0}", stg_account.Name);
  }
}

Data Lake Store データソースを一覧表示する

var adls_accounts = adlsClient.Account.List();

if (adls_accounts != null)
{
  foreach (var adls_accnt in adls_accounts)
  {
      Console.WriteLine($"ADLS account: {0}", adls_accnt.Name);
  }
}

フォルダーとファイルのアップロードとダウンロード

Data Lake Store ファイルシステムのクライアント管理オブジェクトを使用して、Azure からローカルコンピューターに次のメソッドを使用してファイルやフォルダーをアップロードおよびダウンロードできます。

UploadFolder
UploadFile
DownloadFolder
DownloadFile

これらのメソッドの最初のパラメーターは Data Lake Store のアカウント名で、次にソースパスと対象のパスのパラメーターが続きます。

次の例では、Data Lake Store 内のフォルダーをダウンロードする方法を示します。

adlsFileSystemClient.FileSystem.DownloadFolder(adls, sourcePath, destinationPath);

Data Lake Store アカウントにファイルを作成する

using (var memstream = new MemoryStream())
{
   using (var sw = new StreamWriter(memstream, UTF8Encoding.UTF8))
   {
      sw.WriteLine("Hello World");
      sw.Flush();
      
      memstream.Position = 0;

      adlsFileSystemClient.FileSystem.Create(adls, "/Samples/Output/randombytes.csv", memstream);
   }
}

Azure ストレージアカウントパスを確認する

次のコードは、Data Lake Analytics アカウント (analyticsAccountName) 内に Azure ストレージアカウント (storageAccntName) が存在するかどうかと、その Azure ストレージアカウント内にコンテナー (containerName) が存在するかどうかを確認します。

string storage_account = "mystorageaccount";
string storage_container = "mycontainer";
bool accountExists = adlaClient.Account.StorageAccountExists(rg, adla, storage_account));
bool containerExists = adlaClient.Account.StorageContainerExists(rg, adla, storage_account, storage_container));

カタログとジョブを管理する

DataLakeAnalyticsCatalogManagementClient オブジェクトは、各 Azure Data Lake Analytics アカウントに提供された SQL Database を管理するための方法を提供します。 DataLakeAnalyticsJobManagementClient は、U-SQL スクリプトを使用してデータベースで実行されるジョブを送信および管理する方法を提供します。

データベースとスキーマを一覧表示する

一覧表示できる対象の中で、最も一般的なものはデータベースとスキーマです。次のコードは、データベースのコレクションを取得し、各データベースのスキーマを列挙します。

var databases = adlaCatalogClient.Catalog.ListDatabases(adla);
foreach (var db in databases)
{
  Console.WriteLine($"Database: {db.Name}");
  Console.WriteLine(" - Schemas:");
  var schemas = adlaCatalogClient.Catalog.ListSchemas(adla, db.Name);
  foreach (var schm in schemas)
  {
      Console.WriteLine($"\t{schm.Name}");
  }
}

テーブルの列を一覧表示する

次のコードでは、Data Lake Analytics カタログ管理クライアントを使用してデータベースにアクセスして、指定したテーブルの列を一覧表示する方法を示します。

var tbl = adlaCatalogClient.Catalog.GetTable(adla, "master", "dbo", "MyTableName");
IEnumerable<USqlTableColumn> columns = tbl.ColumnList;

foreach (USqlTableColumn utc in columns)
{
  Console.WriteLine($"\t{utc.Name}");
}

U-SQL ジョブの送信

次のコードは、Data Lake Analytics のジョブ管理クライアントを使用してジョブを送信する方法を示しています。

string scriptPath = "/Samples/Scripts/SearchResults_Wikipedia_Script.txt";
Stream scriptStrm = adlsFileSystemClient.FileSystem.Open(_adlsAccountName, scriptPath);
string scriptTxt = string.Empty;
using (StreamReader sr = new StreamReader(scriptStrm))
{
    scriptTxt = sr.ReadToEnd();
}

var jobName = "SR_Wikipedia";
var jobId = Guid.NewGuid();
var properties = new USqlJobProperties(scriptTxt);
var parameters = new JobInformation(jobName, JobType.USql, properties, priority: 1, degreeOfParallelism: 1, jobId: jobId);
var jobInfo = adlaJobClient.Job.Create(adla, jobId, parameters);
Console.WriteLine($"Job {jobName} submitted.");

失敗したジョブを一覧表示する

次のコードは、失敗したジョブに関する情報を一覧表示します。

var odq = new ODataQuery<JobInformation> { Filter = "result eq 'Failed'" };
var jobs = adlaJobClient.Job.List(adla, odq);
foreach (var j in jobs)
{
   Console.WriteLine($"{j.Name}\t{j.JobId}\t{j.Type}\t{j.StartTime}\t{j.EndTime}");
}

パイプラインを一覧表示する

次のコードは、アカウントに送信されたジョブの各パイプラインに関する情報を一覧表示します。

var pipelines = adlaJobClient.Pipeline.List(adla);
foreach (var p in pipelines)
{
   Console.WriteLine($"Pipeline: {p.Name}\t{p.PipelineId}\t{p.LastSubmitTime}");
}

反復を一覧表示する

次のコードは、アカウントに送信されたジョブの各反復に関する情報を一覧表示します。

var recurrences = adlaJobClient.Recurrence.List(adla);
foreach (var r in recurrences)
{
   Console.WriteLine($"Recurrence: {r.Name}\t{r.RecurrenceId}\t{r.LastSubmitTime}");
}

一般的なグラフシナリオ

Microsoft Entra ID ディレクトリでユーザーを検索する

var userinfo = graphClient.Users.Get( "bill@contoso.com" );

Microsoft Entra ID ディレクトリ内のユーザーの ObjectId を取得する

var userinfo = graphClient.Users.Get( "bill@contoso.com" );
Console.WriteLine( userinfo.ObjectId )

コンピューティングポリシーを管理する

DataLakeAnalyticsAccountManagementClient オブジェクトでは、Data Lake Analytics アカウントのコンピューティングポリシーを管理するためのメソッドが提供されています。

コンピューティングポリシーを一覧表示する

次のコードは、Data Lake Analytics アカウントのコンピューティングポリシーの一覧を取得します。

var policies = adlaAccountClient.ComputePolicies.ListByAccount(rg, adla);
foreach (var p in policies)
{
   Console.WriteLine($"Name: {p.Name}\tType: {p.ObjectType}\tMax AUs / job: {p.MaxDegreeOfParallelismPerJob}\tMin priority / job: {p.MinPriorityPerJob}");
}

新しいコンピューティングポリシーを作成する

次のコードは、Data Lake Analytics アカウントの新しいコンピューティングポリシーを作成し、指定したユーザーが使用できる最大 AU を 50 に、最小ジョブ優先順位を 250 に設定します。

var userAadObjectId = "3b097601-4912-4d41-b9d2-78672fc2acde";
var newPolicyParams = new ComputePolicyCreateOrUpdateParameters(userAadObjectId, "User", 50, 250);
adlaAccountClient.ComputePolicies.CreateOrUpdate(rg, adla, "GaryMcDaniel", newPolicyParams);

Azure Data Lake Analytics .NET アプリを管理する

前提条件

NuGet パッケージのインストール

共通の変数

認証

クライアント管理オブジェクトを作成する

アカウントの管理

Azure リソースグループを作成する

Data Lake Store アカウントを作成する

Data Lake Analytics アカウントを作成する

Data Lake Store アカウントを一覧表示する

Data Lake Analytics アカウントを一覧表示します。

アカウントが存在するかどうか確認する

アカウントに関する情報を取得する

アカウントの削除

既定の Data Lake Store アカウントを取得する

データソースを管理する

Azure Storage アカウントにリンクする

Azure Storage データソースを一覧表示する

Data Lake Store データソースを一覧表示する

フォルダーとファイルのアップロードとダウンロード

Data Lake Store アカウントにファイルを作成する

Azure ストレージアカウントパスを確認する

カタログとジョブを管理する

データベースとスキーマを一覧表示する

テーブルの列を一覧表示する

U-SQL ジョブの送信

失敗したジョブを一覧表示する

パイプラインを一覧表示する

反復を一覧表示する

一般的なグラフシナリオ

Microsoft Entra ID ディレクトリでユーザーを検索する

Microsoft Entra ID ディレクトリ内のユーザーの ObjectId を取得する

コンピューティングポリシーを管理する

コンピューティングポリシーを一覧表示する

新しいコンピューティングポリシーを作成する

次のステップ

その他のリソース

Azure Data Lake Analytics .NET アプリを管理する

前提条件

NuGet パッケージのインストール

共通の変数

認証

クライアント管理オブジェクトを作成する

アカウントの管理

Azure リソース グループを作成する

Data Lake Store アカウントを作成する

Data Lake Analytics アカウントを作成する

Data Lake Store アカウントを一覧表示する

Data Lake Analytics アカウントを一覧表示します。

アカウントが存在するかどうか確認する

アカウントに関する情報を取得する

アカウントの削除

既定の Data Lake Store アカウントを取得する

データ ソースを管理する

Azure Storage アカウントにリンクする

Azure Storage データ ソースを一覧表示する

Data Lake Store データ ソースを一覧表示する

フォルダーとファイルのアップロードとダウンロード

Data Lake Store アカウントにファイルを作成する

Azure ストレージ アカウント パスを確認する

カタログとジョブを管理する

データベースとスキーマを一覧表示する

テーブルの列を一覧表示する

U-SQL ジョブの送信

失敗したジョブを一覧表示する

パイプラインを一覧表示する

反復を一覧表示する

一般的なグラフ シナリオ

Microsoft Entra ID ディレクトリでユーザーを検索する

Microsoft Entra ID ディレクトリ内のユーザーの ObjectId を取得する

コンピューティング ポリシーを管理する

コンピューティング ポリシーを一覧表示する

新しいコンピューティング ポリシーを作成する

次のステップ

その他のリソース

Azure リソースグループを作成する

データソースを管理する

Azure Storage データソースを一覧表示する

Data Lake Store データソースを一覧表示する

Azure ストレージアカウントパスを確認する

一般的なグラフシナリオ

コンピューティングポリシーを管理する

コンピューティングポリシーを一覧表示する

新しいコンピューティングポリシーを作成する