Azure CLI を使用して Azure Data Lake Analytics を管理する
重要
Azure Data Lake Analytics 2024 年 2 月 29 日に廃止されました。 詳細については、このお知らせを参照してください。
データ分析の場合、organizationでは Azure Synapse Analytics または Microsoft Fabric を使用できます。
Azure CLI を使用して、Azure Data Lake Analytics のアカウント、データ ソース、ユーザー、およびジョブを管理する方法について説明します。 他のツールを使用して管理トピックを表示するには、上記のタブ選択を選択します。
前提条件
このチュートリアルを開始する前に、次のリソースを用意する必要があります。
Azure サブスクリプション。 Azure 無料試用版の取得に関するページを参照してください。
Azure CLI。 「 Azure CLI のインストールと構成」をご覧ください。
- このデモを完了するためには、 プレリリース版のAzure CLI ツール をダウンロードしてインストールします。
az loginコマンドを使用して認証し、使用するサブスクリプションを選択します。 職場か学校のアカウントを使用した認証の詳細については、「 Azure CLI から Azure サブスクリプションへの接続する」をご覧ください。az login az account set --subscription <subscription id>これで、Data Lake Analytics と Data Lake Store のコマンドにアクセスできます。 Data Lake Store と Data Lake Analytics のコマンドを一覧表示するには、次のコマンドを実行します。
az dls -h az dla -h
アカウントの管理
Data Lake Analytics ジョブを実行するには、Data Lake Analytics アカウントが必要です。 Azure HDInsight とは異なり、Analytics アカウントがジョブを実行していない場合、料金は発生しません。 支払いは、ジョブを実行している時間に対してのみ行われます。 詳細については、「 Azure Data Lake Analytics の概要」を参照してください。
アカウントの作成
次のコマンドを実行して、Data Lake アカウントを作成します。
az dla account create --account "<Data Lake Analytics account name>" --location "<Location Name>" --resource-group "<Resource Group Name>" --default-data-lake-store "<Data Lake Store account name>"
アカウントの更新
次のコマンドは、既存の Data Lake Analytics アカウントのプロパティを更新します。
az dla account update --account "<Data Lake Analytics Account Name>" --firewall-state "Enabled" --query-store-retention 7
アカウントの一覧表示
特定のリソース グループ内の Data Lake Analytics アカウントをリストします。
az dla account list "<Resource group name>"
アカウントの詳細を取得する
az dla account show --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"
アカウントの削除
az dla account delete --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"
データ ソースを管理する
Data Lake Analytics では、現在、2 つのデータ ソースがサポートされています。
Analytics アカウントを作成する際には、既定のストレージ アカウントとして Azure Data Lake Storage アカウントを指定する必要があります。 既定の Data Lake ストレージ アカウントは、ジョブ メタデータとジョブ監査ログの格納に使用されます。 Analytics アカウントを作成したら、他のData Lake Storage アカウントや Azure Storage アカウントを追加できます。
既定の Data Lake Store アカウントの検索
az dla account show コマンドを実行することで、使用される既定の Data Lake Store アカウントを表示できます。 既定のアカウント名は defaultDataLakeStoreAccount プロパティの下に表示されます。
az dla account show --account "<Data Lake Analytics account name>"
他の BLOB ストレージ アカウントを追加する
az dla account blob-storage add --access-key "<Azure Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Storage account name>"
注意
BLOB ストレージの短い名のみがサポートされます。 "myblob.blob.core.windows.net" などの FQDN 名は使用しないでください。
その他の Data Lake Store アカウントを追加する
次のコマンドは、指定したData Lake Analytics アカウントを別の Data Lake Store アカウントで更新します。
az dla account data-lake-store add --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Data Lake Store account name>"
既存のデータ ソースの更新
既存の BLOB ストレージ アカウント キーを更新するには:
az dla account blob-storage update --access-key "<New Blob Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"
データ ソースの一覧表示
Data Lake Store アカウントを一覧表示するには:
az dla account data-lake-store list --account "<Data Lake Analytics account name>"
BLOB ストレージ アカウントを一覧表示するには:
az dla account blob-storage list --account "<Data Lake Analytics account name>"
データ ソースの削除
Data Lake Store アカウントを削除するには:
az dla account data-lake-store delete --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Azure Data Lake Store account name>"
BLOB ストレージ アカウントを削除するには:
az dla account blob-storage delete --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"
ジョブの管理
ジョブを作成するには、Data Lake Analytics アカウントが必要です。 詳細については、「 Data Lake Analytics アカウントの管理」を参照してください。
ジョブのリスト
az dla job list --account "<Data Lake Analytics account name>"
ジョブの詳細の取得
az dla job show --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"
ジョブの送信
注意
ジョブの既定の優先度は 1000 で、ジョブの並列処理の既定の次数は 1 です。
az dla job submit --account "<Data Lake Analytics account name>" --job-name "<Name of your job>" --script "<Script to submit>"
ジョブの取り消し
list コマンドを使用してジョブ ID を検索した後、cancel を使用してそのジョブを取り消します。
az dla job cancel --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"
パイプラインと繰り返し
パイプラインと繰り返しについての情報を取得する
az dla job pipeline コマンドを使って前に送信したジョブのパイプライン情報を確認します。
az dla job pipeline list --account "<Data Lake Analytics Account Name>"
az dla job pipeline show --account "<Data Lake Analytics Account Name>" --pipeline-identity "<Pipeline ID>"
az dla job recurrence コマンドを使って前に送信したジョブの繰り返し情報を確認します。
az dla job recurrence list --account "<Data Lake Analytics Account Name>"
az dla job recurrence show --account "<Data Lake Analytics Account Name>" --recurrence-identity "<Recurrence ID>"