使用 Azure CLI 管理 Azure Data Lake Analytics

重要

Azure Data Lake Analytics 已于 2024 年 2 月 29 日停用。 通过此公告了解更多信息。

对于数据分析,组织可以使用 Azure Synapse AnalyticsMicrosoft Fabric

了解如何使用 Azure CLI 管理 Azure Data Lake Analytics 帐户、数据源、用户和作业。 要查看使用其他工具的管理主题,请选择上述选项卡选择。

先决条件

开始学习本教程之前,必须有以下资源:

  • Azure 订阅。 请参阅获取 Azure 免费试用版

  • Azure CLI。 请参阅 安装和配置 Azure CLI

  • 使用 az login 命令进行身份验证,并选择要使用的订阅。 有关使用公司或学校帐户进行身份验证的详细信息,请参阅 从 Azure CLI 连接到 Azure 订阅

    az login
    az account set --subscription <subscription id>
    

    现在可以访问 Data Lake Analytics 和 Data Lake Store 命令。 运行以下命令以列出 Data Lake Store 和 Data Lake Analytics 命令:

    az dls -h
    az dla -h
    

管理帐户

运行任何 Data Lake Analytics 作业之前,必须具有 Data Lake Analytics 帐户。 与 Azure HDInsight 不同,Analytics 帐户未运行作业时无需付费。 只需在其运行作业时付费。 有关详细信息,请参阅 Azure Data Lake Analytics 概述

创建帐户

运行以下命令创建 Data Lake 帐户。

az dla account create --account "<Data Lake Analytics account name>" --location "<Location Name>" --resource-group "<Resource Group Name>" --default-data-lake-store "<Data Lake Store account name>"

更新帐户

以下命令会更新现有 Data Lake Analytics 帐户的属性

az dla account update --account "<Data Lake Analytics Account Name>" --firewall-state "Enabled" --query-store-retention 7

列出帐户

列出特定资源组中的 Data Lake Analytics 帐户

az dla account list "<Resource group name>"

获取帐户的详细信息

az dla account show --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"

删除帐户

az dla account delete --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"

管理数据源

Data Lake Analytics 目前支持以下两个数据源:

创建 Analytics 帐户时,必须指定一个 Azure Data Lake 存储帐户作为默认存储帐户。 默认 Data Lake 存储帐户用于存储作业元数据和作业审核日志。 创建 Analytics 帐户后,可添加其他 Data Lake 存储帐户和/或 Azure 存储帐户。

查找默认 Data Lake Store 帐户

可以通过运行 az dla account show 命令来查看所用的默认 Data Lake Store 帐户。 默认的帐户名称将在 defaultDataLakeStoreAccount 属性下列出。

az dla account show --account "<Data Lake Analytics account name>"

添加其他 Blob 存储帐户

az dla account blob-storage add --access-key "<Azure Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Storage account name>"

注意

仅支持 Blob 存储短名称。 请勿使用 FQDN,例如“myblob.blob.core.windows.net”。

添加其他 Data Lake Store 帐户

以下命令使用其他 Data Lake Store 帐户更新了指定的 Data Lake Analytics 帐户:

az dla account data-lake-store add --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Data Lake Store account name>"

更新现有数据源

更新现有 Blob 存储帐户密钥:

az dla account blob-storage update --access-key "<New Blob Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"

列出数据源

列出 Data Lake Store 帐户:

az dla account data-lake-store list --account "<Data Lake Analytics account name>"

列出 Blob 存储帐户:

az dla account blob-storage list --account "<Data Lake Analytics account name>"

此屏幕截图显示了 Azure CLI,其中突出显示了“dataLakeStoreAccounts:”信息。

删除数据源

删除 Data Lake Store 帐户:

az dla account data-lake-store delete --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Azure Data Lake Store account name>"

删除 Blob 存储帐户:

az dla account blob-storage delete --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"

管理作业

必须拥有 Data Lake Analytics 帐户才可创建作业。 有关详细信息,请参阅管理 Data Lake Analytics 帐户

列出作业

az dla job list --account "<Data Lake Analytics account name>"

Data Lake Analytics 列表数据源

获取作业详细信息

az dla job show --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"

提交作业

注意

作业的默认优先级为 1000,默认并行度为 1。

az dla job submit --account "<Data Lake Analytics account name>" --job-name "<Name of your job>" --script "<Script to submit>"

取消作业

使用 list 命令查找作业 ID,并使用 cancel 来取消相应作业。

az dla job cancel --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"

管道和重复周期

获取关于管道和重复周期的相关信息

使用 az dla job pipeline 命令查看先前所提交作业的管道信息。

az dla job pipeline list --account "<Data Lake Analytics Account Name>"

az dla job pipeline show --account "<Data Lake Analytics Account Name>" --pipeline-identity "<Pipeline ID>"

使用 az dla job recurrence 命令查看先前所提交作业的重复周期信息。

az dla job recurrence list --account "<Data Lake Analytics Account Name>"

az dla job recurrence show --account "<Data Lake Analytics Account Name>" --recurrence-identity "<Recurrence ID>"

后续步骤