分享方式:


使用 Azure CLI 來管理 Azure Data Lake Analytics

重要

Azure Data Lake Analytics 於 2024 年 2 月 29 日淘汰。 透過此公告深入了解。

針對數據分析,您的組織可以使用 Azure Synapse AnalyticsMicrosoft Fabric

了解如何使用 Azure CLI 管理 Azure Data Lake Analytics 帳戶、資料來源、使用者和工作。 若要使用其他工具查看管理主題,請選取上面的索引標籤。

必要條件

開始進行本教學課程之前,您必須具備下列資源:

  • Azure 訂用帳戶。 請參閱取得 Azure 免費試用

  • Azure CLI。 請參閱 安裝和設定 Azure CLI

  • 使用 az login 命令進行驗證,並且選取您想要使用的訂用帳戶。 如需使用公司或學校帳戶驗證的詳細資訊,請參閱 從 Azure CLI 連線至 Azure 訂用帳戶

    az login
    az account set --subscription <subscription id>
    

    您現在可以存取 Data Lake Analytics 和 Data Lake Store 命令。 執行下列命令以列出 Data Lake Store 和 Data Lake Analytics 命令:

    az dls -h
    az dla -h
    

管理帳戶

您必須擁有 Data Lake Analytics 帳戶,才能執行任何 Data Lake Analytics 工作。 與 Azure HDInsight 不同的是,分析帳戶未執行工作時,您無需支付該帳戶的費用。 您只需支付執行工作時的費用。 如需詳細資訊,請參閱 Azure Data Lake Analytics 概觀

建立帳戶

執行下列命令來建立 Data Lake 帳戶。

az dla account create --account "<Data Lake Analytics account name>" --location "<Location Name>" --resource-group "<Resource Group Name>" --default-data-lake-store "<Data Lake Store account name>"

更新帳戶

下列命令會更新現有 Data Lake Analytics 帳戶的屬性

az dla account update --account "<Data Lake Analytics Account Name>" --firewall-state "Enabled" --query-store-retention 7

列出帳戶

列出特定資源群組內的 Data Lake Analytics 帳戶

az dla account list "<Resource group name>"

取得帳戶的詳細資料

az dla account show --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"

刪除帳戶

az dla account delete --account "<Data Lake Analytics account name>" --resource-group "<Resource group name>"

管理資料來源

Data Lake Analytics 目前支援以下兩個資料來源:

當您建立分析帳戶時,必須指定 Azure Data Lake 儲存體帳戶作為預設的儲存體帳戶。 預設的 Data Lake 儲存體帳戶是用來儲存作業中繼資料與作業稽核記錄。 建立 Analytics 帳戶後,您可以新增其他的 Data Lake Storage 帳戶和/或 Azure 儲存體帳戶。

尋找預設的 Data Lake Store 帳戶

您可以執行 az dla account show 命令來檢視所使用的預設 Data Lake Store 帳戶。 預設帳戶名稱列在 defaultDataLakeStoreAccount 屬性底下。

az dla account show --account "<Data Lake Analytics account name>"

新增其他 Blob 儲存體帳戶

az dla account blob-storage add --access-key "<Azure Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Storage account name>"

注意

僅支援 Blob 儲存體簡短名稱。 請勿使用 FQDN,例如 "myblob.blob.core.windows.net"。

新增其他 Data Lake Store 帳戶

下列命令會使用另一個 Data Lake Store 帳戶來更新指定的 Data Lake Analytics 帳戶:

az dla account data-lake-store add --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Data Lake Store account name>"

更新現有的資料來源

若要更新現有的 Blob 儲存體帳戶金鑰:

az dla account blob-storage update --access-key "<New Blob Storage Account Key>" --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"

列出資料來源

若要列出 Data Lake Store 帳戶:

az dla account data-lake-store list --account "<Data Lake Analytics account name>"

若要列出 Blob 儲存體帳戶:

az dla account blob-storage list --account "<Data Lake Analytics account name>"

顯示 Azure C L I 的螢幕快照,其中已醒目提示 “dataLakeStoreAccounts:” 資訊。

刪除資料來源

刪除 Data Lake Store 帳戶:

az dla account data-lake-store delete --account "<Data Lake Analytics account name>" --data-lake-store-account-name "<Azure Data Lake Store account name>"

刪除 Blob 儲存體帳戶:

az dla account blob-storage delete --account "<Data Lake Analytics account name>" --storage-account-name "<Data Lake Store account name>"

管理工作

您必須擁有 Data Lake Analytics 帳戶,才能建立工作。 如需詳細資訊,請參閱 管理 Data Lake Analytics 帳戶

列出工作

az dla job list --account "<Data Lake Analytics account name>"

Data Lake Analytics 列出數據源

取得工作詳細資料

az dla job show --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"

提交工作

注意

工作的預設優先順序為 1000,工作的平行處理原則預設程度是 1。

az dla job submit --account "<Data Lake Analytics account name>" --job-name "<Name of your job>" --script "<Script to submit>"

取消工作

使用 list 命令來尋找工作識別碼,然後使用 cancel 來取消工作。

az dla job cancel --account "<Data Lake Analytics account name>" --job-identity "<Job Id>"

管線和週期

取得管線和週期的相關資訊

使用 az dla job pipeline 命令來查看先前提交作業的管線資訊。

az dla job pipeline list --account "<Data Lake Analytics Account Name>"

az dla job pipeline show --account "<Data Lake Analytics Account Name>" --pipeline-identity "<Pipeline ID>"

使用 az dla job recurrence 命令來查看先前提交作業的週期資訊。

az dla job recurrence list --account "<Data Lake Analytics Account Name>"

az dla job recurrence show --account "<Data Lake Analytics Account Name>" --recurrence-identity "<Recurrence ID>"

下一步