通过 Azure PowerShell 开始使用 Azure Data Lake Storage Gen1

  • 项目

注意

Azure Data Lake Storage Gen1 现已停用。 请参阅此处的停用公告。Data Lake Storage Gen1资源不再可访问。 如果需要特殊帮助， 请与我们联系。

了解如何使用 Azure PowerShell 创建 Azure Data Lake Storage Gen1 帐户并执行基本操作，如创建文件夹、上传和下载数据文件、删除帐户等。有关 Data Lake Storage Gen1 的详细信息，请参阅 Data Lake Storage Gen1 概述。

先决条件

注意

建议使用 Azure Az PowerShell 模块与 Azure 交互。 请参阅安装 Azure PowerShell 以开始使用。 若要了解如何迁移到 Az PowerShell 模块，请参阅 将 Azure PowerShell 从 AzureRM 迁移到 Az。

身份验证

本文对 Data Lake Store Gen1 使用一种较为简单的身份验证方法，其中会提示输入 Azure 帐户凭据。 系统会根据登录用户的访问级别约束对 Data Lake Storage Gen1 帐户和文件系统的访问权限。 但是，也可以使用其他方法在 Data Lake Storage Gen1 中进行身份验证，即最终用户身份验证或服务到服务身份验证。 有关如何进行身份验证的说明和详细信息，请参阅最终用户身份验证或服务到服务身份验证。

创建 Data Lake Storage Gen1 帐户

  1. 从桌面打开新的 Windows PowerShell 窗口。 输入以下代码片段以登录到 Azure 帐户，设置订阅，并注册 Data Lake Store Gen1 提供程序。 当系统提示登录时，请确保以订阅管理员/所有者身份登录：

    # Log in to your Azure account
Connect-AzAccount

# List all the subscriptions associated to your account
Get-AzSubscription

# Select a subscription
Set-AzContext -SubscriptionId <subscription ID>

# Register for Azure Data Lake Storage Gen1
Register-AzResourceProvider -ProviderNamespace "Microsoft.DataLakeStore"

  2. Data Lake Store Gen1 帐户与 Azure 资源组关联。 首先请创建资源组。

    $resourceGroupName = "<your new resource group name>"
New-AzResourceGroup -Name $resourceGroupName -Location "East US 2"

    创建 Azure 资源组

  3. 创建 Data Lake Storage Gen1 帐户。 指定名称必须仅包含小写字母与数字。

    $dataLakeStorageGen1Name = "<your new Data Lake Storage Gen1 account name>"
New-AzDataLakeStoreAccount -ResourceGroupName $resourceGroupName -Name $dataLakeStorageGen1Name -Location "East US 2"

    创建 Data Lake Storage Gen1 帐户

  4. 验证是否已成功创建帐户。

    Test-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name

    cmdlet 的输出应为 True。

创建目录结构

可以在 Data Lake Store Gen1 帐户下创建目录，用于管理和存储数据。

  1. 指定根目录。

    $myrootdir = "/"

  2. 在指定根下，创建一个名为 mynewdirectory 的新目录。

    New-AzDataLakeStoreItem -Folder -AccountName $dataLakeStorageGen1Name -Path $myrootdir/mynewdirectory

  3. 验证是否已成功创建新目录。

    Get-AzDataLakeStoreChildItem -AccountName $dataLakeStorageGen1Name -Path $myrootdir

    显示的输出应该如以下屏幕截图所示：

    验证目录

上传数据

可以直接将数据上传到 Data Lake Store Gen1 的根级别，也可以上传到在帐户中创建的目录。 此节中的代码片段演示了如何将一些示例数据上传到上一节中创建的目录 (mynewdirectory)。

如果正在查找一些示例数据进行上传，可以从 Azure Data Lake Git 存储库 获取 Ambulance Data文件夹。 下载文件，并将其存储在计算机的本地目录，如 C:\sampledata。

Import-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
   -Path "C:\sampledata\vehicle1_09142014.csv" `
   -Destination $myrootdir\mynewdirectory\vehicle1_09142014.csv

重命名、下载和删除数据

使用以下命令，重命名文件：

Move-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Path $myrootdir\mynewdirectory\vehicle1_09142014.csv `
    -Destination $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv

使用以下命令，下载文件：

Export-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Path $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv `
    -Destination "C:\sampledata\vehicle1_09142014_Copy.csv"

使用以下命令，删除文件：

Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Paths $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv

出现提示时，输入 Y 以删除项目。 如果有多个要删除的文件，可以用逗号分隔提供所有路径。

Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Paths $myrootdir\mynewdirectory\vehicle1_09142014.csv, $myrootdir\mynewdirectoryvehicle1_09142014_Copy.csv

删除你的帐户

使用以下命令删除 Data Lake Storage Gen1 帐户。

Remove-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name

出现提示时，输入 Y 删除帐户。

后续步骤