Introdução ao Azure Data Lake Store Gen1 usando Azure PowerShell

  • Artigo

Observação

Azure Data Lake Storage Gen1 está desativado. Confira o comunicado de desativação aqui. Data Lake Storage Gen1 recursos não estão mais acessíveis. Se você precisar de assistência especial, entre em contato conosco.

Saiba como usar o Azure PowerShell para criar uma conta do Azure Data Lake Storage Gen1 e executar operações básicas, como criar pastas, carregar e baixar arquivos de dados, excluir sua conta etc. Para obter mais informações sobre o Data Lake Storage Gen1, confira Visão geral do Data Lake Storage Gen1.

Pré-requisitos

Observação

Recomendamos que você use o módulo Az PowerShell do Azure para interagir com o Azure. Confira Instalar o Azure PowerShell para começar. Para saber como migrar para o módulo Az PowerShell, confira Migrar o Azure PowerShell do AzureRM para o Az.

Autenticação

Este artigo usa uma abordagem de autenticação mais simples com o Data Lake Storage Gen1, em que você é solicitado a inserir as credenciais da conta do Azure. O nível de acesso à conta do Data Lake Storage Gen1 e ao sistema de arquivos é controlado pelo nível de acesso do usuário conectado. No entanto, há outras abordagens para autenticar com o Data Lake Storage Gen1, que são a autenticação de usuário final ou a autenticação serviço a serviço. Para obter instruções e saber mais sobre como se autenticar, veja Autenticação do usuário final ou Autenticação de serviço a serviço.

Criar uma conta do Data Lake Storage Gen1

  1. Na área de trabalho, abra uma nova janela do Windows PowerShell. Insira o snippet de código a seguir para entrar em sua conta do Azure, definir a assinatura e registrar o provedor do Data Lake Storage Gen1. Quando solicitado a fazer logon, certifique-se de fazer logon como um proprietário/administrador da assinatura:

    # Log in to your Azure account
Connect-AzAccount

# List all the subscriptions associated to your account
Get-AzSubscription

# Select a subscription
Set-AzContext -SubscriptionId <subscription ID>

# Register for Azure Data Lake Storage Gen1
Register-AzResourceProvider -ProviderNamespace "Microsoft.DataLakeStore"

  2. Uma conta do Data Lake armazenamento Gen1 está associada um grupo de recursos do Azure. Comece criando um grupo de recursos.

    $resourceGroupName = "<your new resource group name>"
New-AzResourceGroup -Name $resourceGroupName -Location "East US 2"

    Criar um grupo de recursos do Azure

  3. Crie uma conta do Azure Data Lake Storage Gen1. O nome especificado deve conter apenas letras minúsculas e números.

    $dataLakeStorageGen1Name = "<your new Data Lake Storage Gen1 account name>"
New-AzDataLakeStoreAccount -ResourceGroupName $resourceGroupName -Name $dataLakeStorageGen1Name -Location "East US 2"

    Criar uma conta do Data Lake Storage Gen1

  4. Verifique se a conta foi criada com êxito.

    Test-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name

    A saída para o cmdlet deve ser True.

Criar estruturas de diretório

Você pode criar diretórios em sua conta do Data Lake Storage Gen1 para gerenciar e armazenar dados.

  1. Especifique um diretório raiz.

    $myrootdir = "/"

  2. Crie um novo diretório chamado mynewdirectory na raiz especificada.

    New-AzDataLakeStoreItem -Folder -AccountName $dataLakeStorageGen1Name -Path $myrootdir/mynewdirectory

  3. Verifique se o novo diretório foi criado com êxito.

    Get-AzDataLakeStoreChildItem -AccountName $dataLakeStorageGen1Name -Path $myrootdir

    Ele deverá exibir uma saída conforme mostrado na seguinte captura de tela:

    Verificar o diretório

Carregar dados

É possível carregar seus dados no Data Lake Storage Gen1 diretamente no nível da raiz ou em um diretório que você criou na conta. Os snippets de código desta seção demonstram como carregar alguns dados de exemplo no diretório (mynewdirectory) criado na seção anterior.

Se estiver procurando alguns dados de exemplo para carregar, é possível obter a pasta Dados da Ambulância no Repositório Git do Azure Data Lake. Baixe o arquivo e armazene-o em um diretório local no computador, como C:\sampledata.

Import-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
   -Path "C:\sampledata\vehicle1_09142014.csv" `
   -Destination $myrootdir\mynewdirectory\vehicle1_09142014.csv

Renomear, fazer download e excluir dados

Para renomear um arquivo, use o seguinte comando:

Move-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Path $myrootdir\mynewdirectory\vehicle1_09142014.csv `
    -Destination $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv

Para baixar um arquivo, use o seguinte comando:

Export-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Path $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv `
    -Destination "C:\sampledata\vehicle1_09142014_Copy.csv"

Para excluir um arquivo, use o seguinte comando:

Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Paths $myrootdir\mynewdirectory\vehicle1_09142014_Copy.csv

Quando solicitado, insira Y para excluir o item. Se você tiver mais de um arquivo para excluir, você pode fornecer todos os caminhos separados por vírgula.

Remove-AzDataLakeStoreItem -AccountName $dataLakeStorageGen1Name `
    -Paths $myrootdir\mynewdirectory\vehicle1_09142014.csv, $myrootdir\mynewdirectoryvehicle1_09142014_Copy.csv

Excluir sua conta

Use o comando a seguir para excluir sua conta do Data Lake Storage Gen1.

Remove-AzDataLakeStoreAccount -Name $dataLakeStorageGen1Name

Quando solicitado, insira Y para excluir a conta.

Próximas etapas