Partilhar via

Introdução ao Azure Data Lake Storage Gen1 usando a CLI do Azure

  • Artigo

Nota

O Azure Data Lake Storage Gen1 foi desativado. Veja o anúncio da aposentadoria aqui. Os recursos do Data Lake Storage Gen1 não estão mais acessíveis.

Saiba como usar a CLI do Azure para criar uma conta do Azure Data Lake Storage Gen1 e executar operações básicas, como criar pastas, carregar e baixar arquivos de dados, excluir sua conta, etc. Para obter mais informações sobre o Data Lake Storage Gen1, consulte Visão geral do Data Lake Storage Gen1.

A CLI do Azure é a experiência da linha de comandos do Azure para a gestão de recursos do Azure. Pode ser utilizada no macOS, no Linux e no Windows. Para obter mais informações, consulte Visão geral da CLI do Azure. Você também pode examinar a referência da CLI do Azure Data Lake Storage Gen1 para obter uma lista completa de comandos e sintaxe.

Pré-requisitos

Antes de começar este artigo, tem de ter o seguinte:

Autenticação

Este artigo usa uma abordagem de autenticação mais simples com o Data Lake Storage Gen1, onde você efetua login como usuário final. O nível de acesso à conta e ao sistema de arquivos do Data Lake Storage Gen1 é então regido pelo nível de acesso do usuário conectado. No entanto, também existem outras abordagens para autenticar com o Data Lake Storage Gen1, que são a autenticação do usuário final ou a autenticação de serviço a serviço. Para obter instruções e obter mais informações sobre como autenticar, veja End-user authentication (Autenticação de utilizador final) ou Service-to-service authentication (Autenticação de serviço a serviço).

Inicie sessão na subscrição do Azure

  1. Inicie sessão na subscrição do Azure.

    az login

    Obtenha um código para utilizar no passo seguinte. Utilize um browser para abrir a página https://aka.ms/devicelogin e introduza o código para autenticar. É-lhe pedido para iniciar sessão com as suas credenciais.

  2. Depois de iniciar sessão, a janela lista todas as subscrições do Azure que estão associadas à sua conta. Utilize o seguinte comando para utilizar uma subscrição específica.

    az account set --subscription <subscription id>

Criar uma conta do Azure Data Lake Storage Gen1

  1. Criar um novo grupo de recursos. No seguinte comando, forneça os valores de parâmetros que pretende utilizar. Se o nome da localização contiver espaços, coloque-o entre aspas. Por exemplo, "E.U.A. Leste 2".

    az group create --location "East US 2" --name myresourcegroup

  2. Crie a conta Data Lake Storage Gen1.

    az dls account create --account mydatalakestoragegen1 --resource-group myresourcegroup

Criar pastas em uma conta do Data Lake Storage Gen1

Você pode criar pastas em sua conta do Azure Data Lake Storage Gen1 para gerenciar e armazenar dados. Use o comando a seguir para criar uma pasta chamada mynewfolder na raiz da conta do Data Lake Storage Gen1.

az dls fs create --account mydatalakestoragegen1 --path /mynewfolder --folder

Nota

O parâmetro --folder assegura que o comando cria uma pasta. Se esse parâmetro não estiver presente, o comando criará um arquivo vazio chamado mynewfolder na raiz da conta do Data Lake Storage Gen1.

Carregar dados para uma conta do Data Lake Storage Gen1

Você pode carregar dados para o Data Lake Storage Gen1 diretamente no nível raiz ou para uma pasta criada na conta. Os fragmentos abaixo demonstram como carregar alguns dados de exemplo para a pasta (mynewfolder) que criou na secção anterior.

Se estiver à procura de alguns dados de exemplo para carregar, pode obter a pasta Ambulance Data a partir do Repositório de Git do Azure Data Lake. Baixe o arquivo e armazene-o em um diretório local no seu computador, como C:\sampledata.

az dls fs upload --account mydatalakestoragegen1 --source-path "C:\SampleData\AmbulanceData\vehicle1_09142014.csv" --destination-path "/mynewfolder/vehicle1_09142014.csv"

Nota

Para o destino, tem de especificar o caminho completo, incluindo o nome do ficheiro.

Listar arquivos em uma conta do Data Lake Storage Gen1

Use o comando a seguir para listar os arquivos em uma conta do Data Lake Storage Gen1.

az dls fs list --account mydatalakestoragegen1 --path /mynewfolder

O resultado deve ser semelhante ao seguinte:

[
    {
        "accessTime": 1491323529542,
        "aclBit": false,
        "blockSize": 268435456,
        "group": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
        "length": 1589881,
        "modificationTime": 1491323531638,
        "msExpirationTime": 0,
        "name": "mynewfolder/vehicle1_09142014.csv",
        "owner": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
        "pathSuffix": "vehicle1_09142014.csv",
        "permission": "770",
        "replication": 1,
        "type": "FILE"
    }
]

Renomear, baixar e excluir dados de uma conta do Data Lake Storage Gen1

  • Para mudar o nome de um ficheiro, utilize o seguinte comando:

    az dls fs move --account mydatalakestoragegen1 --source-path /mynewfolder/vehicle1_09142014.csv --destination-path /mynewfolder/vehicle1_09142014_copy.csv

  • Para transferir um ficheiro, utilize o seguinte comando: Certifique-se de que o caminho de destino especificado já existe.

    az dls fs download --account mydatalakestoragegen1 --source-path /mynewfolder/vehicle1_09142014_copy.csv --destination-path "C:\mysampledata\vehicle1_09142014_copy.csv"

    Nota

    O comando cria a pasta de destino se não existir.

  • Para eliminar um ficheiro, utilize o seguinte comando:

    az dls fs delete --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014_copy.csv

    Se pretender eliminar a pasta mynewfolder e o ficheiro vehicle1_09142014_copy.csv em conjunto num comando, utilize o --parâmetro de recurso

    az dls fs delete --account mydatalakestoragegen1 --path /mynewfolder --recurse

Trabalhar com permissões e ACLs para uma conta do Data Lake Storage Gen1

Nesta seção, você aprenderá sobre como gerenciar ACLs e permissões usando a CLI do Azure. Para obter uma discussão detalhada sobre como as ACLs são implementadas no Azure Data Lake Storage Gen1, consulte Controle de acesso no Azure Data Lake Storage Gen1.

  • Para atualizar o proprietário de um ficheiro/pasta, utilize o seguinte comando:

    az dls fs access set-owner --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv --group 80a3ed5f-959e-4696-ba3c-d3c8b2db6766 --owner 6361e05d-c381-4275-a932-5535806bb323

  • Para atualizar as permissões de um ficheiro/pasta, utilize o seguinte comando:

    az dls fs access set-permission --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv --permission 777

  • Para obter as ACLs de um determinado caminho, utilize o seguinte comando:

    az dls fs access show --account mydatalakestoragegen1 --path /mynewfolder/vehicle1_09142014.csv

    O resultado deve ser semelhante ao seguinte:

    {
    "entries": [
    "user::rwx",
    "group::rwx",
    "other::---"
    ],
    "group": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
    "owner": "1808bd5f-62af-45f4-89d8-03c5e81bac20",
    "permission": "770",
    "stickyBit": false
}

  • Para definir uma entrada de uma ACL, utilize o seguinte comando:

    az dls fs access set-entry --account mydatalakestoragegen1 --path /mynewfolder --acl-spec user:6360e05d-c381-4275-a932-5535806bb323:-w-

  • Para remover uma entrada de uma ACL, utilize o seguinte comando:

    az dls fs access remove-entry --account mydatalakestoragegen1 --path /mynewfolder --acl-spec user:6360e05d-c381-4275-a932-5535806bb323

  • Para remover uma ACL predefinida completa, utilize o seguinte comando:

    az dls fs access remove-all --account mydatalakestoragegen1 --path /mynewfolder --default-acl

  • Para remover uma ACL não-predefinida completa, utilize o seguinte comando:

    az dls fs access remove-all --account mydatalakestoragegen1 --path /mynewfolder

Excluir uma conta do Data Lake Storage Gen1

Use o comando a seguir para excluir uma conta do Data Lake Storage Gen1.

az dls account delete --account mydatalakestoragegen1

Quando lhe for pedido, introduza S para eliminar a conta.

Próximos passos