Introdução ao Azure Data Lake Analytics usando a CLI do Azure

2023-12-20

Importante

Novas contas do Azure Data Lake Analytics não podem mais ser criadas, a menos que sua assinatura tenha sido habilitada. Se precisar que a sua subscrição seja ativada , entre em contacto com o apoio ao cliente e forneça o seu cenário de negócios.

Se você já estiver usando o Azure Data Lake Analytics, precisará criar um plano de migração de para o Azure Synapse Analytics para sua organização até 29 de fevereiro de 2024.

Este artigo descreve como usar a interface de linha de comando da CLI do Azure para criar contas do Azure Data Lake Analytics, enviar trabalhos USQL e catálogos. O trabalho lê um ficheiro de valores separados por tabulações (TSV) e converte-o em um ficheiro de valores separados por vírgulas (CSV).

Pré-requisitos

Antes de começar, você precisa dos seguintes itens:

Uma subscrição do Azure. Veja Obter versão de avaliação gratuita do Azure.
Este artigo requer que você esteja executando a CLI do Azure versão 2.0 ou posterior. Se precisar de instalar ou atualizar, consulte Install Azure CLI.

Para iniciar sessão na sua subscrição do Azure:

az login

Você é solicitado a navegar até uma URL e inserir um código de autenticação. E, em seguida, siga as instruções para inserir suas credenciais.

Depois de iniciar sessão, o comando de início de sessão lista as suas subscrições.

Para usar uma assinatura específica:

az account set --subscription <subscription id>

Criar conta do Data Lake Analytics

Você precisa de uma conta do Data Lake Analytics antes de executar qualquer trabalho. Para criar uma conta do Data Lake Analytics, você deve especificar os seguintes itens:

Grupo de Recursos do Azure. Uma conta da Análise Data Lake deve ser criada dentro de um grupo de Recursos do Azure. O Azure Resource Manager permite que você trabalhe com os recursos em seu aplicativo como um grupo. Você pode implantar, atualizar ou excluir todos os recursos do seu aplicativo em uma única operação coordenada.

Para listar os grupos de recursos existentes na sua assinatura:

az group list

Para criar um novo grupo de recursos:

az group create --name "<Resource Group Name>" --location "<Azure Location>"

Nome da conta do Data Lake Analytics. Cada conta do Data Lake Analytics tem um nome.
Localização. Use um dos data centers do Azure que dá suporte à Análise Data Lake.
Conta padrão do Repositório Data Lake: cada conta do Data Lake Analytics tem uma conta padrão do Repositório Data Lake.

Para listar a conta existente do Repositório Data Lake:

az dls account list

Para criar uma nova conta do Repositório Data Lake:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Use a sintaxe a seguir para criar uma conta do Data Lake Analytics:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

Depois de criar uma conta, você pode usar os seguintes comandos para listar as contas e mostrar os detalhes da conta:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Carregar dados para o Repositório Data Lake

Neste tutorial, você processa alguns logs de pesquisa. O log de pesquisa pode ser armazenado no repositório Data Lake ou no armazenamento de Blob do Azure.

O portal do Azure fornece uma interface de usuário para copiar alguns arquivos de dados de exemplo para a conta padrão do Repositório Data Lake, que incluem um arquivo de log de pesquisa. Consulte Preparar dados de origem para carregar os dados na conta padrão do Repositório Data Lake.

Para carregar arquivos usando a CLI do Azure, use os seguintes comandos:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

O serviço de Análise Data Lake também pode aceder ao armazenamento Blob do Azure. Para carregar dados no armazenamento de Blobs do Azure, consulte Usando a CLI do Azure com o Armazenamento do Azure.

Submeter trabalhos do Data Lake Analytics

Os trabalhos da Análise Data Lake são escritos na linguagem U-SQL. Para saber mais sobre o U-SQL, consulte Introdução à linguagem U-SQL e referência da linguagem U-SQL.

Para criar um script de tarefa do Data Lake Analytics

Crie um arquivo de texto com o seguinte script U-SQL e salve o arquivo de texto em sua estação de trabalho:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Esse script U-SQL lê o arquivo de dados de origem usando Extractors.Tsv() e, em seguida, cria um arquivo csv usando Outputters.Csv().

Não modifique os dois caminhos, a menos que copie o arquivo de origem para um local diferente. O Data Lake Analytics cria a pasta de saída se ela não existir.

É mais simples usar caminhos relativos para arquivos armazenados em contas padrão do Repositório Data Lake. Você também pode usar caminhos absolutos. Por exemplo:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

Você deve usar caminhos absolutos para acessar arquivos em contas de armazenamento vinculadas. A sintaxe para arquivos armazenados na conta de Armazenamento do Azure vinculada é:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Observação

Não há suporte para contêiner de Blob do Azure com blobs públicos. Não há suporte para contêiner de Blob do Azure com contêineres públicos.

Para enviar trabalhos

Use a sintaxe a seguir para enviar um trabalho.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Por exemplo:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

Para listar trabalhos e mostrar detalhes do trabalho

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Para cancelar trabalhos

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Recuperar resultados do trabalho

Depois que um trabalho for concluído, você poderá usar os seguintes comandos para listar os arquivos de saída e baixá-los:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"