Aan de slag met Azure Data Lake Analytics met Azure CLI

Artikel
12/20/2023

Belangrijk

Nieuwe Azure Data Lake Analytics-accounts kunnen niet meer worden gemaakt, tenzij uw abonnement is ingeschakeld. Als u uw abonnement wilt inschakelen , neemt u contact op met de ondersteuning en geeft u uw bedrijfsscenario op.

Als u Azure Data Lake Analytics al gebruikt, moet u uiterlijk 29 februari 2024 een migratieplan voor Azure Synapse Analytics voor uw organisatie maken.

In dit artikel wordt beschreven hoe u de Azure CLI-opdrachtregelinterface gebruikt om Azure Data Lake Analytics-accounts te maken, USQL-taken en catalogi te verzenden. De taak leest een TSV-bestand (door tabs gescheiden waarden) en converteert dat naar een CSV-bestand (door komma's gescheiden waarden).

Vereisten

Voordat u begint, hebt u de volgende items nodig:

Een Azure-abonnement. Zie Gratis proefversie van Azure ophalen.
Voor dit artikel moet u Azure CLI versie 2.0 of hoger uitvoeren. Zie Azure CLI installeren als u de CLI wilt installeren of een upgrade wilt uitvoeren.

Aanmelden bij uw Azure-abonnement:

az login

U wordt gevraagd naar een URL te bladeren en een verificatiecode in te voeren. Volg daarna de instructies om uw referenties in te voeren.

Zodra u zich hebt aangemeld, worden uw abonnementen weergegeven met de aanmeldingsopdracht.

Een specifiek abonnement gebruiken:

az account set --subscription <subscription id>

Een Data Lake Analytics-account maken

U hebt een Data Lake Analytics-account nodig voordat u taken kunt uitvoeren. Geef de volgende items op om een Data Lake Analytics-account te maken:

Azure-resourcegroep. Er moet een Data Lake Analytics-account zijn gemaakt binnen een Azure-resourcegroep. Met Azure Resource Manager kunt u met de resources in uw toepassing als groep gebruiken. U kunt alle resources voor uw toepassing implementeren, bijwerken of verwijderen in een enkele, gecoördineerde bewerking.

De bestaande resourcegroepen onder uw abonnement weergeven:

az group list

Een nieuwe resourcegroep maken:

az group create --name "<Resource Group Name>" --location "<Azure Location>"

Data Lake Analytics accountnaam. Elk Data Lake Analytics-account heeft een naam.
Locatie. Gebruik een van de Azure-datacenters die ondersteuning bieden voor Data Lake Analytics.
Standaard Data Lake Store-account: elk Data Lake Analytics-account heeft een data lake store-standaardaccount.

De bestaande Data Lake Store-accounts weergeven:

az dls account list

Een nieuw Data Lake Store-account maken:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Gebruik de volgende syntaxis om een Data Lake Analytics-account te maken:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

Nadat u een account hebt gemaakt, kunt u de volgende opdrachten gebruiken om de accounts met de accountdetails weer te geven:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Gegevens uploaden naar Data Lake Store

In deze zelfstudie verwerkt u een aantal zoeklogboeken. Het zoeklogboek kan worden opgeslagen in de Data Lake Store of Azure Blob-opslag.

Azure Portal biedt een gebruikersinterface waarmee u een aantal voorbeeldbestanden kunt kopiëren naar het Data Lake Store-account, waaronder een zoeklogboekbestand. Zie Brongegevens voorbereiden om de gegevens te uploaden naar het Data Lake Store-standaardaccount.

Als u bestanden wilt uploaden met behulp van Azure CLI, gebruikt u de volgende opdrachten:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Data Lake Analytics heeft ook toegang tot Azure Blob-opslag. Zie De Azure CLI gebruiken met Azure Storage voor informatie over het uploaden van gegevens naar Azure Blob-opslag.

Data Lake Analytics-taken verzenden

Data Lake Analytics-taken worden geschreven in de U-SQL-taal. Zie Aan de slag met de U-SQL-taal en Naslaginformatie voor de U-SQL-taal voor meer informatie over U-SQL.

Een Data Lake Analytics-taakscript maken

Maak een tekstbestand met het volgende U-SQL-script en bewaar het tekstbestand op uw werkstation:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Dit U-SQL-script leest het brongegevensbestand met Extractors.Tsv() en maakt vervolgens een CSV-bestand met Outputters.Csv().

Wijzig de twee paden niet, tenzij u het bronbestand naar een andere locatie kopieert. Data Lake Analytics maakt de uitvoermap als deze nog niet bestaat.

Het is eenvoudiger om relatieve paden te gebruiken voor bestanden die zijn opgeslagen in standaard Data Lake Store-accounts. Maar u kunt ook absolute paden gebruiken. Bijvoorbeeld:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

U moet absolute paden gebruiken om toegang te krijgen tot bestanden in gekoppelde Storage-accounts. De syntaxis voor bestanden die zijn opgeslagen in het gekoppelde Azure Storage-account is:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Notitie

Azure Blob-containers met openbare blobs worden niet ondersteund. Azure Blob-containers met openbare containers worden niet ondersteund.

Taken verzenden

Gebruik de volgende syntaxis om een taak te verzenden.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Bijvoorbeeld:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

Taken en taakdetails weergeven

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Taken annuleren

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Taakresultaten ophalen

Wanneer een taak is voltooid, kunt u de volgende opdrachten gebruiken om de uitvoerbestanden weer te geven en te downloaden:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"