Delen via

Aan de slag met Azure Data Lake Analytics met behulp van Azure CLI

Belangrijk

Nieuwe Azure Data Lake Analytics-accounts kunnen niet meer worden gemaakt, tenzij uw abonnement is ingeschakeld. Als u uw abonnement wilt inschakelen , neemt u contact op met de ondersteuning en geeft u uw bedrijfsscenario op.

Als u Azure Data Lake Analytics al gebruikt, moet u op 29 februari 2024 een migratieplan maken naar Azure Synapse Analytics voor uw organisatie.

In dit artikel wordt beschreven hoe u de opdrachtregelinterface van Azure CLI gebruikt om Azure Data Lake Analytics-accounts te maken, USQL-taken en -catalogi te verzenden. De taak leest een bestand met door tabs gescheiden waarden (TSV) en converteert het naar een csv-bestand (door komma's gescheiden waarden).

Vereiste voorwaarden

Voordat u begint, hebt u het volgende nodig:

Aanmelden bij Azure

Aanmelden bij uw Azure-abonnement:

az login

U wordt gevraagd naar een URL te bladeren en een verificatiecode in te voeren. Volg vervolgens de instructies om uw referenties in te voeren.

Zodra u zich hebt aangemeld, worden met de aanmeldingsopdracht uw abonnementen vermeld.

Een specifiek abonnement gebruiken:

az account set --subscription <subscription id>

Data Lake Analytics-account maken

U hebt een Data Lake Analytics-account nodig voordat u taken kunt uitvoeren. Als u een Data Lake Analytics-account wilt maken, moet u de volgende items opgeven:

  • Azure Resourcegroep. Er moet een Data Lake Analytics-account worden gemaakt binnen een Azure-resourcegroep. Met Azure Resource Manager kunt u als groep met de resources in uw toepassing werken. U kunt alle resources voor uw toepassing implementeren, bijwerken of verwijderen in één, gecoördineerde bewerking.

De bestaande resourcegroepen onder uw abonnement weergeven:

az group list

Een nieuwe resourcegroep maken:

az group create --name "<Resource Group Name>" --location "<Azure Location>"
  • Data Lake Analytics-accountnaam. Elk Data Lake Analytics-account heeft een naam.
  • Locatie. Gebruik een van de Azure-datacenters die Data Lake Analytics ondersteunen.
  • Standaard Data Lake Store-account: elk Data Lake Analytics-account heeft een standaard Data Lake Store-account.

Het bestaande Data Lake Store-account weergeven:

az dls account list

Ga als volgt te werk om een nieuw Data Lake Store-account te maken:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Gebruik de volgende syntaxis om een Data Lake Analytics-account te maken:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

Nadat u een account hebt gemaakt, kunt u de volgende opdrachten gebruiken om de accounts weer te geven en accountgegevens weer te geven:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Gegevens uploaden naar Data Lake Store

In deze handleiding verwerkt u een paar zoeklogboeken. Het zoeklogboek kan worden opgeslagen in Data Lake Store of Azure Blob Storage.

Azure Portal biedt een gebruikersinterface voor het kopiëren van enkele voorbeeldgegevensbestanden naar het standaard Data Lake Store-account, waaronder een zoeklogboekbestand. Zie Brongegevens voorbereiden om de gegevens te uploaden naar het standaard Data Lake Store-account.

Gebruik de volgende opdrachten om bestanden te uploaden met behulp van Azure CLI:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Data Lake Analytics heeft ook toegang tot Azure Blob Storage. Zie De Azure CLI gebruiken met Azure Storage voor het uploaden van gegevens naar Azure Blob Storage.

Data Lake Analytics-opdrachten indienen

De Data Lake Analytics-taken worden geschreven in de U-SQL-taal. Zie Aan de slag met U-SQL - en U-SQL-taalreferenties voor meer informatie over U-SQL.

Een Data Lake Analytics-taakscript maken

Maak een tekstbestand met het volgende U-SQL-script en sla het tekstbestand op uw werkstation op:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Dit U-SQL-script leest het brongegevensbestand met behulp van Extractors.Tsv()en maakt vervolgens een CSV-bestand met behulp van Outputters.Csv().

Wijzig de twee paden niet, tenzij u het bronbestand naar een andere locatie kopieert. Data Lake Analytics maakt automatisch de uitvoermap aan als deze niet bestaat.

Het is eenvoudiger om relatieve paden te gebruiken voor bestanden die zijn opgeslagen in standaard Data Lake Store-accounts. U kunt ook absolute paden gebruiken. Voorbeeld:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

U moet absolute paden gebruiken om toegang te krijgen tot bestanden in gekoppelde opslagaccounts. De syntaxis voor bestanden die zijn opgeslagen in een gekoppeld Azure Storage-account is:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Opmerking

Azure Blob-container met openbare blobs wordt niet ondersteund. Azure Blob-container met openbare containers wordt niet ondersteund.

Opdrachten verzenden

Gebruik de volgende syntaxis om een taak te verzenden.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Voorbeeld:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

Banen en taakdetails weergeven

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Taken annuleren

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Taakresultaten ophalen

Nadat een taak is voltooid, kunt u de volgende opdrachten gebruiken om de uitvoerbestanden weer te geven en de bestanden te downloaden:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"

Voorbeeld:

az dls fs download --account "myadlsaccount" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "C:\DLA\myfile.csv"

Volgende stappen