Erste Schritte mit Azure Data Lake Analytics mithilfe der Azure-Befehlszeilenschnittstelle

Artikel
12/20/2023

Wichtig

Neue Azure Data Lake Analytics-Konten können nur noch dann erstellt werden, wenn Ihr Abonnement aktiviert wurde. Wenn Sie Ihr Abonnement aktivieren möchten, wenden Sie sich an den Support, und geben Sie Ihr Geschäftsszenario an.

Wenn Sie Azure Data Lake Analytics bereits verwenden, müssen Sie bis zum 29. Februar 2024 einen Plan für die Migration zu Azure Synapse Analytics für Ihre Organisation erstellen.

In diesem Artikel erfahren Sie, wie Sie mithilfe der Azure-Befehlszeilenschnittstelle Data Lake Analytics-Konten erstellen und U-SQL-Aufträge und Kataloge übermitteln. Der Auftrag liest eine Datei mit tabulatorgetrennten Werten (TSV) und konvertiert sie in eine Datei mit kommagetrennten Werten (CSV).

Voraussetzungen

Bevor Sie beginnen, benötigen Sie Folgendes:

Ein Azure-Abonnement. Siehe Kostenlose Azure-Testversion.
Für diesen Artikel ist es erforderlich, dass Sie die Azure CLI-Version 2.0 oder höher ausführen. Informationen zum Durchführen einer Installation oder eines Upgrades finden Sie bei Bedarf unter Installieren der Azure CLI.

So melden Sie sich bei Ihrem Azure-Abonnement an

az login

Sie werden aufgefordert, zu einer URL zu navigieren und einen Authentifizierungscode einzugeben. Befolgen Sie anschließend die Anleitung zum Eingeben Ihrer Anmeldeinformationen.

Nachdem Sie sich angemeldet haben, listet der Anmeldebefehl Ihre Abonnements auf.

Gehen Sie wie folgt vor, um ein bestimmtes Abonnement zu verwenden:

az account set --subscription <subscription id>

Erstellen eines Data Lake Analytics-Kontos

Zum Ausführen von Aufträgen ist ein Data Lake Analytics-Konto erforderlich. Zum Erstellen eines Data Lake Analytics-Kontos müssen Sie die folgenden Elemente angeben:

Azure-Ressourcengruppe: Es muss ein Data Lake Analytics-Konto in einer Azure-Ressourcengruppe erstellt werden. Azure Resource Manager ermöglicht es Ihnen, mit den Ressourcen in Ihrer Anwendung als Gruppe zu arbeiten. Sie können alle Ressourcen für Ihre Anwendung in einem einzigen, koordinierten Vorgang bereitstellen, aktualisieren oder löschen.

Gehen Sie wie folgt vor, um die vorhandenen Ressourcengruppen unter Ihrem Abonnement aufzulisten:

az group list

So erstellen Sie eine neue Ressourcengruppe:

az group create --name "<Resource Group Name>" --location "<Azure Location>"

Name des Data Lake Analytics-Kontos: Jedes Data Lake Analytics-Konto hat einen Namen.
Standort. Verwenden Sie eines der Azure-Rechenzentren, die Data Lake Analytics unterstützen.
Data Lake Store-Standardkonto: Jedes Data Lake Analytics-Konto verfügt über ein Data Lake Store-Standardkonto.

Gehen Sie wie folgt vor, um das vorhandene Data Lake Store-Konto anzuzeigen:

az dls account list

Gehen Sie wie folgt vor, um ein neues Data Lake Store-Konto zu erstellen:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Verwenden Sie die folgende Syntax, um ein Data Lake Analytics-Konto zu erstellen:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

Nach dem Erstellen eines Kontos können Sie die folgenden Befehle verwenden, um die Konten aufzulisten und die Kontodetails anzuzeigen:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Hochladen von Daten in den Data Lake-Speicher

In diesem Tutorial verarbeiten Sie einige Suchprotokolle. Das Suchprotokoll kann entweder in Data Lake Store oder Azure Blob Storage gespeichert werden.

Das Azure-Portal enthält eine Benutzeroberfläche zum Kopieren einiger Beispieldatendateien in das Data Lake Store-Standardkonto. Hierzu gehört auch eine Suchprotokolldatei. Weitere Informationen zum Hochladen von Daten in das Data Lake-Standardspeicherkonto finden Sie unter Vorbereiten von Quelldaten.

Verwenden Sie die folgenden Befehle, um Dateien mit der Azure CLI hochzuladen:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Data Lake Analytics hat auch Zugriff auf Azure Blob Storage. Informationen zum Hochladen von Daten nach Azure Blob Storage finden Sie unter Verwenden der Azure-CLI mit Azure Storage.

Übermitteln von Data Lake Analytics-Aufträgen

Die Data Lake Analytics-Aufträge werden in der Sprache U-SQL geschrieben. Weitere Informationen zu U-SQL finden Sie unter Erste Schritte mit der Sprache U-SQL und in der U-SQL language reference (in englischer Sprache).

So erstellen Sie ein Skript für Data Lake Analytics-Aufträge

Erstellen Sie mit dem folgenden U-SQL-Skript eine Textdatei, und speichern Sie die Textdatei auf der Arbeitsstation:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Mit diesem U-SQL-Skript wird die Quelldatei mithilfe von Extractors.Tsv() gelesen, und anschließend wird eine CSV-Datei mithilfe von Outputters.Csv() erstellt.

Ändern Sie die beiden Pfade nur, wenn Sie die Quelldatei an einen anderen Speicherort kopieren. Data Lake Analytics erstellt den Ausgabeordner, falls er nicht vorhanden ist.

Es ist einfacher, relative Pfade für Dateien zu verwenden, die in Data Lake Store-Standardkonten gespeichert sind. Sie können aber auch absolute Pfade verwenden. Beispiel:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

Sie müssen absolute Pfade verwenden, um auf Dateien in verknüpften Speicherkonten zuzugreifen. Die Syntax für Dateien, die unter dem verknüpften Azure-Speicherkonto gespeichert werden, lautet wie folgt:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Hinweis

Azure-Blobcontainer mit öffentlichen Blobs werden nicht unterstützt. Azure-Blobcontainer mit öffentlichen Containern werden nicht unterstützt.

Übermitteln von Aufträgen

Verwenden Sie die folgende Syntax, um einen Auftrag zu übermitteln.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Beispiel:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

So listen Sie Aufträge auf und zeigen Auftragsdetails an

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

So brechen Sie Aufträge ab

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Abrufen von Auftragsergebnissen

Nach Abschluss eines Auftrags können Sie die folgenden Befehle verwenden, um die Ausgabedateien aufzulisten und die Dateien herunterzuladen:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"