Rozpoczynanie pracy z usługą Azure Data Lake Analytics przy użyciu interfejsu wiersza polecenia platformy Azure

Artykuł
12/20/2023

Ważne

Nie można już tworzyć nowych kont usługi Azure Data Lake Analytics, chyba że subskrypcja została włączona. Jeśli chcesz, aby twoja subskrypcja została włączona , skontaktuj się z pomocą techniczną i podaj scenariusz biznesowy.

Jeśli korzystasz już z usługi Azure Data Lake Analytics, musisz utworzyć plan migracji, aby Azure Synapse Analytics dla organizacji do 29 lutego 2024 r.

W tym artykule opisano sposób używania interfejsu wiersza polecenia platformy Azure do tworzenia kont usługi Azure Data Lake Analytics, przesyłania zadań USQL i katalogów. Zadanie odczytuje zawartość pliku z wartościami rozdzielanymi tabulatorami (TSV) i konwertuje je do pliku z wartościami rozdzielanymi przecinkami (CSV).

Wymagania wstępne

Przed rozpoczęciem musisz mieć następujące elementy:

Subskrypcja platformy Azure. Zobacz temat Uzyskiwanie bezpłatnej wersji próbnej platformy Azure.
Ten artykuł wymaga interfejsu wiersza polecenia platformy Azure w wersji 2.0 lub nowszej. Jeśli konieczna będzie instalacja lub uaktualnienie, zobacz Instalowanie interfejsu wiersza polecenia platformy Azure.

Aby zalogować się do subskrypcji platformy Azure:

az login

Poproszono Cię o przejście do adresu URL i wprowadzenie kodu uwierzytelniania. Następnie postępuj zgodnie z instrukcjami, aby wprowadzić swoje poświadczenia.

Po zalogowaniu polecenie logowania wyświetla listę subskrypcji.

Aby użyć określonej subskrypcji:

az account set --subscription <subscription id>

Tworzenie konta usługi Data Lake Analytics

Aby można było uruchomić jakiekolwiek zadanie, musisz mieć konto usługi Data Lake Analytics. Aby utworzyć takie konto, należy określić następujące elementy:

Grupa zasobów platformy Azure. W grupie zasobów platformy Azure należy utworzyć konto usługi Data Lake Analytics. Usługa Azure Resource Manager umożliwia pracę z zasobami w aplikacji jak z grupą. Wszystkie zasoby aplikacji można wdrożyć, zaktualizować lub usunąć w jednej, skoordynowanej operacji.

Aby wyświetlić listę istniejących grup zasobów w ramach subskrypcji:

az group list

Aby utworzyć nową grupę zasobów:

az group create --name "<Resource Group Name>" --location "<Azure Location>"

Data Lake Analytics nazwa konta. Każde konto usługi Data Lake Analytics ma nazwę.
Lokalizacja. Użyj centrum danych platformy Azure, które obsługuje usługę Data Lake Analytics.
Domyślne konto usługi Data Lake Store: każde konto Data Lake Analytics ma domyślne konto usługi Data Lake Store.

Aby wyświetlić istniejące konto usługi Data Lake Store:

az dls account list

Aby utworzyć nowe konto usługi Data Lake Store:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Użyj następującej składni, aby utworzyć konto usługi Data Lake Analytics:

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --location "<Azure location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

Po utworzeniu konta można użyć następujących poleceń w celu wyświetlenia listy kont i szczegółów konta:

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Przekazywanie danych do usługi Data Lake Store

W ramach tego samouczka przetworzysz wybrane dzienniki wyszukiwania. Dziennik wyszukiwania może być przechowywany w usłudze Data Lake Store lub w usłudze Azure Blob Storage.

Witryna Azure Portal udostępnia interfejs użytkownika umożliwiający skopiowanie przykładowych plików danych na domyślne konto usługi Data Lake Store. Pliki te obejmują również dziennik wyszukiwania. Zobacz temat Przygotowanie danych źródłowych, aby przekazać dane na domyślne konto usługi Data Lake Store.

Aby przekazać pliki przy użyciu interfejsu wiersza polecenia platformy Azure, użyj następujących poleceń:

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Usługa Data Lake Analytics może także uzyskiwać dostęp do usługi Azure Blob Storage. Aby uzyskać informacje o przekazywaniu danych do usługi Azure Blob Storage, zobacz temat Korzystanie z interfejsu wiersza polecenia platformy Azure w usłudze Azure Storage.

Przesyłanie zadań usługi Data Lake Analytics

Zadania usługi Data Lake Analytics są napisane w języku U-SQL. Aby dowiedzieć się więcej o języku U-SQL, zobacz Wprowadzenie do języka U-SQL i Dokumentację języka U-SQL.

Aby utworzyć skrypt zadania usługi Data Lake Analytics

Utwórz plik tekstowy zawierający następujący skrypt w języku U-SQL i zapisz go na swojej stacji roboczej:

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

Ten skrypt U-SQL odczytuje źródłowy plik danych przy użyciu ekstraktora Extractors.Tsv(), a następnie tworzy plik csv przy użyciu ekstraktora Outputters.Csv().

Nie należy modyfikować tych dwóch ścieżek, jeśli plik źródłowy nie został skopiowany do innej lokalizacji. Jeśli folder wyjściowy nie istnieje, usługa Data Lake Analytics go utworzy.

Łatwiej jest używać ścieżek względnych dla plików przechowywanych na domyślnych kontach usługi Data Lake Store. Można także użyć ścieżek bezwzględnych. Na przykład:

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

Aby uzyskać dostęp do plików w połączonych kontach magazynu, należy użyć ścieżek bezwzględnych. Składnia dla plików przechowywanych na połączonym koncie usługi Azure Storage jest następująca:

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

Uwaga

Kontenery obiektów blob platformy Azure zawierające publiczne obiekty blob nie są obsługiwane. Kontenery obiektów blob platformy Azure zawierające publiczne kontenery nie są obsługiwane.

Aby przesłać zadania

Użyj następującej składni, aby przesłać zadanie.

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

Na przykład:

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

Aby wyświetlić listę zadań i szczegóły zadania

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Aby anulować zadania

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

Pobieranie wyników zadania

Po zakończeniu zadania można użyć następujących poleceń, aby wyświetlić pliki wyjściowe i pobrać pliki:

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"