Korzystanie z narzędzi Azure Data Lake Tools for Visual Studio Code

  • Artykuł

Ważne

Nie można już tworzyć nowych kont usługi Azure Data Lake Analytics, chyba że subskrypcja została włączona. Jeśli chcesz, aby twoja subskrypcja została włączona , skontaktuj się z pomocą techniczną i podaj swój scenariusz biznesowy.

Jeśli już używasz usługi Azure Data Lake Analytics, musisz utworzyć plan migracji, aby Azure Synapse Analytics dla swojej organizacji do 29 lutego 2024 r.

Z tego artykułu dowiesz się, jak używać programu Azure Data Lake Tools for Visual Studio Code (VS Code) do tworzenia, testowania i uruchamiania skryptów U-SQL. Informacje omówiono również w następującym filmie wideo:

Wymagania wstępne

Narzędzia Azure Data Lake Tools for VS Code obsługują systemy Windows, Linux i macOS. Lokalne uruchamianie języka U-SQL i lokalne debugowanie działa tylko w systemie Windows.

W systemach macOS i Linux:

Instalowanie narzędzi Azure Data Lake Tools

Po zainstalowaniu wymagań wstępnych można zainstalować narzędzia Azure Data Lake Tools for VS Code.

Aby zainstalować narzędzia Azure Data Lake Tools

  1. Otwórz program Visual Studio Code.

  2. Wybierz pozycję Rozszerzenia w okienku po lewej stronie. Wprowadź ciąg Azure Data Lake Tools w polu wyszukiwania.

  3. Wybierz pozycję Zainstaluj obok pozycji Azure Data Lake Tools.

    Opcje instalowania narzędzi Data Lake Tools

    Po kilku sekundach przycisk Zainstaluj zmieni się na Załaduj ponownie.

  4. Wybierz pozycję Załaduj ponownie , aby aktywować rozszerzenie Azure Data Lake Tools .

  5. Wybierz pozycję Załaduj ponownie okno , aby potwierdzić. Narzędzia Azure Data Lake Tools są widoczne w okienku Rozszerzenia.

Aktywowanie narzędzi usługi Azure Data Lake Tools

Utwórz plik .usql lub otwórz istniejący plik usql, aby aktywować rozszerzenie.

Praca z językiem U-SQL

Aby pracować z językiem U-SQL, musisz otworzyć plik U-SQL lub folder.

Aby otworzyć przykładowy skrypt

Otwórz paletę poleceń (Ctrl+Shift+P) i wprowadź ciąg ADL: Otwórz przykładowy skrypt. Spowoduje to otwarcie innego wystąpienia tego przykładu. Możesz również edytować, konfigurować i przesyłać skrypt w tym wystąpieniu.

Aby otworzyć folder dla projektu U-SQL

  1. W Visual Studio Code wybierz menu Plik, a następnie wybierz pozycję Otwórz folder.

  2. Określ folder, a następnie wybierz pozycję Wybierz folder.

  3. Wybierz menu Plik , a następnie wybierz pozycję Nowy. Do projektu jest dodawany plik Bez tytułu 1.

  4. Wprowadź następujący kod w pliku Untitled-1:

    @departments  =
    SELECT * FROM
        (VALUES
            (31,    "Sales"),
            (33,    "Engineering"),
            (34,    "Clerical"),
            (35,    "Marketing")
        ) AS
              D( DepID, DepName );

    DANE WYJŚCIOWE @departments DO "/Output/departments.csv" PRZY UŻYCIU Outputters.Csv();

    Skrypt tworzy plik departments.csv z niektórymi danymi zawartymi w folderze /output.

  5. Zapisz plik jako myUSQL.usql w otwartym folderze.

Aby skompilować skrypt U-SQL

  1. Naciśnij klawisze Ctrl+Shift+P, aby otworzyć paletę poleceń.
  2. Wprowadź wartość ADL: Kompiluj skrypt. Wyniki kompilacji są wyświetlane w oknie Dane wyjściowe . Możesz również kliknąć prawym przyciskiem myszy plik skryptu, a następnie wybrać pozycję ADL: Kompiluj skrypt , aby skompilować zadanie U-SQL. Wynik kompilacji zostanie wyświetlony w okienku Dane wyjściowe .

Aby przesłać skrypt U-SQL

  1. Naciśnij klawisze Ctrl+Shift+P, aby otworzyć paletę poleceń.
  2. Wprowadź ciąg ADL: Prześlij zadanie. Możesz również kliknąć prawym przyciskiem myszy plik skryptu, a następnie wybrać pozycję ADL: Prześlij zadanie.

Po przesłaniu zadania U-SQL dzienniki przesyłania są wyświetlane w oknie Dane wyjściowe w programie VS Code. Widok zadania zostanie wyświetlony w okienku po prawej stronie. Jeśli przesyłanie zakończy się pomyślnie, adres URL zadania również się pojawi. Adres URL zadania można otworzyć w przeglądarce internetowej, aby śledzić stan zadania w czasie rzeczywistym.

Na karcie PODSUMOWANIE widoku zadania można wyświetlić szczegóły zadania. Główne funkcje obejmują ponowne przesłanie skryptu, zduplikowanie skryptu i otwarcie w portalu. Na karcie DANE widoku zadania można odwoływać się do plików wejściowych, plików wyjściowych i plików zasobów. Pliki można pobrać na komputer lokalny.

Karta Podsumowanie w widoku zadania

Karta Dane w widoku zadania

Aby ustawić kontekst domyślny

Można ustawić domyślny kontekst, aby zastosować to ustawienie do wszystkich plików skryptów, jeśli nie ustawiono parametrów dla plików pojedynczo.

  1. Naciśnij klawisze Ctrl+Shift+P, aby otworzyć paletę poleceń.

  2. Wprowadź wartość ADL: ustaw domyślny kontekst. Możesz też kliknąć prawym przyciskiem myszy edytor skryptów i wybrać pozycję ADL: Ustaw domyślny kontekst.

  3. Wybierz odpowiednie konto, bazę danych i schemat. To ustawienie jest zapisywane w pliku konfiguracji xxx_settings.json.

    Konto, baza danych i schemat ustawione jako kontekst domyślny

Aby ustawić parametry skryptu

  1. Naciśnij klawisze Ctrl+Shift+P, aby otworzyć paletę poleceń.

  2. Wprowadź wartość ADL: ustaw parametry skryptu.

  3. Plik xxx_settings.json jest otwarty z następującymi właściwościami:

    • konto: konto usługi Azure Data Lake Analytics w ramach subskrypcji platformy Azure potrzebne do kompilowania i uruchamiania zadań U-SQL. Konto komputera należy skonfigurować przed skompilowanie i uruchomienie zadań U-SQL.
    • baza danych: baza danych w ramach konta. Wartość domyślna to master.
    • schema: schemat w bazie danych. Wartość domyślna to dbo.
    • optionalSettings:
      • priorytet: zakres priorytetu to od 1 do 1000, z 1 jako najwyższy priorytet. Wartość domyślna to 1000.
      • degreeOfParallelism: Zakres równoległości wynosi od 1 do 150. Wartość domyślna to maksymalny równoległość dozwolona na koncie usługi Azure Data Lake Analytics.

    Zawartość pliku JSON

Uwaga

Po zapisaniu konfiguracji informacje o koncie, bazie danych i schemacie są wyświetlane na pasku stanu w lewym dolnym rogu odpowiedniego pliku usql, jeśli nie masz skonfigurowanego domyślnego kontekstu.

Aby ustawić ignoruj usługę Git

  1. Naciśnij klawisze Ctrl+Shift+P, aby otworzyć paletę poleceń.

  2. Wprowadź ciąg ADL: Ustaw pozycję Git Ignore.

    • Jeśli nie masz pliku gitIgnore w folderze roboczym programu VS Code, w folderze roboczym zostanie utworzony plik o nazwie .gitIgnore . Domyślnie w pliku są dodawane cztery elementy (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj). W razie potrzeby możesz wprowadzić więcej aktualizacji.
    • Jeśli masz już plik gitIgnore w folderze roboczym programu VS Code, narzędzie dodaje cztery elementy (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) w pliku gitIgnore , jeśli cztery elementy nie zostały uwzględnione w pliku.

    Elementy w pliku .gitIgnore

Praca z plikami za kodem: C Sharp, Python i R

Usługa Azure Data Lake Tools obsługuje wiele kodów niestandardowych. Aby uzyskać instrukcje, zobacz Develop U-SQL with Python, R i C Sharp for Azure Data Lake Analytics in VS Code (Opracowywanie kodu U-SQL przy użyciu języka Python, R i C Sharp dla platformy Azure Data Lake Analytics.

Praca z zestawami

Aby uzyskać informacje na temat tworzenia zestawów, zobacz Tworzenie zestawów U-SQL dla zadań usługi Azure Data Lake Analytics.

Za pomocą narzędzi Data Lake Tools można zarejestrować niestandardowe zestawy kodu w katalogu Data Lake Analytics.

Aby zarejestrować zestaw

Zestaw można zarejestrować za pomocą polecenia ADL: Register Assembly lub ADL: Register Assembly (Zaawansowane).

Aby zarejestrować się za pomocą polecenia ADL: Rejestrowanie zestawu

  1. Wybierz klawisze Ctrl+Shift+P, aby otworzyć paletę poleceń.
  2. Wprowadź ADL: Zarejestruj zestaw.
  3. Określ ścieżkę zestawu lokalnego.
  4. Wybierz konto Data Lake Analytics.
  5. Wybierz bazę danych.

Portal jest otwierany w przeglądarce i wyświetla proces rejestracji zestawu.

Bardziej wygodnym sposobem wyzwolenia polecenia ADL: Zarejestruj zestaw jest kliknięcie prawym przyciskiem myszy pliku .dll w Eksplorator plików.

Aby zarejestrować się za pomocą polecenia ADL: Rejestrowanie zestawu (zaawansowane)

  1. Wybierz klawisze Ctrl+Shift+P, aby otworzyć paletę poleceń.

  2. Wprowadź wartość ADL: Zarejestruj zestaw (zaawansowany).

  3. Określ ścieżkę zestawu lokalnego.

  4. Zostanie wyświetlony plik JSON. Przejrzyj i zmodyfikuj zależności zestawu i parametry zasobu, jeśli to konieczne. Instrukcje są wyświetlane w oknie Dane wyjściowe . Aby przejść do rejestracji zestawu, zapisz (Ctrl+S) plik JSON.

    Plik JSON z zależnościami zestawu i parametrami zasobu

Uwaga

  • Narzędzie Azure Data Lake Tools automatycznie wykrywa, czy biblioteka DLL ma jakiekolwiek zależności zestawów. Zależności są wyświetlane w pliku JSON po ich wykryciu.
  • Zasoby biblioteki DLL (na przykład .txt, .png i .csv) można przekazać w ramach rejestracji zestawu.

Innym sposobem wyzwolenia polecenia ADL: Rejestrowanie zestawu (zaawansowane) jest kliknięcie prawym przyciskiem myszy pliku .dll w Eksplorator plików.

Poniższy kod U-SQL pokazuje, jak wywołać zestaw. W przykładzie nazwa zestawu jest testowa.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Używanie lokalnego uruchamiania U-SQL i lokalnego debugowania dla użytkowników systemu Windows

Lokalne uruchamianie języka U-SQL testuje dane lokalne i weryfikuje skrypt lokalnie przed opublikowaniem kodu w celu Data Lake Analytics. Aby wykonać następujące zadania przed przesłanym kodem do Data Lake Analytics, możesz użyć funkcji debugowania lokalnego:

  • Debugowanie kodu w języku C#.
  • Przekrocznij kod.
  • Zweryfikuj skrypt lokalnie.

Funkcja lokalnego uruchamiania i lokalnego debugowania działa tylko w środowiskach systemu Windows i nie jest obsługiwana w systemach operacyjnych z systemem macOS i Linux.

Aby uzyskać instrukcje dotyczące lokalnego uruchamiania i lokalnego debugowania, zobacz Uruchamianie lokalne U-SQL i lokalne debugowanie przy użyciu Visual Studio Code.

Nawiązywanie połączenia z usługą Azure

Aby można było skompilować i uruchomić skrypty U-SQL w Data Lake Analytics, musisz nawiązać połączenie z kontem platformy Azure.

Aby nawiązać połączenie z platformą Azure przy użyciu polecenia

  1. Wybierz klawisze Ctrl+Shift+P, aby otworzyć paletę poleceń.

  2. Wprowadź wartość ADL: Login( Logowanie). Informacje logowania są wyświetlane w prawym dolnym rogu.

    Wprowadzanie polecenia logowania

    Powiadomienie o logowaniu i uwierzytelnianiu

  3. Wybierz pozycję Kopiuj & Otwórz, aby otworzyć stronę internetową logowania. Wklej kod w polu, a następnie wybierz pozycję Kontynuuj.

    Strona internetowa logowania

  4. Postępuj zgodnie z instrukcjami, aby zalogować się ze strony internetowej. Po nawiązaniu połączenia nazwa konta platformy Azure jest wyświetlana na pasku stanu w lewym dolnym rogu okna programu VS Code.

Uwaga

  • Narzędzia Data Lake Tools automatycznie logują cię po następnym zalogowaniu, jeśli nie wylogujesz się.
  • Jeśli twoje konto ma włączone dwa czynniki, zalecamy użycie uwierzytelniania telefonicznego zamiast używania numeru PIN.

Aby się wylogować, wprowadź polecenie ADL: Wylogowywanie.

Aby nawiązać połączenie z platformą Azure z poziomu eksploratora

Rozwiń węzeł AZURE DATALAKE, wybierz pozycję Zaloguj się do platformy Azure, a następnie wykonaj krok 3 i krok 4 z sekcji Aby nawiązać połączenie z platformą Azure przy użyciu polecenia .

Wybór

Nie można wylogować się z eksploratora. Aby się wylogować, zobacz Aby nawiązać połączenie z platformą Azure przy użyciu polecenia .

Tworzenie skryptu wyodrębniania

Skrypt wyodrębniania dla plików .csv, tsv i .txt można utworzyć przy użyciu polecenia ADL: Create EXTRACT Script or from the Azure Data Lake explorer (Tworzenie skryptu wyodrębniania lub eksploratora usługi Azure Data Lake).

Aby utworzyć skrypt wyodrębniania przy użyciu polecenia

  1. Wybierz klawisze Ctrl+Shift+P, aby otworzyć paletę poleceń, a następnie wprowadź ciąg ADL: Create EXTRACT Script (Utwórz skrypt EXTRACT).
  2. Określ pełną ścieżkę dla pliku usługi Azure Storage i wybierz klawisz Enter.
  3. Wybierz jedno konto.
  4. W przypadku pliku .txt wybierz ogranicznik, aby wyodrębnić plik.

Proces tworzenia skryptu wyodrębniania

Skrypt wyodrębniania jest generowany na podstawie wpisów. W przypadku skryptu, który nie może wykryć kolumn, wybierz jedną z dwóch opcji. Jeśli nie, zostanie wygenerowany tylko jeden skrypt.

Wynik tworzenia skryptu wyodrębniania

Aby utworzyć skrypt wyodrębniania z eksploratora

Innym sposobem utworzenia skryptu wyodrębniania jest kliknięcie prawym przyciskiem myszy (skrót) menu w .csv, tsv lub .txt pliku w usłudze Azure Data Lake Store lub Azure Blob Storage.

Polecenie

Następne kroki