Najlepsze rozwiązania dotyczące zarządzania zestawami U-SQL w potoku ciągłej integracji/ciągłego wdrażania

  • Artykuł

Z tego artykułu dowiesz się, jak zarządzać kodem źródłowym zestawu U-SQL przy użyciu nowo wprowadzonego projektu bazy danych U-SQL Database. Dowiesz się również, jak skonfigurować potok ciągłej integracji i ciągłego wdrażania (CI/CD) na potrzeby rejestracji zestawów przy użyciu usługi Azure DevOps.

Ważne

Usługa Azure Data Lake Analytics wycofana 29 lutego 2024 r. Dowiedz się więcej z tego ogłoszenia.

Na potrzeby analizy danych organizacja może używać usługi Azure Synapse Analytics lub Microsoft Fabric.

Zarządzanie kodem źródłowym zestawu przy użyciu projektu bazy danych U-SQL

Projekt bazy danych U-SQL jest typem projektu w programie Visual Studio, który pomaga deweloperom w szybkim i łatwym tworzeniu i wdrażaniu baz danych U-SQL oraz zarządzaniu nimi. Za pomocą projektu bazy danych U-SQL można zarządzać wszystkimi obiektami bazy danych U-SQL (z wyjątkiem poświadczeń).

Aby zarządzać kodem źródłowym zestawu języka C# i skryptami języka DDL U-SQL rejestracji zestawu, użyj następującego polecenia:

  • Projekt bazy danych U-SQL służący do zarządzania skryptami U-SQL rejestracji zestawów.
  • Biblioteka klas (dla aplikacji U-SQL) do zarządzania kodem źródłowym i zależnościami języka C# dla operatorów zdefiniowanych przez użytkownika, funkcji i agregatorów (UO, UDF i UDAG).
  • Projekt bazy danych U-SQL w celu odwołania się do projektu Biblioteka klas.

Projekt bazy danych U-SQL może odwoływać się do projektu Biblioteka klas (dla aplikacji U-SQL). Zestawy zarejestrowane w bazie danych U-SQL można tworzyć przy użyciu przywoływanego kodu źródłowego języka C# z tego projektu Biblioteki klas (dla aplikacji U-SQL).

Wykonaj następujące kroki, aby utworzyć projekty i dodać odwołania.

  1. Utwórz projekt Biblioteka klas (dla aplikacji U-SQL), wybierając pozycję Plik>nowy>projekt. Projekt znajduje się w węźle U-SQL usługi Azure Data Lake>.

    Data Lake Tools for Visual Studio — tworzenie projektu biblioteki klas języka C#

  2. Dodaj kod języka C# zdefiniowany przez użytkownika w projekcie Biblioteka klas (dla aplikacji U-SQL).

  3. Utwórz projekt U-SQL, wybierając pozycję Plik>nowy>projekt. Projekt znajduje się w węźleU-SQLusługi Azure Data Lake>.

    Data Lake Tools for Visual Studio — tworzenie projektu bazy danych U-SQL

  4. Dodaj odwołanie do projektu biblioteki klas języka C# dla projektu bazy danych U-SQL.

    Data Lake Tools for Visual Studio — dodawanie dokumentacji

    Data Lake Tools for Visual Studio — dodawanie dokumentacji projektu bazy danych U-SQL

  5. Utwórz skrypt zestawu w projekcie bazy danych U-SQL, klikając prawym przyciskiem myszy projekt i wybierając polecenie Dodaj nowy element.

    Data Lake Tools for Visual Studio — dodawanie skryptu zestawu

  6. Otwórz skrypt zestawu w widoku projektu zestawu. Wybierz zestaw, do których odwołuje się odwołanie, z menu rozwijanego Utwórz zestaw z odwołania .

    Narzędzia Data Lake Tools for Visual Studio — tworzenie zestawu na podstawie dokumentacji

  7. Dodaj zależności zarządzane i dodatkowe pliki, jeśli istnieją. Po dodaniu dodatkowych plików narzędzie używa ścieżki względnej, aby upewnić się, że można znaleźć zestawy na maszynie lokalnej i na maszynie kompilacji później.

@_DeployTempDirectory w oknie edytora u dołu jest wstępnie zdefiniowaną zmienną, która wskazuje narzędzie do folderu danych wyjściowych kompilacji. W folderze danych wyjściowych kompilacji każdy zestaw ma podfolder o nazwie z nazwą zestawu. Wszystkie biblioteki DLL i dodatkowe pliki znajdują się w tym podfolderze.

Tworzenie projektu bazy danych U-SQL

Dane wyjściowe kompilacji dla projektu bazy danych U-SQL to pakiet wdrożeniowy bazy danych U-SQL. Ma ona nazwę z sufiksem .usqldbpack. Pakiet .usqldbpack jest plikiem .zip zawierającym wszystkie instrukcje DDL w jednym skrypcie U-SQL w folderze DDL. Wszystkie skompilowane pliki .dll i dodatkowe pliki dla zestawów znajdują się w folderze Temp.

Wdrażanie bazy danych U-SQL

Pakiet .usqldbpack można wdrożyć na koncie lokalnym lub na koncie usługi Azure Data Lake Analytics. Użyj programu Visual Studio lub zestawu SDK wdrażania.

Wdrażanie bazy danych U-SQL w programie Visual Studio

Bazę danych U-SQL można wdrożyć przy użyciu projektu bazy danych U-SQL lub .usqldbpack pakietu w programie Visual Studio.

Wdrażanie przy użyciu projektu bazy danych U-SQL

  1. Kliknij prawym przyciskiem myszy projekt bazy danych U-SQL, a następnie wybierz polecenie Wdróż.

  2. W kreatorze Wdrażanie SQL Database U-SQL Database wybierz konto usługi ADLA, do którego chcesz wdrożyć bazę danych. Obsługiwane są zarówno konta lokalne, jak i konta ADLA.

  3. Źródło bazy danych jest wypełniane automatycznie. Wskazuje pakiet .usqldbpack w folderze wyjściowym kompilacji projektu.

  4. Wprowadź nazwę w polu Nazwa bazy danych , aby utworzyć bazę danych. Jeśli baza danych o tej samej nazwie już istnieje na docelowym koncie usługi Azure Data Lake Analytics, wszystkie obiekty zdefiniowane w projekcie bazy danych są tworzone bez ponownego tworzenia bazy danych.

  5. Aby wdrożyć bazę danych U-SQL, wybierz pozycję Prześlij. Wszystkie zasoby, takie jak zestawy i dodatkowe pliki, są przekazywane. Przesłane jest zadanie U-SQL, które zawiera wszystkie instrukcje DDL.

    Data Lake Tools for Visual Studio — wdrażanie projektu bazy danych U-SQL

    Data Lake Tools for Visual Studio — kreator projektu bazy danych U-SQL

Wdrażanie bazy danych U-SQL w usłudze Azure DevOps

PackageDeploymentTool.exe Udostępnia interfejsy programowania i wiersza polecenia, które ułatwiają wdrażanie baz danych U-SQL. Zestaw SDK znajduje się w pakiecie NuGet zestawu U-SQL SDK znajdującym się w build/runtime/PackageDeploymentTool.exelokalizacji .

W usłudze Azure DevOps możesz użyć zadania wiersza polecenia i tego zestawu SDK do skonfigurowania potoku automatyzacji na potrzeby odświeżania bazy danych U-SQL. Dowiedz się więcej o zestawie SDK i sposobie konfigurowania potoku ciągłej integracji/ciągłego wdrażania na potrzeby wdrażania bazy danych U-SQL.

Następne kroki