Wykonywanie pakietów usług SSIS na platformie Azure z poziomu programu SSDT

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Napiwek

Wypróbuj usługę Data Factory w usłudze Microsoft Fabric — rozwiązanie analityczne typu all-in-one dla przedsiębiorstw. Usługa Microsoft Fabric obejmuje wszystko, od przenoszenia danych do nauki o danych, analizy w czasie rzeczywistym, analizy biznesowej i raportowania. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

W tym artykule opisano funkcję projektów usług SQL Server Integration Services (SSIS) z obsługą platformy Azure w narzędziach SQL Server Data Tools (SSDT). Umożliwia ona ocenę zgodności chmury pakietów usług SSIS i uruchamianie ich w środowisku Azure-SSIS Integration Runtime (IR) w usłudze Azure Data Factory (ADF). Za pomocą tej funkcji można przetestować istniejące pakiety przed przeniesieniem/migracją ich na platformę Azure lub opracowanie nowych pakietów do uruchomienia na platformie Azure.

Dzięki tej funkcji możesz dołączyć nowo utworzone/istniejące środowisko Azure-SSIS IR do projektów SSIS, a następnie wykonać na nim pakiety. Obsługujemy uruchamianie pakietów, które mają być wdrażane w katalogu usług SSIS (SSISDB) hostowanym przez serwer usługi Azure SQL Database lub wystąpienie zarządzane w modelu wdrażania projektu. Obsługujemy również uruchamianie pakietów do wdrożenia w systemie plików/bazie danych Azure Files/SQL Server (MSDB) hostowanej przez wystąpienie zarządzane usługi Azure SQL w modelu wdrażania pakietów.

Wymagania wstępne

Aby użyć tej funkcji, pobierz i zainstaluj najnowszą wersję programu SSDT z rozszerzeniem SSIS Projects dla programu Visual Studio (VS) z tego miejsca. Alternatywnie możesz również pobrać i zainstalować najnowszy dysk SSDT jako autonomiczny instalator z tego miejsca.

Projekty usług SSIS z obsługą platformy Azure

Tworzenie nowych projektów usług SSIS z obsługą platformy Azure

W programie SSDT można tworzyć nowe projekty usług SSIS z obsługą platformy Azure przy użyciu szablonu Projekt usług Integration Services (z obsługą platformy Azure).

Po utworzeniu projektu z obsługą platformy Azure zostanie wyświetlony monit o nawiązanie połączenia z usługą SSIS w usłudze Azure Data Factory.

Jeśli chcesz nawiązać połączenie z środowiskiem Azure-SSIS IR od razu, zobacz Połączenie do środowiska Azure-SSIS IR, aby uzyskać więcej informacji. Możesz również nawiązać połączenie później, klikając prawym przyciskiem myszy węzeł projektu w oknie Eksplorator rozwiązań narzędzi SSDT, aby otworzyć menu. Następnie wybierz Połączenie do usługi SSIS w elemencie Azure Data Factory w usłudze SSIS w podmenu usługi Azure Data Factory.

Włączanie istniejących projektów usług SSIS na platformie Azure

W przypadku istniejących projektów usług SSIS można je włączyć na platformie Azure, wykonując następujące kroki:

1. Kliknij prawym przyciskiem myszy węzeł projektu w oknie Eksplorator rozwiązań narzędzi SSDT, aby otworzyć menu. Następnie wybierz element Projekt z obsługą platformy Azure w usłudze SSIS w podmenu usługi Azure Data Factory, aby uruchomić Kreatora projektów z obsługą platformy Azure.

   

2. Na stronie Wybieranie konfiguracji programu Visual Studio wybierz istniejącą konfigurację programu VS, aby zastosować ustawienia wykonywania pakietów na platformie Azure. Możesz również utworzyć nowy, jeśli jeszcze tego nie zrobiono, zobacz Tworzenie nowej konfiguracji programu VS. Zalecamy posiadanie co najmniej dwóch różnych konfiguracji programu VS na potrzeby wykonywania pakietów w środowiskach lokalnych i w chmurze, dzięki czemu można włączyć projekt na platformie Azure względem konfiguracji chmury. W ten sposób, jeśli sparametryzujesz projekt lub pakiety, możesz przypisać różne wartości do projektu lub parametrów pakietu w czasie wykonywania na podstawie różnych środowisk wykonywania (na komputerze lokalnym lub na platformie Azure). Na przykład zobacz Przełączanie środowisk wykonywania pakietu.

   

3. Włączenie platformy Azure istniejących projektów usług SSIS wymaga ustawienia ich wersji serwera docelowego na najnowszą obsługiwaną przez środowisko Azure-SSIS IR. Środowisko Azure-SSIS IR jest obecnie oparte na programie SQL Server 2017. Upewnij się, że pakiety nie zawierają dodatkowych składników, które nie są obsługiwane w programie SQL Server 2017. Upewnij się również, że wszystkie zgodne dodatkowe składniki zostały również zainstalowane w ramach środowiska Azure-SSIS IR za pośrednictwem konfiguracji niestandardowych, zobacz Dostosowywanie środowiska Azure-SSIS IR. Wybierz przycisk Dalej, aby kontynuować.

   

4. Zobacz Połączenie z środowiskiem Azure-SSIS IR, aby ukończyć łączenie projektu z środowiskiem Azure-SSIS IR.

Połączenie projektów z obsługą platformy Azure do usług SSIS w usłudze Azure Data Factory

Łącząc projekty z obsługą platformy Azure z usługą SSIS w usłudze ADF, możesz przekazać pakiety do usługi Azure Files i uruchomić je w środowisku Azure-SSIS IR. Możesz to zrobić, wykonując następujące czynności:

1. Na stronie Wprowadzenie do usług SSIS w usłudze ADF przejrzyj wprowadzenie i wybierz przycisk Dalej , aby kontynuować.

   

2. Na stronie Wybieranie środowiska SSIS IR w usłudze ADF wybierz istniejące środowisko ADF i Azure-SSIS IR, aby uruchamiać pakiety. Możesz również utworzyć nowe, jeśli nie masz żadnych.

   • Aby wybrać istniejące środowisko Azure-SSIS IR, najpierw wybierz odpowiednią subskrypcję platformy Azure i usługę ADF.
   • Jeśli wybierzesz istniejącą usługę ADF, która nie ma żadnego środowiska Azure-SSIS IR, wybierz przycisk Utwórz środowisko SSIS IR , aby utworzyć nowy w portalu usługi ADF. Po utworzeniu możesz wrócić do tej strony, aby wybrać nowe środowisko Azure-SSIS IR.
   • Jeśli wybierzesz istniejącą subskrypcję platformy Azure, która nie ma żadnej usługi ADF, wybierz przycisk Utwórz środowisko SSIS IR , aby uruchomić Kreatora tworzenia środowiska Integration Runtime. W kreatorze możesz wprowadzić wyznaczoną lokalizację i prefiks, aby automatycznie utworzyć nową grupę zasobów platformy Azure, usługę Data Factory i środowisko SSIS IR w Twoim imieniu o nazwie w następującym wzorcu: YourPrefix-RG/DF/IR-YourCreationTime. Po utworzeniu możesz wrócić do tej strony, aby wybrać nowe środowisko ADF i Azure-SSIS IR.

   

3. Na stronie Wybieranie usługi Azure Storage wybierz istniejące konto usługi Azure Storage , aby przekazać pakiety do usługi Azure Files. Możesz również utworzyć nowy, jeśli nie masz żadnego.

   • Aby wybrać istniejące konto usługi Azure Storage, najpierw wybierz odpowiednią subskrypcję platformy Azure.
   • Jeśli wybierzesz tę samą subskrypcję platformy Azure co środowisko Azure-SSIS IR, które nie ma żadnego konta usługi Azure Storage, wybierz przycisk Utwórz usługę Azure Storage . Automatycznie utworzymy nowy w Twoim imieniu w tej samej lokalizacji co środowisko Azure-SSIS IR o nazwie, łącząc prefiks nazwy środowiska Azure-SSIS IR i jego datę utworzenia. Po utworzeniu możesz wrócić do tej strony, aby wybrać nowe konto usługi Azure Storage.
   • Jeśli wybierzesz inną subskrypcję platformy Azure, która nie ma żadnego konta usługi Azure Storage, wybierz przycisk Utwórz usługę Azure Storage , aby utworzyć nową subskrypcję w witrynie Azure Portal. Po utworzeniu możesz wrócić do tej strony, aby wybrać nowe konto usługi Azure Storage.

   

4. Wybierz przycisk Połączenie, aby zakończyć łączenie projektu z środowiskiem Azure-SSIS IR. W Eksplorator rozwiązań oknie narzędzi SSDT wyświetlimy wybrane konto środowiska Azure-SSIS IR i usługi Azure Storage w węźle Połączone zasoby platformy Azure. Będziemy również regularnie odświeżać i wyświetlać stan środowiska Azure-SSIS IR. Możesz zarządzać środowiskiem Azure-SSIS IR, klikając prawym przyciskiem myszy jego węzeł, aby otworzyć menu, a następnie wybierając element Start\Stop\Manage , który spowoduje przejście do portalu usługi ADF, aby to zrobić.

Ocena projektu SSIS\packages pod kątem wykonywania na platformie Azure

Ocenianie pojedynczych lub wielu pakietów

Przed wykonaniem pakietów na platformie Azure możesz ocenić je, aby wyświetlić wszelkie potencjalne problemy ze zgodnością z chmurą. Obejmują one blokady migracji i dodatkowe informacje, o których należy pamiętać.

• Dostępne są opcje oceny pojedynczych pakietów jeden po jednym lub wszystkich pakietach w tym samym czasie w projekcie.

  

  

• W oknie Raport oceny narzędzia SSDT można znaleźć wszystkie potencjalne problemy ze zgodnością chmury, z których każdy ma własny szczegółowy opis i zalecenie. Możesz również wyeksportować raport oceny do pliku CSV, który może być udostępniany każdemu, kto powinien rozwiązać te problemy.

  

Pomijanie reguł oceny

Po upewnieniu się, że niektóre potencjalne problemy ze zgodnością z chmurą nie mają zastosowania lub zostały prawidłowo rozwiązane w pakietach, możesz pominąć odpowiednie reguły oceny, które je uwidoczają. Spowoduje to zmniejszenie szumu w kolejnych raportach oceny.

• Wybierz link Konfiguruj pomijanie reguły oceny w oknie Raport oceny narzędzia SSDT, aby otworzyć okno Pomijanie reguły oceny Ustawienia, w którym można wybrać reguły oceny, aby pominąć.

  

• Alternatywnie kliknij prawym przyciskiem myszy węzeł projektu w oknie Eksplorator rozwiązań narzędzi SSDT, aby wyświetlić menu. Wybierz element Ustawienia z obsługą platformy Azure w podmenu usługi SSIS w usłudze Azure Data Factory, aby otworzyć okno zawierające strony właściwości projektu. Wybierz właściwość Pominięte identyfikatory reguł oceny w sekcji Ustawienia z obsługą platformy Azure. Na koniec wybierz przycisk wielokropka (...), aby otworzyć okno Pomijanie reguły oceny Ustawienia, w którym można wybrać reguły oceny, aby pominąć.

  

  

Wykonywanie pakietów usług SSIS na platformie Azure

Konfigurowanie ustawień z obsługą platformy Azure

Przed wykonaniem pakietów na platformie Azure możesz skonfigurować dla nich ustawienia z obsługą platformy Azure. Na przykład możesz włączyć uwierzytelnianie systemu Windows w środowisku Azure-SSIS IR w celu uzyskania dostępu do lokalnych/w chmurze magazynów danych, wykonując następujące kroki:

1. Kliknij prawym przyciskiem myszy węzeł projektu w oknie Eksplorator rozwiązań narzędzi SSDT, aby otworzyć menu. Następnie wybierz element Ustawienia z obsługą platformy Azure w usłudze SSIS w podmenu usługi Azure Data Factory, aby otworzyć okno zawierające strony właściwości projektu.

   

2. Wybierz właściwość Włącz uwierzytelnianie systemu Windows w sekcji Ustawienia z obsługą platformy Azure, a następnie wybierz pozycję True w menu rozwijanym. Następnie wybierz właściwość Poświadczenia uwierzytelniania systemu Windows, a następnie wybierz przycisk wielokropka (...), aby otworzyć okno Poświadczenia uwierzytelniania systemu Windows.

   

3. Wprowadź poświadczenia uwierzytelniania systemu Windows. Aby na przykład uzyskać dostęp do usługi Azure Files, możesz wprowadzić wartości , i odpowiednio w polach Domena, Nazwa użytkownika i Hasło.YourStorageAccountKeyYourStorageAccountNameAzure

   

Uruchamianie wykonywania pakietów

Po połączeniu projektów z obsługą platformy Azure z usługą SSIS w usłudze ADF, ocenie ich zgodności z chmurą i usunięciu potencjalnych problemów możesz wykonać/przetestować pakiety w środowisku Azure-SSIS IR.

• Wybierz przycisk Start na pasku narzędzi SSDT, aby utworzyć menu. Następnie wybierz element Wykonaj na platformie Azure .

  

• Alternatywnie kliknij prawym przyciskiem myszy węzeł pakietu w oknie Eksplorator rozwiązań narzędzi SSDT, aby wyświetlić menu. Następnie wybierz element Execute Package in Azure (Wykonaj pakiet na platformie Azure ).

  

Uwaga

Wykonanie pakietów na platformie Azure wymaga uruchomienia środowiska Azure-SSIS IR, więc jeśli środowisko Azure-SSIS IR zostanie zatrzymane, zostanie wyświetlone okno dialogowe, aby go uruchomić. Z wyłączeniem dowolnego czasu konfiguracji niestandardowej ten proces powinien zostać ukończony w ciągu 5 minut, ale może upłynąć około 20–30 minut, zanim środowisko Azure-SSIS IR dołączy do sieci wirtualnej. Po wykonaniu pakietów na platformie Azure możesz zatrzymać środowisko Azure-SSIS IR, aby zarządzać kosztami działania, klikając prawym przyciskiem myszy węzeł w oknie Eksplorator rozwiązań narzędzia SSDT, aby otworzyć menu, a następnie wybrać element Start\Stop\Manage, który spowoduje przejście do portalu usługi ADF, aby to zrobić.

Korzystanie z zadania Wykonaj pakiet

Jeśli pakiety zawierają wykonywanie zadań pakietów odwołujących się do pakietów podrzędnych przechowywanych w lokalnych systemach plików, wykonaj następujące dodatkowe kroki:

1. Przekaż pakiety podrzędne do usługi Azure Files na tym samym koncie usługi Azure Storage połączonym z projektami i uzyskaj nową ścieżkę Universal Naming Convention (UNC), np. \\YourStorageAccountName.file.core.windows.net\ssdtexecution\YourChildPackage1.dtsx

2. Zastąp ścieżkę pliku tych pakietów podrzędnych w Menedżerze Połączenie ion plików wykonywania zadań pakietu nową ścieżką UNC

   • Jeśli maszyna lokalna z programem SSDT nie może uzyskać dostępu do nowej ścieżki UNC, możesz wprowadzić ją na panelu Właściwości Menedżera Połączenie ion plików
   • Alternatywnie możesz użyć zmiennej dla ścieżki pliku, aby przypisać odpowiednią wartość w czasie wykonywania

Jeśli pakiety zawierają zadania wykonywania pakietów odwołujące się do pakietów podrzędnych w tym samym projekcie, żaden dodatkowy krok nie jest konieczny.

Przełączanie poziomu ochrony pakietu

Wykonywanie pakietów SSIS na platformie Azure nie obsługuje poziomów ochrony EncryptSensitiveWithUserKey/EncryptAllWithUserKey. W związku z tym, jeśli pakiety są skonfigurowane do używania tych pakietów, tymczasowo przekonwertujemy je na użycie odpowiednio poziomów ochrony EncryptSensitiveWithPassword EncryptAllWithPassword/. W przypadku przekazywania pakietów do usługi Azure Files na potrzeby wykonywania środowiska Azure-SSIS IR będziemy również losowo generować hasła szyfrowania.

Uwaga

Jeśli pakiety zawierają poziomy ochrony Execute Package Tasks odwołujące się do pakietów podrzędnych skonfigurowanych do używania poziomów ochrony EncryptSensitiveWithUserKey EncryptAllWithUserKey/, należy ręcznie ponownie skonfigurować te pakiety podrzędne, aby używać odpowiednio poziomów ochrony EncryptSensitiveWithPassword EncryptAllWithPassword./

Jeśli pakiety są już skonfigurowane do używania poziomów ochrony EncryptSensitiveWithPassword/EncryptAllWithPassword, zachowamy je bez zmian. Nadal losowo wygenerujemy hasła szyfrowania podczas przekazywania pakietów do usługi Azure Files na potrzeby wykonywania w twoim ir Azure-SSIS.

Przełączanie środowisk wykonywania pakietu

Jeśli sparametryzujesz projekt/pakiety w modelu wdrażania projektu, możesz utworzyć wiele konfiguracji programu VS w celu przełączenia środowisk wykonywania pakietów. W ten sposób można przypisać wartości specyficzne dla środowiska do parametrów projektu/pakietu w czasie wykonywania. Zalecamy posiadanie co najmniej dwóch różnych konfiguracji programu VS na potrzeby wykonywania pakietów w środowiskach lokalnych i w chmurze, aby umożliwić korzystanie z projektów na platformie Azure w konfiguracji chmury. Oto szczegółowy przykład przełączania środowisk wykonywania pakietów między maszyną lokalną a platformą Azure:

1. Załóżmy, że pakiet zawiera zadanie systemu plików, które ustawia atrybuty pliku. Po uruchomieniu go na komputerze lokalnym ustawia atrybuty pliku przechowywanego w lokalnym systemie plików. Po uruchomieniu go w środowisku Azure-SSIS IR chcesz ustawić atrybuty pliku przechowywanego w usłudze Azure Files. Najpierw utwórz parametr pakietu typu ciągu i nadaj mu nazwę FilePath , aby przechowywać wartość docelowej ścieżki pliku.

   

2. Następnie na stronie Ogólne okna Edytor zadań systemu plików sparametryzuj właściwość SourceVariable w sekcji Source Połączenie ion za pomocą parametru pakietu FilePath.

   

3. Domyślnie masz istniejącą konfigurację programu VS na potrzeby wykonywania pakietów w środowisku lokalnym o nazwie Development. Utwórz nową konfigurację programu VS na potrzeby wykonywania pakietów w środowisku chmury o nazwie Azure, zobacz Tworzenie nowej konfiguracji programu VS, jeśli jeszcze tego nie zrobiono.

4. Podczas przeglądania parametrów pakietu wybierz przycisk Dodaj parametry do konfiguracji, aby otworzyć okno Zarządzanie wartościami parametrów dla pakietu. Następnie przypisz różne wartości docelowej ścieżki pliku do parametru pakietu FilePath w obszarze Konfiguracja programowania i platformy Azure .

   

5. Włącz projekt na platformie Azure względem konfiguracji chmury, zobacz Włączanie istniejących projektów usług SSIS na platformie Azure, jeśli jeszcze tego nie zrobiono. Następnie skonfiguruj ustawienia z obsługą platformy Azure, aby włączyć uwierzytelnianie systemu Windows dla środowiska Azure-SSIS IR w celu uzyskania dostępu do usługi Azure Files, zobacz Konfigurowanie ustawień z obsługą platformy Azure, jeśli jeszcze tego nie zrobiono.

6. Wykonaj pakiet na platformie Azure. Środowisko wykonawcze pakietu można przełączyć z powrotem na komputer lokalny, wybierając konfigurację programowania .

   

Korzystanie z pliku konfiguracji pakietu

Jeśli używasz plików konfiguracji pakietu w modelu wdrażania pakietów, możesz przypisać wartości specyficzne dla środowiska do właściwości pakietu w czasie wykonywania. Automatycznie przekażemy te pliki wraz z pakietami do usługi Azure Files w celu wykonania w twoim ir Azure-SSIS.

Sprawdzanie dzienników wykonywania pakietu

Po rozpoczęciu wykonywania pakietu sformatujemy i wyświetlimy jego dzienniki w oknie Postęp narzędzia SSDT. W przypadku długotrwałego pakietu okresowo będziemy aktualizować jego dzienniki o minuty. Możesz natychmiast anulować wykonywanie pakietu, wybierając przycisk Zatrzymaj na pasku narzędzi SSDT. Możesz również tymczasowo znaleźć nieprzetworzone dane swoich dzienników w następującej ścieżce UNC: \\<YourStorageAccountName>.file.core.windows.net\ssdtexecution\<YourProjectName-FirstConnectTime>\<YourPackageName-tmp-ExecutionTime>\logs, ale wyczyścimy je po jednym dniu.

Bieżące ograniczenia

• SsdT z obsługą platformy Azure obsługuje tylko regiony komercyjne/globalne chmury i nie obsługuje obecnie regionów chmury rządowej/krajowej.

Powiązana zawartość

Po zadowoleniu z uruchamiania pakietów na platformie Azure z narzędzi SSDT możesz wdrożyć je i uruchomić jako wykonywanie działań pakietu SSIS w potokach usługi ADF, zobacz Uruchamianie pakietów usług SSIS jako wykonywanie działań pakietu SSIS w potokach usługi ADF.