Spouštění balíčků SSIS v Azure z SSDT

Článek
05/15/2024

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Tento článek popisuje funkci projektů SSIS (SQL Server Integration Services) s podporou Azure v SQL Server Data Tools (SSDT). Umožňuje vyhodnotit kompatibilitu cloudu vašich balíčků SSIS a spouštět je v prostředí Azure-SSIS Integration Runtime (IR) ve službě Azure Data Factory (ADF). Tuto funkci můžete použít k otestování stávajících balíčků před metodou "lift&shift/migrate" do Azure nebo k vývoji nových balíčků pro spuštění v Azure.

Pomocí této funkce můžete k projektům SSIS připojit nově vytvořené nebo existující prostředí Azure-SSIS IR a pak na něm spustit balíčky. Podporujeme spouštění balíčků, které se mají nasadit do katalogu SSIS (SSISDB) hostovaného vaším serverem služby Azure SQL Database nebo spravovanou instancí v modelu nasazení projektu. Podporujeme také spouštění balíčků, které se mají nasadit do systému souborů, do databáze Azure Files/SQL Serveru (MSDB) hostované vaší spravovanou instancí Azure SQL v modelu nasazení balíčků.

Požadavky

Pokud chcete tuto funkci použít, stáhněte a nainstalujte nejnovější SSDT s rozšířením SSIS Projects pro Visual Studio (VS) odsud. Alternativně si můžete stáhnout a nainstalovat nejnovější SSDT jako samostatný instalační program odtud.

Projekty SSIS s povolením Azure

Vytváření nových projektů SSIS s podporou Azure

V SSDT můžete vytvářet nové projekty SSIS s podporou Azure pomocí šablony Projektu integračních služeb (s podporou Azure).

New Azure-enabled SSIS project

Po vytvoření projektu s podporou Azure se zobrazí výzva k připojení ke službě SSIS ve službě Azure Data Factory.

Connect Azure-SSIS IR prompt

Pokud se chcete hned připojit k prostředí Azure-SSIS IR, další podrobnosti najdete v tématu Připojení azure-SSIS IR. Později se můžete připojit také tak, že kliknete pravým tlačítkem myši na uzel projektu v okně Průzkumník řešení SSDT a zobrazí se nabídka. Dále v podnabídce služby Azure Data Factory v podnabídce služby Azure Data Factory vyberte Připojení do služby SSIS.

Povolení stávajících projektů SSIS v Azure

U existujících projektů SSIS je můžete povolit pomocí následujících kroků:

Kliknutím pravým tlačítkem myši na uzel projektu v okně Průzkumník řešení SSDT otevřete nabídku. Potom v podnabídce Azure Data Factory v podnabídce Azure Data Factory vyberte položku projektu s podporou Azure a spusťte Průvodce projektem s podporou Azure.
Na stránce Vybrat konfiguraci sady Visual Studio vyberte existující konfiguraci VS, aby se použila nastavení spouštění balíčků v Azure. Pokud jste to ještě neudělali, můžete také vytvořit novou, viz Vytvoření nové konfigurace VS. Doporučujeme mít aspoň dvě různé konfigurace VS pro spouštění balíčků v místním a cloudovém prostředí, abyste mohli projekt povolit v cloudové konfiguraci. Pokud jste tímto způsobem parametrizovali projekt nebo balíčky, můžete přiřadit k projektu nebo parametrům balíčku různé hodnoty za běhu v závislosti na různých spouštěcích prostředích (buď na místním počítači, nebo v Azure). Příklad najdete v tématu Přepínání prostředí spouštění balíčků.
Povolení azure pro vaše stávající projekty SSIS vyžaduje, abyste nastavili jejich verzi cílového serveru tak, aby byla nejnovější podporovaná prostředím Azure-SSIS IR. Prostředí Azure-SSIS IR je v současné době založené na SQL Serveru 2017. Ujistěte se, že vaše balíčky neobsahují další komponenty, které nejsou podporovány na SQL Serveru 2017. Ujistěte se také, že všechny kompatibilní další komponenty byly také nainstalovány do prostředí Azure-SSIS IR prostřednictvím vlastních nastavení, viz Přizpůsobení prostředí Azure-SSIS IR. Pokračujte výběrem tlačítka Další.
Pokud chcete dokončit připojení projektu k Prostředí Azure-SSIS IR, přečtěte si Připojení.

Připojení projekty s podporou Azure do služby SSIS ve službě Azure Data Factory

Připojením projektů s podporou Azure ke službě SSIS v ADF můžete nahrávat balíčky do služby Azure Files a spouštět je v prostředí Azure-SSIS IR. Můžete to provést pomocí následujícího postupu:

Na úvodní stránce služby SSIS v ADF si projděte úvod a pokračujte výběrem tlačítka Další.
Na stránce Vybrat prostředí SSIS IR v ADF vyberte existující ADF a Azure-SSIS IR, abyste mohli spouštět balíčky. Nové můžete vytvořit také v případě, že žádné nemáte.
- Pokud chcete vybrat stávající prostředí Azure-SSIS IR, nejprve vyberte příslušné předplatné Azure a ADF.
- Pokud vyberete stávající ADF, která nemá žádné prostředí Azure-SSIS IR, vyberte tlačítko Vytvořit prostředí SSIS IR a vytvořte nový na portálu ADF. Po vytvoření se můžete vrátit na tuto stránku a vybrat nové prostředí Azure-SSIS IR.
- Pokud vyberete stávající předplatné Azure, které nemá ADF, vyberte tlačítko Vytvořit prostředí SSIS IR a spusťte Průvodce vytvořením prostředí Integration Runtime. V průvodci můžete zadat určené umístění a předponu, abychom mohli automaticky vytvořit novou skupinu prostředků Azure, službu Data Factory a prostředí SSIS IR vaším jménem s názvem v následujícím vzoru: YourPrefix-RG/DF/IR-YourCreationTime. Po vytvoření se můžete vrátit na tuto stránku a vybrat novou službu ADF a Azure-SSIS IR.
Na stránce Vybrat službu Azure Storage vyberte existující účet Azure Storage a nahrajte balíčky do služby Azure Files. Pokud žádný nemáte, můžete si také vytvořit nový.
- Pokud chcete vybrat stávající účet Azure Storage, nejprve vyberte příslušné předplatné Azure.
- Pokud vyberete stejné předplatné Azure jako prostředí Azure-SSIS IR, které nemá žádný účet Azure Storage, vyberte tlačítko Vytvořit azure Storage . Automaticky vytvoříme nový jménem ve stejném umístění jako prostředí Azure-SSIS IR s názvem zkombinováním předpony názvu prostředí Azure-SSIS IR a data jejího vytvoření. Po vytvoření se můžete vrátit na tuto stránku a vybrat nový účet Azure Storage.
- Pokud vyberete jiné předplatné Azure, které nemá žádný účet Azure Storage, vyberte tlačítko Vytvořit azure Storage a vytvořte nové na webu Azure Portal. Po vytvoření se můžete vrátit na tuto stránku a vybrat nový účet Azure Storage.
Výběrem tlačítka Připojení dokončete připojení projektu k prostředí Azure-SSIS IR. Ve Průzkumník řešení okně SSDT zobrazíme vybraný účet Azure-SSIS IR a Azure Storage v uzlu Propojené prostředky Azure. Pravidelně také aktualizujeme a zobrazíme stav prostředí Azure-SSIS IR. Prostředí Azure-SSIS IR můžete spravovat tak, že kliknete pravým tlačítkem na jeho uzel, zobrazí se místní nabídka a pak vyberete položku Start\Stop\Manage , která vás přenese na portál ADF.

Posouzení spuštění projektu/balíčků SSIS v Azure

Posouzení jednoho nebo více balíčků

Než začnete spouštět balíčky v Azure, můžete je posoudit, abyste mohli zjistit případné problémy s kompatibilitou cloudu. Patří sem blokátory migrace a další informace, o které byste měli vědět.

V rámci projektu máte možnost vyhodnotit jednotlivé balíčky po jednom nebo všech balíčcích najednou.
V okně Sestava posouzení SSDT najdete všechny potenciální problémy s kompatibilitou cloudu, které se objeví, z nichž každá má vlastní podrobný popis a doporučení. Sestavu posouzení můžete také exportovat do souboru CSV, který se dá sdílet s kýmkoli, kdo by tyto problémy měl zmírnit.

Potlačení pravidel posouzení

Jakmile budete mít jistotu, že některé potenciální problémy s kompatibilitou cloudu nejsou použitelné nebo jsou ve vašich balíčcích správně zmírněny, můžete potlačit příslušná pravidla posouzení, která je zobrazí. Tím se sníží šum v následných sestavách posouzení.

Výběrem odkazu Konfigurovat potlačení pravidla posouzení v okně sestavy posouzení SSDT otevřete okno potlačení pravidla posouzení Nastavení, kde můžete vybrat pravidla posouzení, která chcete potlačit.
Případně kliknutím pravým tlačítkem myši na uzel projektu v okně Průzkumník řešení SSDT otevřete nabídku. Výběrem položky Nastavení s podporou Azure v podnabídce služby Azure Data Factory v Azure Data Factory zobrazíte okno obsahující stránky vlastností projektu. V části Nastavení s podporou Azure vyberte vlastnost ID potlačeného pravidla posouzení. Nakonec výběrem tlačítka se třemi tečky (...) zobrazíte okno potlačení pravidla posouzení Nastavení, kde můžete vybrat pravidla posouzení, která chcete potlačit.

Spouštění balíčků SSIS v Azure

Konfigurace nastavení s podporou Azure

Před spuštěním balíčků v Azure můžete pro ně nakonfigurovat nastavení s podporou Azure. Ověřování Windows můžete například povolit v prostředí Azure-SSIS IR pro přístup k místním nebo cloudovým úložištím dat pomocí následujícího postupu:

Kliknutím pravým tlačítkem myši na uzel projektu v okně Průzkumník řešení SSDT otevřete nabídku. Potom v podnabídce Azure Data Factory v podnabídce Azure Data Factory vyberte položku Nastavení s podporou Azure, která obsahuje stránky vlastností projektu.
V části Nastavení s podporou Azure vyberte vlastnost Povolit ověřování systému Windows a pak v rozevírací nabídce vyberte True. Dále vyberte vlastnost Přihlašovací údaje ověřování systému Windows a pak vyberte tlačítko se třemi tečky (...) a otevřete okno Přihlašovací údaje pro ověřování systému Windows.
Zadejte svoje přihlašovací údaje pro ověřování systému Windows. Pokud například chcete získat přístup ke službě Azure Files, můžete zadat , a pro doménu, uživatelské jméno a heslo.YourStorageAccountKeyYourStorageAccountNameAzure

Spouštění balíčků

Po připojení projektů s podporou Azure ke službě SSIS v ADF, vyhodnocení jejich kompatibility v cloudu a zmírnění potenciálních problémů můžete spouštět a testovat balíčky v prostředí Azure-SSIS IR.

Výběrem tlačítka Start na panelu nástrojů SSDT rozbalte nabídku. Dále vyberte spustit v položce Azure .
Případně můžete kliknout pravým tlačítkem myši na uzel balíčku v okně Průzkumník řešení SSDT a otevřít nabídku. V dalším kroku vyberte v položce Azure spustit balíček.

Poznámka:

Spouštění balíčků v Azure vyžaduje, abyste měli spuštěné prostředí Azure-SSIS IR, takže pokud je prostředí Azure-SSIS IR zastavené, otevře se dialogové okno, ve kterém se spustí. Kromě času vlastní instalace by se tento proces měl dokončit do 5 minut, ale může trvat přibližně 20 až 30 minut, než se Azure-SSIS IR připojí k virtuální síti. Po spuštění balíčků v Azure můžete prostředí Azure-SSIS IR zastavit, abyste mohli spravovat provozní náklady tak, že v okně Průzkumník řešení okně SSDT kliknete pravým tlačítkem myši na jeho uzel. Otevře se nabídka a pak vyberete položku Start\Stop\Manage, která vás přes portál ADF provede.

Použití úlohy spustit balíček

Pokud balíčky obsahují úlohy spouštění balíčků, které odkazují na podřízené balíčky uložené v místních systémech souborů, postupujte podle těchto dalších kroků:

Nahrajte podřízené balíčky do služby Azure Files pod stejným účtem Azure Storage, který je připojený k vašim projektům, a získejte novou cestu UNC (Universal Naming Convention), např. \\YourStorageAccountName.file.core.windows.net\ssdtexecution\YourChildPackage1.dtsx
Nahraďte cestu k souboru těchto podřízených balíčků ve Správci Připojení ion správce provádění úloh balíčku novou cestou UNC.
- Pokud místní počítač, na kterém běží SSDT, nemá přístup k nové cestě UNC, můžete ho zadat na panelu Vlastnosti ve Správci Připojení ionu souborů.
- Alternativně můžete pro cestu k souboru použít proměnnou, která přiřadí správnou hodnotu za běhu.

Pokud balíčky obsahují úkoly provádění balíčků, které odkazují na podřízené balíčky ve stejném projektu, není nutné provádět žádné další kroky.

Přepnutí úrovně ochrany balíčků

Spouštění balíčků SSIS v Azure nepodporuje úrovně ochrany EncryptSensitiveWithUserKey/EncryptAllWithUserKey. Pokud jsou vaše balíčky nakonfigurované tak, aby je používaly, dočasně je převedeme na úrovně ochrany EncryptSensitiveWithPassword/EncryptAllWithPassword. Také náhodně vygenerujeme šifrovací hesla, když balíčky nahrajeme do služby Azure Files pro provádění v prostředí Azure-SSIS IR.

Poznámka:

Pokud balíčky obsahují úlohy spouštění balíčků, které odkazují na podřízené balíčky nakonfigurované tak, aby používaly úrovně ochrany EncryptSensitiveWithUserKey EncryptAllWithUserKey/, musíte tyto podřízené balíčky ručně překonfigurovat tak, aby používaly úrovně ochrany EncryptSensitiveWithPassword/EncryptAllWithPassword, v uvedeném pořadí, před spuštěním balíčků.

Pokud už jsou vaše balíčky nakonfigurované tak, aby používaly úrovně ochrany EncryptSensitiveWithPassword/EncryptAllWithPassword, zachováme je beze změny. Když balíčky nahrajeme do služby Azure Files, budeme stále náhodně generovat šifrovací hesla, abychom mohli s využitím azure-SSIS IR s využitím služby Azure-SSIS IR schovat.

Přepínání prostředí spouštění balíčků

Pokud parametrizujete projekt nebo balíčky v modelu nasazení projektu, můžete vytvořit několik konfigurací VS pro přepnutí prostředí spouštění balíčků. Tímto způsobem můžete přiřadit hodnoty specifické pro prostředí k parametrům projektu nebo balíčku za běhu. Doporučujeme mít aspoň dvě různé konfigurace VS pro spouštění balíčků v místním a cloudovém prostředí, abyste mohli projekty povolit v cloudové konfiguraci. Tady je podrobný příklad přepínání prostředí spouštění balíčků mezi místním počítačem a Azure:

Řekněme, že váš balíček obsahuje úlohu systému souborů, která nastavuje atributy souboru. Když ho spustíte na místním počítači, nastaví atributy souboru uloženého v místním systému souborů. Když ho spustíte v prostředí Azure-SSIS IR, chcete, aby nastavil atributy souboru uloženého v Azure Files. Nejprve vytvořte parametr balíčku typu řetězce a pojmenujte jej FilePath , aby se dodržel hodnota cílové cesty k souboru.
Dále na stránce Obecné v okně Editor úloh systému souborů parametrizovat SourceVariable vlastnost SourceVariable v části Source Připojení ion s parametrem balíčku FilePath.
Ve výchozím nastavení máte existující konfiguraci VS pro spouštění balíčků v místním prostředí s názvem Vývoj. Vytvořte novou konfiguraci VS pro spouštění balíčků v cloudovém prostředí Azure. Pokud jste to ještě neudělali, přečtěte si téma Vytvoření nové konfigurace VS.
Při prohlížení parametrů balíčku vyberte tlačítko Přidat parametry do konfigurace a otevřete okno Spravovat hodnoty parametrů pro váš balíček. Dále přiřaďte k parametru balíčku FilePath v konfiguraci Development a Azure různé hodnoty cesty k cílovému souboru.
Pokud jste to ještě neudělali, povolte projekt v Azure s konfigurací cloudu. Pokud jste to ještě neudělali, prohlédni si Azure a povolte stávající projekty SSIS. Dále nakonfigurujte nastavení s podporou Azure, aby pro azure-SSIS IR povolilo ověřování Windows pro přístup ke službě Azure Files. Pokud jste to ještě neudělali, přečtěte si téma Konfigurace nastavení s podporou Azure.
Spusťte balíček v Azure. Spouštěcí prostředí balíčku můžete přepnout zpět na místní počítač výběrem konfigurace Vývoj .

Použití konfiguračního souboru balíčku

Pokud v modelu nasazení balíčku používáte konfigurační soubory balíčku, můžete vlastnosti balíčku přiřadit vlastnosti balíčku specifické pro prostředí za běhu. Tyto soubory automaticky nahrajeme s vašimi balíčky do služby Azure Files, abychom mohli spustit prostředí Azure-SSIS IR.

Kontrola protokolů spuštění balíčku

Po spuštění balíčku naformátujeme a zobrazíme jeho protokoly v okně Průběh SSDT. U dlouhotrvajícího balíčku budeme pravidelně aktualizovat protokoly o minutách. Spuštění balíčku můžete okamžitě zrušit výběrem tlačítka Zastavit na panelu nástrojů SSDT. Nezpracovaná data protokolů můžete také dočasně najít v následující cestě UNC: \\<YourStorageAccountName>.file.core.windows.net\ssdtexecution\<YourProjectName-FirstConnectTime>\<YourPackageName-tmp-ExecutionTime>\logs, ale po jednom dni je vyčistíme.

Aktuální omezení

SSDT s podporou Azure podporuje pouze komerční nebo globální cloudové oblasti a zatím nepodporuje vládní nebo národní cloudové oblasti.