SSIS-csomagok végrehajtása az Azure-ban az SSDT-ből

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk az Sql Server Data Tools (SSDT) Azure-kompatibilis SQL Server Integration Services-projektjeinek funkcióját ismerteti. Segítségével felmérheti az SSIS-csomagok felhőkompatibilitását, és futtathatja őket az Azure Data Factory (ADF) Azure-SSIS Integration Runtime (IR) szolgáltatásában. Ezzel a funkcióval tesztelheti meglévő csomagjait, mielőtt áthelyezi vagy migrálja őket az Azure-ba, vagy új csomagokat fejleszthet az Azure-ban való futtatáshoz.

Ezzel a funkcióval egy újonnan létrehozott/meglévő Azure-SSIS integrációs modult csatolhat az SSIS-projektekhez, majd végrehajthatja rajta a csomagokat. Támogatjuk az Azure SQL Database-kiszolgáló vagy a Project Deployment Model felügyelt példánya által üzemeltetett SSIS-katalógusban (SSISDB) üzembe helyezendő csomagokat. Támogatjuk a fájlrendszerbe/Azure Files/SQL Server-adatbázisba (MSDB) üzembe helyezendő csomagokat is, amelyeket az Azure SQL felügyelt példánya üzemeltet a csomagterjesztési modellben.

Előfeltételek

A funkció használatához töltse le és telepítse a legújabb SSDT-t a Visual Studio (VS) SSIS Projects bővítményével. Másik lehetőségként innen is letöltheti és telepítheti a legújabb SSDT-t önálló telepítőként.

Azure-kompatibilis SSIS-projektek

Új Azure-kompatibilis SSIS-projektek létrehozása

Az SSDT-n új Azure-kompatibilis SSIS-projekteket hozhat létre az Integration Services Project (Azure-enabled) sablon használatával.

Az Azure-kompatibilis projekt létrehozása után a rendszer kérni fogja, hogy csatlakozzon az SSIS-hez az Azure Data Factoryben.

Ha azonnal csatlakozni szeretne az Azure-SSIS IR-hez, további részletekért lásd : Csatlakozás az Azure-SSIS IR-hez . Később is csatlakozhat, ha az SSDT Megoldáskezelő ablakában a jobb gombbal a projektcsomópontra kattint egy menü előugró ablakára. Ezután válassza a Csatlakozás az SSIS-hez az Azure Data Factory SSIS-ben elemében az Azure Data Factory almenüjében.

Meglévő SSIS-projektek Azure-beli engedélyezése

Meglévő SSIS-projektek esetén az Alábbi lépések végrehajtásával engedélyezheti az Azure-t:

1. Kattintson a jobb gombbal a projektcsomópontra az SSDT Megoldáskezelő ablakában egy menü előugraásához. Ezután válassza ki az Azure-kompatibilis projektelemet az SSIS-ben az Azure Data Factory almenüjében az Azure-kompatibilis projektvarázsló elindításához.

   

2. A Visual Studio konfigurációjának kiválasztása lapon válassza ki a meglévő VS-konfigurációt a csomagvégrehajtási beállítások Azure-ban való alkalmazásához. Újat is létrehozhat, ha még nem tette meg, lásd : Új VS-konfiguráció létrehozása. Javasoljuk, hogy legalább két különböző VS-konfigurációval rendelkezzen a csomagvégrehajtásokhoz a helyi és a felhőbeli környezetekben, hogy az Azure engedélyezhesse a projektet a felhőkonfigurációval szemben. Ily módon, ha paraméterezte a projektet vagy a csomagokat, különböző értékeket rendelhet a projekthez vagy a csomagparaméterekhez futásidőben a különböző végrehajtási környezetek alapján (akár a helyi gépen, akár az Azure-ban). Lásd például a Csomagvégrehajtási környezetek váltása című témakört.

   

3. A meglévő SSIS-projektek Azure-beli engedélyezéséhez meg kell adnia a célkiszolgáló verzióját az Azure-SSIS IR által támogatott legújabb verzióra. Az Azure-SSIS integrációs modul jelenleg az SQL Server 2017-en alapul. Győződjön meg arról, hogy a csomagok nem tartalmaznak olyan további összetevőket, amelyek nem támogatottak az SQL Server 2017-ben. Győződjön meg arról is, hogy az Azure-SSIS integrációs modulra az összes kompatibilis további összetevő is telepítve van egyéni beállításokon keresztül. Lásd : Az Azure-SSIS integrációs modul testreszabása. A folytatáshoz kattintson a Tovább gombra.

   

4. Lásd: Csatlakozás az Azure-SSIS IR-hez a projekt Azure-SSIS IR-hez való csatlakoztatásának befejezéséhez.

Azure-kompatibilis projektek csatlakoztatása az SSIS-hez az Azure Data Factoryben

Az Azure-kompatibilis projekteknek az ADF-ben való SSIS-hez való csatlakoztatásával feltöltheti csomagjait az Azure Filesba, és futtathatja őket az Azure-SSIS IR-en. Ehhez kövesse az alábbi lépéseket:

1. Az SSIS az ADF Bevezetés lapján tekintse át a bevezetést, és válassza a Tovább gombot a folytatáshoz.

   

2. Az ADF-ben az SSIS integrációs modul kiválasztása lapon válassza ki a meglévő ADF-t és az Azure-SSIS integrációs modult a csomagok futtatásához. Újakat is létrehozhat, ha nem rendelkezik ilyenekkel.

   • A meglévő Azure-SSIS integrációs modul kiválasztásához először válassza ki a megfelelő Azure-előfizetést és az ADF-t.
   • Ha olyan meglévő ADF-t választ, amely nem rendelkezik Azure-SSIS IR-rel, az SSIS IR létrehozása gombot választva hozzon létre egy újat az ADF-portálon. A létrehozás után visszatérhet erre a lapra az új Azure-SSIS integrációs modul kiválasztásához.
   • Ha olyan meglévő Azure-előfizetést választ, amely nem rendelkezik ADF-sel, az SSIS INTEGRÁCIÓS MODUL létrehozása gombra kattintva indítsa el az Integrációs modul létrehozása varázslót. A varázslóban megadhatja a kijelölt helyet és előtagot, hogy automatikusan létrehozhasson egy új Azure-erőforráscsoportot, a Data Factoryt és az SSIS IR-t az Ön nevében, a következő mintában elnevezve: YourPrefix-RG/DF/IR-YourCreationTime. A létrehozás után visszatérhet erre a lapra az új ADF és az Azure-SSIS integrációs modul kiválasztásához.

   

3. Az Azure Storage kiválasztása lapon válassza ki a meglévő Azure Storage-fiókját, hogy csomagokat töltsön fel az Azure Filesba. Ha nincs ilyen, létrehozhat egy újat is.

   • A meglévő Azure Storage-fiók kiválasztásához először válassza ki a megfelelő Azure-előfizetést.
   • Ha ugyanazt az Azure-előfizetést választja, mint az Azure-SSIS ir, amely nem rendelkezik Azure Storage-fiókkal, válassza az Azure Storage létrehozása gombot. Automatikusan létrehozunk egy újat az Ön nevében az Azure-SSIS integrációs moduljával azonos helyen, az Azure-SSIS IR nevének előtagjának és létrehozásának dátumának kombinálásával. A létrehozás után visszatérhet erre a lapra az új Azure Storage-fiók kiválasztásához.
   • Ha egy másik Azure-előfizetést választ, amely nem rendelkezik Azure Storage-fiókkal, az Azure Storage létrehozása gombra kattintva hozzon létre egy újat az Azure Portalon. A létrehozás után visszatérhet erre a lapra az új Azure Storage-fiók kiválasztásához.

   

4. A Csatlakozás gombra kattintva befejezheti a projekt Azure-SSIS IR-hez való csatlakoztatását. A kiválasztott Azure-SSIS IR- és Azure Storage-fiókot a Csatolt Azure-erőforrások csomópont alatt jelenítjük meg az SSDT Megoldáskezelő ablakában. Emellett rendszeresen frissítjük és megjelenítjük az Azure-SSIS integrációs modul állapotát. Az Azure-SSIS integrációs modult úgy kezelheti, hogy a csomópontra a jobb gombbal kattintva előugrik egy menü, majd kiválasztja a Start\Stop\Manage elemet, amely az ADF-portálra viszi.

SSIS-projekt\csomagok értékelése az Azure-beli végrehajtásokhoz

Egy vagy több csomag értékelése

Mielőtt végrehajtja a csomagokat az Azure-ban, felmérheti azokat a felhőkompatibilitás esetleges problémáinak felszínre hozásához. Ezek közé tartoznak a migrálási blokkolók és a további információk, amelyekkel tisztában kell lennie.

• Lehetősége van egyenként vagy az összes csomag egyenkénti értékelésére a projekt alatt.

  

  

• Az SSDT Értékelési jelentés ablakában megtalálhatja a felszínre került összes lehetséges felhőkompatibilitási problémát, amelyek mindegyike saját részletes leírással és javaslattal rendelkezik. Az értékelési jelentést egy CSV-fájlba is exportálhatja, amely bárkivel megosztható, aki enyhíteni szeretné ezeket a problémákat.

  

Értékelési szabályok mellőzése

Ha biztos abban, hogy egyes lehetséges felhőkompatibilitási problémák nem alkalmazhatók, vagy megfelelően lettek elhárítva a csomagokban, letilthatja a megfelelő értékelési szabályokat, amelyek felszínre kerültek. Ez csökkenti a zajt a későbbi értékelő jelentésekben.

• Válassza az Értékelési szabály letiltásának konfigurálása hivatkozást az SSDT Felmérési jelentés ablakában az Értékelési szabály letiltási beállításai ablak előugró ablakához, ahol kiválaszthatja a letiltandó értékelési szabályokat.

  

• Másik lehetőségként kattintson a jobb gombbal a projektcsomópontra az SSDT Megoldáskezelő ablakában egy menü előugraásához. Válassza az Azure-kompatibilis beállítások elemet az SSIS-ben az Azure Data Factory almenüjében a projekttulajdonság lapjait tartalmazó ablak előugró ablakának előugrásához. Válassza a Letiltott értékelési szabály azonosítói tulajdonságot az Azure-kompatibilis beállítások szakaszban. Végül kattintson a három pontra (...) az Értékelési szabály letiltási beállításai ablak felugrásához, ahol kiválaszthatja a letiltandó értékelési szabályokat.

  

  

SSIS-csomagok végrehajtása az Azure-ban

Az Azure-kompatibilis beállítások konfigurálása

Mielőtt végrehajtja a csomagokat az Azure-ban, konfigurálhatja az Azure-kompatibilis beállításokat. Engedélyezheti például a Windows-hitelesítést az Azure-SSIS integrációs modulon a helyszíni/felhőbeli adattárak eléréséhez az alábbi lépések végrehajtásával:

1. Kattintson a jobb gombbal a projektcsomópontra az SSDT Megoldáskezelő ablakában egy menü előugraásához. Ezután válassza ki az Azure-kompatibilis beállítások elemet az SSIS-ben az Azure Data Factory almenüjében a projekttulajdonság lapjait tartalmazó ablak előugró ablakának előugrásához.

   

2. Válassza a Windows-hitelesítés engedélyezése tulajdonságot az Azure-kompatibilis beállítások szakaszban, majd válassza az Igaz lehetőséget a legördülő menüben. Ezután válassza ki a Windows-hitelesítés hitelesítő adatai tulajdonságot , majd a három pont (...) gombra kattintva nyissa meg a Windows-hitelesítés hitelesítő adatai ablakot.

   

3. Adja meg a Windows-hitelesítési hitelesítő adatait. Az Azure Files eléréséhez például megadhatja AzureYourStorageAccountNameYourStorageAccountKey a tartományt, a felhasználónevet és a jelszót.

   

Csomagvégrehajtások indítása

Miután csatlakoztatta az Azure-kompatibilis projekteket az SSIS-hez az ADF-ben, felmérte a felhőkompatibilitásukat, és enyhíti a lehetséges problémákat, végrehajthatja/tesztelheti a csomagokat az Azure-SSIS IR-en.

• Az SSDT eszköztár Start gombjára kattintva legördülő menüt választhat. Ezután válassza ki a Végrehajtás az Azure-ban elemet.

  

• Másik lehetőségként kattintson a jobb gombbal a csomagcsomópontra az SSDT Megoldáskezelő ablakában egy menü előugraásához. Ezután válassza ki a Csomag végrehajtása az Azure-ban elemet.

  

Feljegyzés

A csomagok Azure-ban való végrehajtásához rendelkeznie kell egy futó Azure-SSIS integrációs modulval, így ha az Azure-SSIS INTEGRÁCIÓS MODUL leáll, megjelenik egy párbeszédpanel az indításhoz. Az egyéni beállítási idő kivételével ezt a folyamatot 5 percen belül el kell végezni, de körülbelül 20–30 percet is igénybe vehet, amíg az Azure-SSIS integrációs modul csatlakozik egy virtuális hálózathoz. Miután elvégezte a csomagokat az Azure-ban, leállíthatja az Azure-SSIS integrációs modult a futtatási költségek kezeléséhez. Ehhez kattintson a jobb gombbal az SSDT Megoldáskezelő ablakában lévő csomópontra, és válassza a Start\Stop\Manage elemet, amely az ADF-portálra viszi.

Csomagfeladat végrehajtása

Ha a csomagok olyan csomagfeladatokat tartalmaznak, amelyek a helyi fájlrendszereken tárolt gyermekcsomagokra hivatkoznak, kövesse az alábbi további lépéseket:

1. Töltse fel a gyermekcsomagokat az Azure Filesba ugyanabban az Azure Storage-fiókban, amely a projektjeihez csatlakozik, és szerezze be az új univerzális elnevezési konvenciós (UNC) elérési utat, például. \\YourStorageAccountName.file.core.windows.net\ssdtexecution\YourChildPackage1.dtsx

2. Cserélje le a gyermekcsomagok fájlútvonalát a Csomagfeladatok végrehajtása fájl Csatlakozáskezelő új UNC-elérési útjára

   • Ha az SSDT-t futtató helyi gép nem tudja elérni az új UNC elérési utat, a Fájl Csatlakozáskezelő Tulajdonságok paneljén adhatja meg.
   • Másik lehetőségként használhat egy változót a fájl elérési útjához a megfelelő érték futásidejű hozzárendeléséhez

Ha a csomagok olyan csomagfeladatokat tartalmaznak, amelyek ugyanabban a projektben lévő gyermekcsomagokra hivatkoznak, nincs szükség további lépésre.

Csomagvédelmi szint váltása

Az SSIS-csomagok Azure-ban való végrehajtása nem támogatja a EncryptSensitiveWithUserKey/EncryptAllWithUserKey védelmi szinteket. Következésképpen, ha a csomagok úgy vannak konfigurálva, hogy ezeket használják, ideiglenesen a EncryptSensitiveWithPassword EncryptAllWithPassword védelmi szinteket használjuk./ Emellett véletlenszerűen generálunk titkosítási jelszavakat is, amikor feltöltjük a csomagokat az Azure Filesba végrehajtás céljából az Azure-SSIS IR-en.

Feljegyzés

Ha a csomagok olyan csomagokat tartalmaznak, amelyek a EncryptSensitiveWithUserKey EncryptAllWithUserKey védelmi szintek használatára konfigurált gyermekcsomagokra hivatkoznak, a csomagok végrehajtása előtt manuálisan újra kell konfigurálnia ezeket a gyermekcsomagokat a EncryptSensitiveWithPassword/EncryptAllWithPassword védelmi szintek használatához./

Ha a csomagok már a EncryptSensitiveWithPassword/EncryptAllWithPassword védelmi szintek használatára vannak konfigurálva, változatlanul tartjuk őket. Továbbra is véletlenszerűen hozunk létre titkosítási jelszavakat, amikor feltöltjük a csomagokat az Azure Filesba végrehajtás céljából az Azure-SSIS IR-en.

Csomagvégrehajtási környezetek váltása

Ha a projekt/csomagok paraméterezését a Project Deployment Modelben hajtja végre, több VS-konfigurációt is létrehozhat a csomagvégrehajtási környezetek közötti váltáshoz. Így futtatáskor környezetspecifikus értékeket rendelhet a projekt/csomag paramétereihez. Javasoljuk, hogy legalább két különböző VS-konfigurációval rendelkezzen a csomagvégrehajtásokhoz a helyi és a felhőbeli környezetekben, hogy az Azure engedélyezhesse projektjeit a felhőkonfigurációval szemben. Íme egy lépésenkénti példa a csomagvégrehajtási környezetek helyi gép és az Azure közötti váltására:

1. Tegyük fel, hogy a csomag tartalmaz egy fájlrendszerfeladatot, amely beállítja egy fájl attribútumait. Amikor a helyi gépen futtatja, a rendszer beállítja a helyi fájlrendszerben tárolt fájl attribútumait. Amikor az Azure-SSIS integrációs modulon futtatja, be kell állítania az Azure Filesban tárolt fájl attribútumait. Először hozzon létre egy sztring típusú csomagparamétert, és nevezze el FilePath-nak a célfájl elérési útjának értékének tárolásához.

   

2. Ezután a Fájlrendszer feladatszerkesztő ablakának Általános lapján paraméterezi a SourceVariable tulajdonságot a Forráskapcsolat szakaszban a FilePath-csomag paraméterrel.

   

3. Alapértelmezés szerint rendelkezik egy meglévő VS-konfigurációval a csomagvégrehajtásokhoz a helyi, Fejlesztés nevű környezetben. Hozzon létre egy új VS-konfigurációt a csomagvégrehajtásokhoz az Azure nevű felhőkörnyezetben, lásd: Új VS-konfiguráció létrehozása, ha még nem tette meg.

4. A csomag paramétereinek megtekintésekor válassza a Paraméterek hozzáadása a konfigurációkhoz gombot a csomag Paraméterértékek kezelése ablakának megnyitásához. Ezután rendelje hozzá a célfájl elérési útjának különböző értékeit a FilePath-csomag paraméteréhez a fejlesztés és az Azure-konfigurációk alatt.

   

5. Ha még nem tette meg, tekintse meg a meglévő SSIS-projektek Azure-beli engedélyezését a felhőkonfigurációval szemben az Azure-nak. Ezután konfigurálja az Azure-kompatibilis beállításokat, hogy engedélyezze a Windows-hitelesítést az Azure-SSIS integrációs modul számára az Azure Files eléréséhez. Ha még nem tette meg, tekintse meg az Azure-kompatibilis beállítások konfigurálását.

6. Hajtsa végre a csomagot az Azure-ban. A fejlesztési konfiguráció kiválasztásával visszakapcsolhatja a csomagvégrehajtási környezetet a helyi gépre.

   

Csomagkonfigurációs fájl használata

Ha csomagkonfigurációs fájlokat használ a Csomagtelepítési modellben, futtatáskor környezetspecifikus értékeket rendelhet a csomag tulajdonságaihoz. Ezeket a fájlokat a csomagokkal együtt automatikusan feltöltjük az Azure Filesba végrehajtás céljából az Azure-SSIS IR-en.

Csomagvégrehajtási naplók ellenőrzése

A csomag végrehajtásának megkezdése után formázzuk és megjelenítjük a naplóit az SSDT Folyamat ablakában. Egy hosszú ideig futó csomag esetében a naplókat percek alatt rendszeresen frissítjük. Az SSDT eszköztár Leállítás gombjára kattintva azonnal megszakíthatja a csomag végrehajtását. A naplók nyers adatait a következő UNC elérési úton is ideiglenesen megtalálhatja: \\<YourStorageAccountName>.file.core.windows.net\ssdtexecution\<YourProjectName-FirstConnectTime>\<YourPackageName-tmp-ExecutionTime>\logsegy nap múlva azonban megtisztítjuk.

Jelenlegi korlátozások

• Az Azure-kompatibilis SSDT csak kereskedelmi/globális felhőrégiók használatát támogatja, és egyelőre nem támogatja a kormányzati/nemzeti felhőrégiók használatát.

Kapcsolódó tartalom

Ha elégedett a csomagok SSDT-ből való Azure-beli futtatásával, üzembe helyezheti és futtathatja őket SSIS-csomagtevékenységek végrehajtása ADF-folyamatokban, lásd : SSIS-csomagok futtatása SSIS-csomagtevékenységek végrehajtása ADF-folyamatokban.