Adatok biztonságos másolása az Azure Blob Storage-ból egy SQL-adatbázisba privát végpontok használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ebben az oktatóanyagban az Azure Data Factory felhasználói felületének használatával hoz létre egy adat-előállítót. Ebben az adat-előállítóban a folyamat biztonságosan másol adatokat az Azure Blob Storage-ból egy Azure SQL-adatbázisba (mindkettő csak a kiválasztott hálózatokhoz való hozzáférést teszi lehetővé) privát végpontok használatával az Azure Data Factory által felügyelt virtuális hálózatban. Az oktatóanyagban szereplő konfigurációs minta fájlalapú adattárból relációs adattárba való másolásra vonatkozik. A forrásként és fogadóként támogatott adattárak listáját a Támogatott adattárak és formátumok táblában találja. A privát végpontok funkció az Azure Data Factory minden szintjén elérhető, ezért a használatukhoz nincs szükség meghatározott szintre. A díjszabásról és a szintekről további információt az Azure Data Factory díjszabási oldalán talál.

Feljegyzés

Ha még csak ismerkedik a Data Factory használatával, olvassa el az Azure Data Factory használatának első lépéseit ismertető cikket.

Az oktatóanyag során a következő lépéseket hajtja végre:

• Adat-előállító létrehozása
• Másolási tevékenységgel rendelkező folyamat létrehozása.

Előfeltételek

• Azure-előfizetés. Ha nem rendelkezik Azure-előfizetéssel, mindössze néhány perc alatt létrehozhat egy ingyenes Azure-fiókot a virtuális gép létrehozásának megkezdése előtt.
• Egy Azure Storage-fiók. A Blob Storage lesz használatban forrásadattárként. Ha még nem rendelkezik tárfiókkal, tekintse meg az Azure Storage-fiók létrehozásának lépéseit ismertető cikket. Győződjön meg arról, hogy a tárfiók csak a kiválasztott hálózatokról engedélyezi a hozzáférést.
• Azure SQL Database Ezt az adatbázist használjuk fogadóadattárként. Ha nem rendelkezik Azure SQL-adatbázissal, a létrehozás lépéseit az SQL-adatbázis létrehozása című témakörben találja. Győződjön meg arról, hogy az SQL Database-fiók csak a kijelölt hálózatokról engedélyezi a hozzáférést.

Blob és SQL-tábla létrehozása

Most készítse elő a blobtárolót és az SQL-adatbázist az oktatóanyaghoz az alábbi lépések végrehajtásával.

Forrás blob létrehozása

1. Nyissa meg a Jegyzettömbet. Másolja be a következő szöveget, és mentse emp.txt néven egy fájlba a lemezen.

   FirstName,LastName
   John,Doe
   Jane,Doe
   

2. Hozzon létre egy adftutorial nevű tárolót a blobtárolóban. Ebben a tárolóban hozzon létre egy input nevű mappát. Ezután töltse fel az emp.txt fájlt az input mappába. Ezekhez a feladatokhoz használja az Azure Portalt vagy olyan eszközöket, mint az Azure Storage Explorer.

Fogadó SQL-tábla létrehozása

A következő SQL-szkripttel hozza létre a dbo.emp táblát az SQL Database-ben.

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Adat-előállító létrehozása

Ebben a lépésben létrehoz egy adat-előállítót, és elindítja a Data Factory felhasználói felületét, hogy létrehozzon egy folyamatot az adat-előállítóban.

1. Nyissa meg a Microsoft Edge-et vagy a Google Chrome-ot. Jelenleg csak a Microsoft Edge és a Google Chrome böngészők támogatják a Data Factory felhasználói felületét.

2. A bal oldali menüben válassza a Resource>Analytics>Data Factory létrehozása lehetőséget.

3. Az Új adat-előállító lap Név mezőjében adja meg az ADFTutorialDataFactory értéket.

   Az Azure data factory nevének globálisan egyedinek kell lennie. Ha hibaüzenetet kap a névértékről, adjon meg egy másik nevet az adat-előállítónak (például a saját neveADFTutorialDataFactory). A Data Factory-összetevők elnevezési szabályait a Data Factory elnevezési szabályait ismertető cikkben találja.

4. Válassza ki azt az Azure-előfizetést, amelyben az adat-előállítót létre szeretné hozni.

5. Erőforráscsoport: hajtsa végre a következő lépések egyikét:

   • Kattintson a Meglévő használata elemre, majd a legördülő listából válasszon egy meglévő erőforráscsoportot.
   • Kattintson az Új létrehozása elemre, és adja meg az erőforráscsoport nevét.

   Az erőforráscsoportokkal kapcsolatos információkért tekintse meg az Erőforráscsoportok használata az Azure-erőforrások kezeléséhez ismertető cikket.

6. A Verzió résznél válassza a V2 értéket.

7. A Hely területen válassza ki az adat-előállító helyét. Csak a támogatott helyek jelennek meg a legördülő listában. Az adat-előállítók által használt adattárak (például az Azure Storage és az SQL Database) és számítási erőforrások (például az Azure HDInsight) más régiókban is lehetnek.

8. Válassza a Létrehozás lehetőséget.

9. A létrehozás befejezése után megjelenik az értesítés az Értesítések központban. Válassza az Ugrás az erőforrásra lehetőséget a Data Factory lapra való ugráshoz.

10. Válassza a Megnyitás az Azure Data Factory Studio megnyitása csempén a Data Factory felhasználói felületének külön lapon való elindításához.

Azure-integrációs futtatókörnyezet létrehozása a Data Factory által felügyelt virtuális hálózaton

Ebben a lépésben létrehoz egy Azure-integrációs modult, és engedélyezi a Data Factory által felügyelt virtuális hálózatot.

1. A Data Factory portálon lépjen a Kezelés gombra, és válassza az Új lehetőséget egy új Azure-integrációs modul létrehozásához.

   

2. Az Integrációs modul beállítási lapján válassza ki, hogy milyen integrációs modult szeretne létrehozni a szükséges képességek alapján. Ebben az oktatóanyagban válassza a saját üzemeltetésű Azure-t, majd kattintson a Folytatás gombra.

3. Válassza az Azure-t, majd kattintson a Folytatás gombra egy Azure-integrációs modul létrehozásához.

   

4. A Virtuális hálózat konfigurációja (előzetes verzió) területen válassza az Engedélyezés lehetőséget.

   

5. Válassza a Létrehozás lehetőséget.

Folyamat létrehozása

Ebben a lépésben létrehoz egy másolási tevékenységgel rendelkező folyamatot az adat-előállítóban. A másolási tevékenység adatokat másol egy Blob Storage-ból egy SQL Database-be. A rövid útmutatóban létrehozott egy folyamatot az alábbi lépéseket követve:

1. Hozza létre a társított szolgáltatást.
2. Hozzon létre bemeneti és kimeneti adatkészleteket.
3. Folyamat létrehozása.

Ebben az oktatóanyagban egy folyamat létrehozásával kezdi. Ezután társított szolgáltatásokat és adatkészleteket hozunk létre, amikor szükség van rájuk a folyamat konfigurálásához.

1. A kezdőlapon válassza az Orchestrate (Vezénylés) lehetőséget.

   

2. A folyamat tulajdonságok paneljén adja meg a Folyamat nevének CopyPipeline elemét.

3. A Tevékenységek eszközmezőben bontsa ki az Áthelyezés és átalakítás kategóriát, és húzza az adatmásolási tevékenységet az eszközmezőből a folyamattervező felületére. Adja meg a CopyFromBlobToSql nevet.

   

Forrás konfigurálása

Tipp.

Ebben az oktatóanyagban a fiókkulcsot használja a forrásadattár hitelesítési típusaként. Egyéb támogatott hitelesítési módszereket is választhat, például sas URI, szolgáltatásnév és felügyelt identitás , ha szükséges. További információ: Az Adatok másolása és átalakítása az Azure Blob Storage-ban az Azure Data Factory használatával című szakasz.

Az adattárak titkos kulcsainak biztonságos tárolásához javasoljuk az Azure Key Vault használatát is. További információkért és ábrákért tekintse meg az Azure Key Vaultban tárolt hitelesítő adatokat.

Forrásadatkészlet és társított szolgáltatás létrehozása

1. Lépjen a Forrás lapra. Forrásadatkészlet létrehozásához válassza az + Új lehetőséget.

2. Az Új adathalmaz párbeszédpanelen válassza az Azure Blob Storage lehetőséget, majd a Folytatás lehetőséget. A forrásadatok egy Blob Storage-ban vannak, tehát forrásadatkészletként az Azure Blob Storage-ot válassza.

3. A Formátum kiválasztása párbeszédpanelen válassza ki az adatok formátumtípusát, majd válassza a Folytatás lehetőséget.

4. A Tulajdonságok beállítása párbeszédpanelen adja meg a SourceBlobDataset for Name kifejezést. Jelölje be az Első sor fejlécként jelölőnégyzetét. A Csatolt szolgáltatás szövegmezőben válassza az + Új lehetőséget.

5. Az Új társított szolgáltatás (Azure Blob Storage) párbeszédpanelen adja meg az AzureStorageLinkedService nevet, és válassza ki a tárfiókot a Tárfiók névlistájából.

6. Győződjön meg arról, hogy engedélyezi az interaktív szerkesztést. Az engedélyezés körülbelül egy percet vehet igénybe.

   

7. Válassza a Kapcsolat tesztelése elemet. Sikertelennek kell lennie, ha a tárfiók csak a kiválasztott hálózatokról engedélyezi a hozzáférést, és megköveteli a Data Factory számára, hogy hozzon létre egy privát végpontot, amelyet a használat előtt jóvá kell hagyni. A hibaüzenetben egy olyan hivatkozást kell látnia, amely egy felügyelt privát végpont létrehozásához követhető privát végpontot hoz létre. Másik lehetőségként lépjen közvetlenül a Kezelés lapra, és kövesse a következő szakaszban található utasításokat egy felügyelt privát végpont létrehozásához.

   Feljegyzés

   Előfordulhat, hogy a Manage (Kezelés ) lap nem érhető el az összes adat-előállító példányhoz. Ha nem látja, a privát végpontok eléréséhez válassza a Szerzői>kapcsolatok>privát végpontja lehetőséget.

8. Tartsa nyitva a párbeszédpanelt, majd nyissa meg a tárfiókot.

9. Kövesse az ebben a szakaszban található utasításokat a privát hivatkozás jóváhagyásához.

10. Lépjen vissza a párbeszédpanelre. Válassza ismét a Kapcsolat tesztelése lehetőséget, és válassza a Létrehozás lehetőséget a társított szolgáltatás üzembe helyezéséhez.

11. A társított szolgáltatás létrehozása után visszatér a Tulajdonságok beállítása lapra. A Fájl elérési útja mellett válassza a Tallózás lehetőséget.

12. Nyissa meg az adftutorial/input mappát, válassza ki a emp.txt fájlt, majd kattintson az OK gombra.

13. Kattintson az OK gombra. Automatikusan a folyamat oldalára kerül. A Forrás lapon ellenőrizze, hogy a SourceBlobDataset van-e kiválasztva. A lapon lévő adatok előnézetének megtekintéséhez válassza az Adatok előnézete elemet.

    

Felügyelt privát végpont létrehozása

Ha a kapcsolat tesztelésekor nem a hivatkozásra kattintott, kövesse az elérési utat. Most létre kell hoznia egy felügyelt privát végpontot, amelyhez csatlakozni fog a létrehozott társított szolgáltatáshoz.

1. Lépjen a Kezelés lapra.

   Feljegyzés

   Előfordulhat, hogy a Kezelés lap nem érhető el az összes Data Factory-példányhoz. Ha nem látja, a privát végpontok eléréséhez válassza a Szerzői>kapcsolatok>privát végpontja lehetőséget.

2. Lépjen a Felügyelt privát végpontok szakaszra .

3. Válassza az + Új lehetőséget a felügyelt privát végpontok alatt.

   

4. Válassza ki az Azure Blob Storage csempét a listából, és válassza a Folytatás lehetőséget.

5. Adja meg a létrehozott tárfiók nevét.

6. Válassza a Létrehozás lehetőséget.

7. Néhány másodperc elteltével látnia kell, hogy a létrehozott privát hivatkozásnak jóváhagyásra van szüksége.

8. Válassza ki a létrehozott privát végpontot. Megjelenik egy hivatkozás, amely arra készteti, hogy a tárfiók szintjén jóváhagyja a privát végpontot.

   

Privát kapcsolat jóváhagyása tárfiókban

1. A tárfiókban nyissa meg a Privát végpont kapcsolatait a Beállítások szakaszban.

2. Jelölje be a létrehozott privát végpont jelölőnégyzetét, és válassza a Jóváhagyás lehetőséget.

   

3. Adjon meg egy leírást, és válassza az igen lehetőséget.

4. Térjen vissza a Data Factory Kezelés lapjának Felügyelt privát végpontok szakaszához.

5. Körülbelül egy vagy két perc elteltével meg kell jelennie a privát végpont jóváhagyásának a Data Factory felhasználói felületén.

Fogadó konfigurálása

Tipp.

Ebben az oktatóanyagban sql-hitelesítést használ a fogadó adattár hitelesítési típusaként. Szükség esetén más támogatott hitelesítési módszereket is választhat, például a szolgáltatásnevet és a felügyelt identitást . További információ: Az Adatok másolása és átalakítása az Azure SQL Database-ben az Azure Data Factory használatával.

Az adattárak titkos kulcsainak biztonságos tárolásához javasoljuk az Azure Key Vault használatát is. További információkért és ábrákért tekintse meg az Azure Key Vaultban tárolt hitelesítő adatokat.

Fogadóadatkészlet és társított szolgáltatás létrehozása

1. Váltson a Fogadó lapra, és válassza az + Új elemet egy fogadó-adatkészlet létrehozásához.

2. Az Új adathalmaz párbeszédpanelen írja be az SQL kifejezést a keresőmezőbe az összekötők szűréséhez. Válassza az Azure SQL Database lehetőséget, majd válassza a Folytatás lehetőséget. Ebben az oktatóanyagban adatokat másol egy SQL Database-be.

3. A Tulajdonságok beállítása párbeszédpanelen adja meg a Név OutputSqlDataset értékét. A Társított szolgáltatás legördülő listában válassza az + Új lehetőséget. Az adatkészleteket mindig társítani kell egy társított szolgáltatáshoz. A társított szolgáltatás rendelkezik azzal a kapcsolati sztringgel, amely használatával a Data Factory a futtatás során kapcsolódik az SQL Database-hez. Az adatkészlet meghatározza azt a tárolót, mappát és fájlt (az utóbbi nem kötelező), ahova a rendszer az adatokat másolja.

4. Az Új társított szolgáltatás (Azure SQL Database) párbeszédpanelen hajtsa végre a következő lépéseket:

   1. A Név mezőbe írja az AzureSqlDatabaseLinkedService nevet.
   2. A Kiszolgáló neve mezőben válassza ki az SQL Server-példányát.
   3. Győződjön meg arról, hogy engedélyezi az interaktív szerkesztést.
   4. Az Adatbázis neve mezőben válassza ki az SQL Database-adatbázisát.
   5. A Felhasználónév mezőben adja meg a felhasználó nevét.
   6. A Jelszó mezőben adja meg a felhasználó jelszavát.
   7. Válassza a Kapcsolat tesztelése elemet. Sikertelennek kell lennie, mert az SQL-kiszolgáló csak a kiválasztott hálózatokról engedélyezi a hozzáférést, és megköveteli, hogy a Data Factory hozzon létre hozzá egy privát végpontot, amelyet a használat előtt jóvá kell hagyni. A hibaüzenetben egy olyan hivatkozást kell látnia, amely egy felügyelt privát végpont létrehozásához követhető privát végpontot hoz létre. Másik lehetőségként lépjen közvetlenül a Kezelés lapra, és kövesse a következő szakaszban található utasításokat egy felügyelt privát végpont létrehozásához.
   8. Tartsa nyitva a párbeszédpanelt, majd lépjen a kijelölt SQL-kiszolgálóra.
   9. Kövesse az ebben a szakaszban található utasításokat a privát hivatkozás jóváhagyásához.
   10. Lépjen vissza a párbeszédpanelre. Válassza ismét a Kapcsolat tesztelése lehetőséget, és válassza a Létrehozás lehetőséget a társított szolgáltatás üzembe helyezéséhez.

5. Automatikusan a Tulajdonságok beállítása párbeszédpanelre kerül. A Tábla területen válassza a [dbo].[emp] elemet. Ezután válassza az OK gombra.

6. Nyissa meg a folyamatot tartalmazó lapot, és a Fogadó adatkészletben ellenőrizze, hogy az OutputSqlDataset van-e kiválasztva.

   

Igény szerint leképezheti a forrás sémáját a cél megfelelő sémájára a másolási tevékenység sémaleképezésének követésével.

Felügyelt privát végpont létrehozása

Ha a kapcsolat tesztelésekor nem a hivatkozásra kattintott, kövesse az elérési utat. Most létre kell hoznia egy felügyelt privát végpontot, amelyhez csatlakozni fog a létrehozott társított szolgáltatáshoz.

1. Lépjen a Kezelés lapra.

2. Lépjen a Felügyelt privát végpontok szakaszra .

3. Válassza az + Új lehetőséget a felügyelt privát végpontok alatt.

   

4. Válassza ki az Azure SQL Database csempét a listából, és válassza a Folytatás lehetőséget.

5. Adja meg a kiválasztott SQL-kiszolgáló nevét.

6. Válassza a Létrehozás lehetőséget.

7. Néhány másodperc elteltével látnia kell, hogy a létrehozott privát hivatkozásnak jóváhagyásra van szüksége.

8. Válassza ki a létrehozott privát végpontot. Megjelenik egy hivatkozás, amely arra készteti, hogy jóváhagyja a privát végpontot az SQL Server szintjén.

Privát hivatkozás jóváhagyása az SQL Serveren

1. Az SQL Serveren lépjen a Privát végpontok kapcsolatok elemre a Beállítások szakaszban.
2. Jelölje be a létrehozott privát végpont jelölőnégyzetét, és válassza a Jóváhagyás lehetőséget.
3. Adjon meg egy leírást, és válassza az igen lehetőséget.
4. Térjen vissza a Data Factory Kezelés lapjának Felügyelt privát végpontok szakaszához.
5. Egy vagy két percig tart, amíg a jóváhagyás megjelenik a privát végponton.

A folyamat hibakeresése és közzététele

Elvégezheti a folyamat hibakeresését, mielőtt összetevőket (társított szolgáltatások, adatkészletek és folyamat) tenne közzé a Data Factoryben vagy a saját Azure Repos Git-adattárában.

1. A folyamat hibakereséséhez válassza a Hibakeresés elemet az eszköztáron. A folyamat futtatási állapotát az ablak alján található Kimenet lapon tekintheti meg.
2. Miután a folyamat sikeresen lefutott, a felső eszköztáron válassza az Összes közzététele lehetőséget. Ez a művelet közzéteszi a Data Factoryben létrehozott entitásokat (adathalmazokat és folyamatokat).
3. Várjon, amíg megjelenik a Sikeres közzététel üzenet. Az értesítési üzenetek megtekintéséhez válassza az Értesítések megjelenítése lehetőséget a jobb felső sarokban (haranggomb).

Összegzés

A mintafolyamat adatokat másol a Blob Storage-ból az SQL Database-be privát végpontok használatával a Data Factory által felügyelt virtuális hálózatban. Megtanulta végrehajtani az alábbi műveleteket:

• Adat-előállító létrehozása
• Másolási tevékenységgel rendelkező folyamat létrehozása.