Adatok másolása az Azure Blob Storage-ból egy Azure SQL Database-adatbázisba az Azure Data Factory használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ebben az oktatóanyagban az Azure Data Factory felhasználói felületének használatával hoz létre egy adat-előállítót. A data factory folyamata adatokat másol az Azure Blob Storage-ból egy Azure SQL Database-adatbázisba. Az oktatóanyagban szereplő konfigurációs minta fájlalapú adattárból relációs adattárba való másolásra vonatkozik. A forrásként és fogadóként támogatott adattárak listája a támogatott adattárakat tartalmazó táblázatban található.

Feljegyzés

Ha még csak ismerkedik a Data Factory használatával, olvassa el az Azure Data Factory használatának első lépéseit ismertető cikket.

Az oktatóanyagban az alábbi lépéseket fogja végrehajtani:

• Adat-előállító létrehozása
• Másolási tevékenységgel rendelkező folyamat létrehozása.
• A folyamat próbafuttatása
• A folyamat manuális aktiválása
• A folyamat aktiválása ütemezés szerint
• A folyamat és a tevékenységek futásának monitorozása

Előfeltételek

• Azure-előfizetés. Ha nem rendelkezik Azure-előfizetéssel, mindössze néhány perc alatt létrehozhat egy ingyenes Azure-fiókot a virtuális gép létrehozásának megkezdése előtt.
• Egy Azure Storage-fiók. A Blob Storage lesz használatban forrásadattárként. Ha még nem rendelkezik tárfiókkal, tekintse meg az Azure Storage-fiók létrehozásának lépéseit ismertető cikket.
• Azure SQL Database Ezt az adatbázist használjuk fogadóadattárként. Ha nem rendelkezik adatbázissal az Azure SQL Database-ben, a létrehozás lépéseit az Adatbázis létrehozása az Azure SQL Database-ben című témakörben találja.

Blob és SQL-tábla létrehozása

Készítse elő a Blob Storage-et és az SQL Database-t az oktatóanyaghoz a következő lépésekkel.

Forrás blob létrehozása

1. Indítsa el a Jegyzettömböt. Másolja be a következő szöveget, és mentse emp.txt néven egy fájlba a lemezen.

   FirstName,LastName
   John,Doe
   Jane,Doe
   

2. Hozzon létre egy adftutorial nevű tárolót a Blob Storage-ban. Ebben a tárolóban hozzon létre egy input nevű mappát. Ezután töltse fel az emp.txt fájlt az input mappába. Ezekhez a feladatokhoz használja az Azure Portalt vagy olyan eszközöket, mint az Azure Storage Explorer.

Fogadó SQL-tábla létrehozása

1. Az alábbi SQL-szkripttel hozza létre a dbo.emp táblát az adatbázisban:

   CREATE TABLE dbo.emp
   (
       ID int IDENTITY(1,1) NOT NULL,
       FirstName varchar(50),
       LastName varchar(50)
   )
   GO
   
   CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);
   

2. Engedélyezze az SQL Server elérését az Azure-szolgáltatások számára. Győződjön meg arról, hogy az Azure-szolgáltatásokhoz való hozzáférés engedélyezéseBE van kapcsolva az SQL Serverhez, hogy a Data Factory tudjon adatokat írni az SQL Serverre. A beállítás ellenőrzéséhez és bekapcsolásához lépjen a logikai SQL Server > Áttekintés > kiszolgálói tűzfal> beállítása beállításhoz az Azure-szolgáltatásokhoz való hozzáférés engedélyezése beállítást BE értékre.

Adat-előállító létrehozása

Ebben a lépésben létrehoz egy adat-előállítót, és elindítja a Data Factory felhasználói felületét, hogy létrehozzon egy folyamatot az adat-előállítóban.

1. Nyissa meg a Microsoft Edge-et vagy a Google Chrome-ot. A Data Factory felhasználói felületének használata jelenleg csak a Microsoft Edge-ben és a Google Chrome-ban támogatott.

2. A bal oldali menüben válassza az Erőforrás-integrációs>>adat-előállító létrehozása lehetőséget.

3. A Data Factory létrehozása lap Alapszintű beállítások lapján válassza ki azt az Azure-előfizetést, amelyben létre szeretné hozni az adat-előállítót.

4. Erőforráscsoport: hajtsa végre a következő lépések egyikét:

   a. Válasszon ki egy meglévő erőforráscsoportot a legördülő listából.

   b. Válassza az Új létrehozása lehetőséget, és adja meg egy új erőforráscsoport nevét.

   Az erőforráscsoportokkal kapcsolatos információkért tekintse meg az Erőforráscsoportok használata az Azure-erőforrások kezeléséhez ismertető cikket.

5. A Régió területen válassza ki az adat-előállító helyét. A legördülő listán csak a támogatott helyek jelennek meg. Az adat-előállítók által használt adattárak (például az Azure Storage és az SQL Database) és számítási erőforrások (például az Azure HDInsight) más régiókban is lehetnek.

6. A Név mezőbe írja be az ADFTutorialDataFactory nevet.

   Az Azure data factory nevének globálisan egyedinek kell lennie. Ha a név értékével kapcsolatos hibaüzenet kap, adjon meg másik nevet az adat-előállítóhoz. (például a yournameADFTutorialDataFactory). A Data Factory-összetevők elnevezési szabályait a Data Factory elnevezési szabályait ismertető cikkben találja.

   

7. A Verzió résznél válassza a V2 értéket.

8. Válassza felül a Git konfigurációs lapját, majd jelölje be a Git konfigurálása később jelölőnégyzetet.

9. Válassza a Véleményezés + létrehozás lehetőséget, majd az ellenőrzés sikeres befejezése után válassza a Létrehozás lehetőséget .

10. A létrehozás befejezése után megjelenik az értesítés az Értesítések központban. Válassza az Ugrás az erőforrásra lehetőséget a Data Factory lapra való navigáláshoz.

11. Válassza a Megnyitás az Azure Data Factory Studio megnyitása csempén az Azure Data Factory felhasználói felületének külön lapon való elindításához.

Folyamat létrehozása

Ebben a lépésben létrehoz egy másolási tevékenységgel rendelkező folyamatot az adat-előállítóban. A másolási tevékenység adatokat másol egy Blob Storage-ból egy SQL Database-be. A rövid útmutatóban létrehozott egy folyamatot az alábbi lépéseket követve:

1. Hozza létre a társított szolgáltatást.
2. Hozzon létre bemeneti és kimeneti adatkészleteket.
3. Folyamat létrehozása.

Ebben az oktatóanyagban először létrehozzuk a folyamatot. Ezután társított szolgáltatásokat és adatkészleteket hozunk létre, amikor szükség van rájuk a folyamat konfigurálásához.

1. A kezdőlapon válassza az Orchestrate (Vezénylés) lehetőséget.

   

2. Az Általános panel Tulajdonságok területén adja meg a CopyPipeline nevet. Ezután a jobb felső sarokban található Tulajdonságok ikonra kattintva összecsukja a panelt.

3. A Tevékenységek eszközmezőben bontsa ki az Áthelyezés és átalakítás kategóriát, és húzza az adatmásolási tevékenységet az eszközmezőből a folyamattervező felületére. Adja meg a CopyFromBlobToSql értéket a Név mezőben.

   

Forrás konfigurálása

Tipp.

Ebben az oktatóanyagban a fiókkulcsot használja a forrásadattár hitelesítési típusaként, de más támogatott hitelesítési módszereket is választhat: SAS URI, szolgáltatásnév és felügyelt identitás, ha szükséges. A részletekért tekintse meg a cikk megfelelő szakaszait. Az adattárak titkos kulcsainak biztonságos tárolásához javasoljuk az Azure Key Vault használatát is. Részletes illusztrációkat ebben a cikkben talál.

1. Lépjen a Forrás lapra. Forrásadatkészlet létrehozásához válassza az + Új lehetőséget.

2. Az Új adathalmaz párbeszédpanelen válassza az Azure Blob Storage lehetőséget, majd a Folytatás lehetőséget. A forrásadatok egy Blob Storage-ban vannak, tehát forrásadatkészletként az Azure Blob Storage-ot válassza.

3. A Formátum kiválasztása párbeszédpanelen válassza ki az adatok formátumtípusát, majd válassza a Folytatás lehetőséget.

4. A Tulajdonságok beállítása párbeszédpanelen adja meg a SourceBlobDataset for Name kifejezést. Jelölje be az Első sor fejlécként jelölőnégyzetét. A Csatolt szolgáltatás szövegmezőben válassza az + Új lehetőséget.

5. Az Új társított szolgáltatás (Azure Blob Storage) párbeszédpanelen adja meg az AzureStorageLinkedService nevet, és válassza ki a tárfiókot a Tárfiók névlistájából. Tesztelje a kapcsolatot, és válassza a Létrehozás lehetőséget a társított szolgáltatás üzembe helyezéséhez.

6. A társított szolgáltatás létrehozása után a rendszer vissza lép a Tulajdonságok beállítása lapra. A Fájl elérési útja mellett válassza a Tallózás lehetőséget.

7. Lépjen az adftutorial/input mappára, válassza ki a emp.txt fájlt, majd kattintson az OK gombra.

8. Kattintson az OK gombra. Automatikusan a folyamatoldalra navigál. A Forrás lapon ellenőrizze, hogy a SourceBlobDataset van-e kiválasztva. A lapon lévő adatok előnézetének megtekintéséhez válassza az Adatok előnézete elemet.

   

Fogadó konfigurálása

Tipp.

Ebben az oktatóanyagban az SQL-hitelesítést használja a fogadó adattár hitelesítési típusaként, de más támogatott hitelesítési módszereket is választhat: szükség esetén szolgáltatásnév és felügyelt identitás. A részletekért tekintse meg a cikk megfelelő szakaszait. Az adattárak titkos kulcsainak biztonságos tárolásához javasoljuk az Azure Key Vault használatát is. Részletes illusztrációkat ebben a cikkben talál.

1. Váltson a Fogadó lapra, és válassza az + Új elemet egy fogadó-adatkészlet létrehozásához.

2. Az Új adathalmaz párbeszédpanelen írja be az "SQL" kifejezést a keresőmezőbe az összekötők szűréséhez, válassza az Azure SQL Database lehetőséget, majd válassza a Folytatás lehetőséget. Ebben az oktatóanyagban adatokat másol egy SQL Database-be.

3. A Tulajdonságok beállítása párbeszédpanelen adja meg a Név OutputSqlDataset értékét. A Társított szolgáltatás legördülő listában válassza az + Új lehetőséget. Az adatkészleteket mindig társítani kell egy társított szolgáltatáshoz. A társított szolgáltatás rendelkezik az kapcsolati sztring, amelyet a Data Factory használ az SQL Database-hez való futásidőben való csatlakozáshoz. Az adatkészlet meghatározza azt a tárolót, mappát és fájlt (az utóbbi nem kötelező), ahova a rendszer az adatokat másolja.

4. Az Új társított szolgáltatás (Azure SQL Database) párbeszédpanelen hajtsa végre a következő lépéseket:

   a. A Név mezőbe írja az AzureSqlDatabaseLinkedService nevet.

   b. A Kiszolgáló neve mezőben válassza ki az SQL Server-példányát.

   c. Az Adatbázis neve területen válassza ki az adatbázist.

   d. A Felhasználónév mezőben adja meg a felhasználó nevét.

   e. A Jelszó mezőben adja meg a felhasználó jelszavát.

   f. A kapcsolat teszteléséhez válassza a Kapcsolat tesztelése elemet.

   : Válassza a Létrehozás lehetőséget a társított szolgáltatás üzembe helyezéséhez.

   

5. Automatikusan a Tulajdonságok beállítása párbeszédpanelre lép. A Tábla területen válassza a [dbo].[emp] elemet. Ezután válassza az OK gombra.

6. Lépjen a folyamatot tartalmazó lapra, és győződjön meg arról, hogy a Fogadóadattár mezőben az OutputSqlDataset érték van kiválasztva.

   

A forrás sémáját igény szerint megfeleltetheti a célséma megfelelő sémájának, ha a másolási tevékenység sémaleképezését követi.

A folyamat érvényesítése

A folyamat érvényesítéséhez válassza az Érvényesítés elemet az eszköztáron.

A folyamathoz társított JSON-kódot a jobb felső sarokban található Kód gombra kattintva tekintheti meg.

A folyamat hibakeresése és közzététele

Elvégezheti a folyamat hibakeresését, mielőtt összetevőket (társított szolgáltatások, adatkészletek és folyamat) tenne közzé a Data Factoryben vagy a saját Azure Repos Git-adattárában.

1. A folyamat hibakereséséhez válassza a Hibakeresés elemet az eszköztáron. A folyamat futtatási állapotát az ablak alján található Kimenet lapon tekintheti meg.

2. Miután a folyamat sikeresen lefutott, a felső eszköztáron válassza az Összes közzététele lehetőséget. Ez a művelet közzéteszi a létrehozott entitásokat (adatkészleteket és folyamatokat) a Data Factoryben.

3. Várjon, amíg megjelenik a Sikeres közzététel üzenet. Az értesítési üzenetek megtekintéséhez kattintson az Értesítések megjelenítése elemre (csengő gomb) a jobb felső sarokban.

A folyamat manuális aktiválása

Ebben a lépésben manuálisan fogja aktiválni az előző lépésben közzétett folyamatot.

1. Kattintson az Aktiválás gombra az eszköztáron, majd válassza az Aktiválás most lehetőséget. A Folyamatfuttatás lapon válassza az OK gombot.

2. Lépjen a bal oldali Figyelés lapra. Itt láthat egy manuális eseményindító által aktivált folyamatfuttatást. A FOLYAMATNÉV oszlop hivatkozásai segítségével megtekintheti a tevékenység részleteit, és újrafuttathatja a folyamatot.

   

3. A folyamatfuttatáshoz társított tevékenységfuttatások megtekintéséhez válassza a CopyPipeline hivatkozást a PIPELINE NAME oszlop alatt. Ebben a példában csak egy tevékenység van, így csak egy bejegyzés jelenik meg a listában. A másolási művelettel kapcsolatos részletekért válassza a Részletek hivatkozást (szemüveg ikon) a TEVÉKENYSÉGNÉV oszlopban. A folyamatfuttatások nézetre való visszalépéshez válassza a felül található Összes folyamatfuttatás lehetőséget. A nézet frissítéséhez válassza a Frissítés parancsot.

   

4. Ellenőrizze, hogy két további sor van-e hozzáadva az emp táblához az adatbázisban.

A folyamat aktiválása ütemezés szerint

Ebben az ütemezésben egy ütemezési eseményindítót fog létrehozni a folyamathoz. Az eseményindító a meghatározott ütemezés (például óránként vagy naponta) szerint futtatja a folyamatot. Itt beállíthatja, hogy az eseményindító percenként fusson a megadott befejezési dátumig.

1. Lépjen a bal oldali Monitorozás lap feletti Létrehozás lapra.

2. Lépjen a folyamathoz, kattintson az eszköztáron az Aktiválás, majd az Új/Szerkesztés lehetőségre.

3. Az Eseményindítók hozzáadása párbeszédpanelen válassza az + Új az eseményindító kiválasztásához területet.

4. Az Új eseményindító ablakban hajtsa végre az alábbi lépéseket:

   a. A Név mezőbe írja a RunEveryMinute nevet.

   b. Frissítse az eseményindító kezdési dátumát . Ha a dátum az aktuális dátum előtt van, az eseményindító a módosítás közzététele után lép érvénybe.

   c. Az Időzóna területen válassza ki a legördülő listát.

   d. Állítsa az ismétlődés 1 percenkénti értékre.

   e. Jelölje be a Záró dátum megadása jelölőnégyzetet, és frissítse a Befejezés a részre, hogy néhány perccel korábbi legyen az aktuális dátumidőnél. Az eseményindító csak a módosítások közzététele után lesz aktív. Ha csak néhány percre van egymástól, és addig nem teszi közzé, akkor nem fog eseményindítót futtatni.

   f. Aktivált beállítás esetén válassza az Igen lehetőséget.

   : Kattintson az OK gombra.

   Fontos

   Minden egyes folyamatfuttatásnak van bizonyos költségvonzata, ezért a befejezés időpontját ezt figyelembe véve adja meg.

5. Az eseményindító szerkesztése lapon tekintse át a figyelmeztetést, majd válassza a Mentés lehetőséget. A jelen példában található folyamat nem használ paramétereket.

6. Kattintson az Összes közzététele gombra a módosítás közzétételéhez.

7. Lépjen a bal oldali Figyelés lapra az aktivált folyamatfuttatások megtekintéséhez.

   

8. A Folyamatfuttatások nézetről a Trigger-futtatások nézetre való váltáshoz válassza az ablak bal oldalán található Trigger-futtatások lehetőséget.

9. Itt megtekintheti az eseményindító-futtatások listáját.

10. Ellenőrizze, hogy a megadott befejezési időig percenként (folyamatfuttatásonként) két sor be van-e szúrva az emp táblába.

Kapcsolódó tartalom

A példában szereplő folyamat adatokat másol az egyik helyről egy másikra a Blob Storage-ban. Megtanulta végrehajtani az alábbi műveleteket:

• Adat-előállító létrehozása
• Másolási tevékenységgel rendelkező folyamat létrehozása.
• A folyamat próbafuttatása
• A folyamat manuális aktiválása
• A folyamat aktiválása ütemezés szerint
• A folyamat és a tevékenységek futásának monitorozása

A következő oktatóanyagra lépve megismerheti az adatok helyszíni rendszerből felhőre való másolásának folyamatát:

Adatok másolása a helyszínről a felhőbe