Adatok másolása SQL Server-adatbázisból az Azure Blob Storage-ba

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ebben az oktatóanyagban az Azure Data Factory felhasználói felületével (UI) hoz létre egy adat-előállító folyamatot, amely adatokat másol egy SQL Server-adatbázisból az Azure Blob Storage-ba. Létrehozhat és alkalmazhat egy saját üzemeltetésű integrációs modult, amely adatokat helyez át a helyszíni és a felhőalapú adattárolók között.

Feljegyzés

Ez a cikk nem mutatja be részletesen a Data Factory szolgáltatást. További információ: A Data Factory bemutatása.

Az oktatóanyagban az alábbi lépéseket fogja végrehajtani:

• Adat-előállító létrehozása
• Hozzon létre helyi integrációs modult.
• SQL Server- és Azure Storage-beli társított szolgáltatások létrehozása.
• SQL Server- és Azure Blob-adatkészletek létrehozása.
• Folyamat létrehozása másolási tevékenységgel az adatok áthelyezéséhez
• Folyamat futásának indítása
• A folyamat futásának monitorozása.

Előfeltételek

Azure-előfizetés

Ha még nem rendelkezik Azure-előfizetéssel, első lépésként hozzon létre egy ingyenes fiókot.

Azure-szerepkörök

Az adat-előállító példányok létrehozásához annak a felhasználói fióknak, amellyel bejelentkezik az Azure-ba, a közreműködő vagy tulajdonos szerepkör tagjának, vagy az Azure-előfizetés rendszergazdájának kell lennie.

Az előfizetésben található engedélyek megtekintéséhez lépjen be az Azure Portalra. Válassza ki a felhasználónevet a jobb felső sarokban, majd válassza az Engedélyek elemet. Ha több előfizetéshez is rendelkezik hozzáféréssel, válassza ki a megfelelő előfizetést. A felhasználó szerepkörhöz való hozzáadására vonatkozó mintautasításért lásd : Azure-szerepkörök hozzárendelése az Azure Portal használatával.

SQL Server 2014, 2016 és 2017

Ebben az oktatóanyagban egy SQL Server-adatbázist használ forrásadattárként. Az ebben az oktatóanyagban létrehozott data factory-folyamat adatokat másol ebből az SQL Server-adatbázisból (forrásból) a Blob Storage-ba (fogadóba). Ezután létre fog hozni egy emp nevű táblát az SQL Server-adatbázisban, és beszúr a táblába néhány mintabejegyzést.

1. Indítsa el az SQL Server Management Studiót. Ha még nincs telepítve a számítógépen, tekintse meg az SQL Server Management Studio letöltését ismertető cikket.

2. Csatlakozzon az SQL Server-példányához a hitelesítő adataival.

3. Hozzon létre egy mintaadatbázist. A fanézetben kattintson a jobb gombbal a Databases (Adatbázisok) elemre, majd válassza a New Database (Új adatbázis) elemet.

4. Az New Database (Új adatbázis) ablakban adjon nevet az új adatbázisnak, majd kattintson az OK gombra.

5. Az emp tábla létrehozásához és néhány mintaadat beszúrásához futtassa a következő lekérdezési szkriptet az adatbázison. A fanézetben kattintson a jobb gombbal a létrehozott adatbázisra, majd válassza a New Query (Új lekérdezés) elemet.

    CREATE TABLE dbo.emp
    (
        ID int IDENTITY(1,1) NOT NULL,
        FirstName varchar(50),
        LastName varchar(50)
    )
    GO
   
    INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
    INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
    GO
   

Azure Storage-fiók

Ebben az oktatóanyagban egy általános célú Azure Storage-fiókot (ebben az esetben blobtárolót) használunk cél-/fogadóadattárként. Ha még nem rendelkezik általános célú Azure Storage-fiókkal, tekintse meg a Tárfiók létrehozását ismertető cikket. Az oktatóanyagban létrehozott data factory-folyamat adatokat másol az SQL Server-adatbázisból (forrásból) a Blob Storage-ba (fogadóba).

Tárfióknév és fiókkulcs beszerzése

Ebben az oktatóanyagban a tárfiók nevét és kulcsát használjuk. A tárfiók nevét és kulcsát az alábbi lépéseket követve szerezheti be:

1. Jelentkezzen be az Azure Portalra az Azure-ban használt felhasználónevével és jelszavával.

2. A bal oldali panelen válassza a Minden szolgáltatás lehetőséget. Szűrjön rá a Tárolás kulcsszóra, majd válassza a Tárfiókok lehetőséget.

   

3. A tárfiókok listájában szükség esetén szűrjön a tárfiókra. Ezután válassza ki a tárfiókot.

4. A Tárfiók ablakban válassza a Hozzáférési kulcsok elemet.

5. Másolja a Tárfiók neve és 1. kulcs mező értékét, majd illessze be őket egy jegyzettömbbe vagy más szerkesztőbe az oktatóanyag későbbi részeiben történő használatra.

Adftutorial tároló létrehozása

Ebben a szakaszban egy adftutorial nevű blobtárolót hoz létre a Blob Storage-ban.

1. A Storage-fiók ablakában lépjen az Áttekintés elemre, majd válassza a Tárolók lehetőséget.

   

2. A Tárolók ablakban válassza a + Tároló lehetőséget egy új létrehozásához.

3. Az Új tároló ablak Név mezőjébe írja be az adftutorial nevet. Válassza a Létrehozás parancsot.

4. A tárolók listájában válassza ki az imént létrehozott adftutorialt .

5. Ne zárja be az adftutorialtároló ablakát. Ezzel ellenőrizheti a kimenetet az oktatóanyag végén. A Data Factory automatikusan létrehozza a kimeneti mappát a tárolóban, így nem kell újat létrehoznia.

Adat-előállító létrehozása

Ebben a lépésben létrehoz egy adat-előállítót, és elindítja a Data Factory felhasználói felületét, hogy létrehozzon egy folyamatot az adat-előállítóban.

1. Nyissa meg a Microsoft Edge vagy a Google Chrome böngészőt. A Data Factory felhasználói felületének használata jelenleg csak a Microsoft Edge-ben és a Google Chrome-ban támogatott.

2. A bal oldali menüben válassza az Erőforrás-integrációs>>adat-előállító létrehozása lehetőséget:

   

3. Az Új adat-előállító lap Név mezőjében adja meg az ADFTutorialDataFactory értéket.

   Az adat-előállító nevének globálisan egyedinek kell lennie. Ha a Név mezőnél az alábbi hibaüzenet jelenik meg, módosítsa az adat-előállító nevét (például a következőre: sajátneveADFTutorialDataFactory). A Data Factory-összetevők elnevezési szabályait a Data Factory elnevezési szabályait ismertető cikkben találja.

   

4. Válassza ki azt az Azure-előfizetést, amelyben az adat-előállítót létre szeretné hozni.

5. Erőforráscsoport: hajtsa végre a következő lépések egyikét:

   • Kattintson a Meglévő használata elemre, majd a legördülő listából válasszon egy meglévő erőforráscsoportot.

   • Kattintson az Új létrehozása elemre, és adja meg az erőforráscsoport nevét.

     Az erőforráscsoportokkal kapcsolatos információkért tekintse meg az Erőforráscsoportok használata az Azure-erőforrások kezeléséhez ismertető cikket.

6. A Verzió résznél válassza a V2 értéket.

7. A Hely alatt válassza ki az adat-előállító helyét. A legördülő listán csak a támogatott helyek jelennek meg. A Data Factory által használt adattárak (például a Storage és az SQL Database) és számítási erőforrások (például az Azure HDInsight) más régiókban is lehetnek.

8. Válassza a Létrehozás lehetőséget.

9. A létrehozás befejezése után a Data Factory lap a képen látható módon jelenik meg:

   

10. Válassza a Megnyitás az Azure Data Factory Studio megnyitása csempén a Data Factory felhasználói felületének külön lapon való elindításához.

Folyamat létrehozása

1. Az Azure Data Factory kezdőlapján válassza az Orchestrate lehetőséget. A rendszer automatikusan létrehoz egy folyamatot. A folyamat fanézetben jelenik meg, és megnyílik a szerkesztő is.

   

2. A Tulajdonságok panel Általános paneljén adja meg az SQLServerToBlobPipeline nevet. Ezután a jobb felső sarokban található Tulajdonságok ikonra kattintva összecsukja a panelt.

3. A Tevékenységek eszközmezőben bontsa ki az Áthelyezés és átalakítás elemet. Húzza a Másolás tevékenységet a folyamat tervezési felületére. Állítsa a tevékenység nevét a következőre: CopySqlServerToAzureBlobActivity.

4. A Tulajdonságok ablakban lépjen a Forrás lapra, és válassza a + Új elemet.

5. Az Új adatkészlet párbeszédpanelen keressen rá az SQL Serverre. Válassza az SQL Servert, majd a Folytatás lehetőséget.

6. A Tulajdonságok beállítása párbeszédpanel Név területén adja meg az SqlServerDataset nevet. A Csatolt szolgáltatás területen válassza az + Új lehetőséget. Ebben a lépésben egy kapcsolatot hoz létre a forrásadatkészlettel (az SQL Server-adatbázissal).

7. Az Új társított szolgáltatás párbeszédpanelen adja hozzá a nevet SqlServerLinkedService néven. A Csatlakozás integrációs futtatókörnyezeten keresztül területen válassza az +Új lehetőséget. Ebben a szakaszban egy saját üzemeltetésű Integration Runtime átjárót hozhat létre, és társíthatja azt az SQL Server-adatbázist futtató helyszíni géppel. A saját üzemeltetésű integrációs modul az a komponens, amely adatokat másol a gépen futó SQL Server-adatbázisból a Blob Storage-ba.

8. Az Integrációs modul beállítása párbeszédpanelen válassza a Saját üzemeltetésű, majd a Folytatás lehetőséget.

9. A név alatt adja meg a TutorialIntegrationRuntime nevet. Válassza a Létrehozás parancsot.

10. A Beállítások beállításnál kattintson ide a számítógép expressz beállításának elindításához. Ez a művelet telepíti az integrációs modult a számítógépére, és regisztrálja azt a Data Factoryban. Használhatja a manuális telepítési lehetőséget is. Ehhez töltse le a telepítőfájlt, futtassa, majd a kulccsal regisztrálja az integrációs modult.

11. Az Integration Runtime (helyi) Express beállítási ablakban válassza a Bezárás elemet, amikor a folyamat befejeződött.

    

12. Az Új társított szolgáltatás (SQL Server) párbeszédpanelen ellenőrizze, hogy a TutorialIntegrationRuntime be van-e jelölve a Csatlakozás integrációs modulon keresztül. Ezután hajtsa végre a következő lépéseket:

    a. A Név mezőben adja meg az SqlServerLinkedService nevet.

    b. A Kiszolgáló neve alatt adja meg az SQL Server-példány nevét.

    c. Az Adatbázis neve alatt adja meg az emp táblával rendelkező adatbázis nevét.

    d. A Hitelesítés típusa alatt válassza ki azt a hitelesítési típust, amelyet a Data Factorynak az SQL Server-adatbázishoz történő csatlakozáshoz használnia kell.

    e. A Felhasználónév és a Jelszó alatt adja meg a felhasználónevet és a jelszót. Szükség esetén használja a mydomain\myuser felhasználónevet.

    f. Válassza a Kapcsolat tesztelése elemet. Ez a lépés annak ellenőrzésére szolgál, hogy a Data Factory képes-e csatlakozni az SQL Server-adatbázishoz a létrehozott saját üzemeltetésű integrációs modullal.

    : A csatolt szolgáltatás mentéséhez válassza a Létrehozás lehetőséget.

    

13. A társított szolgáltatás létrehozása után visszatér az SqlServerDataset Tulajdonságkészlet beállítása lapjára. Tegye a következőket:

    a. Ellenőrizze, hogy a Társított szolgáltatás mezőben látható-e az SqlServerLinkedService szolgáltatás.

    b. A Táblanév csoportban válassza a [dbo].[ emp].

    c. Kattintson az OK gombra.

14. Lépjen az SQLServerToBlobPipeline folyamatot tartalmazó lapra, vagy válassza az SQLServerToBlobPipeline folyamatot a fanézetben.

15. Lépjen a Fogadó lapra a Tulajdonságok ablak alján, és válassza a + Új elemet.

16. Az Új adathalmaz párbeszédpanelen válassza az Azure Blob Storage lehetőséget. Ezután válassza a Folytatás elemet.

17. A Formátum kiválasztása párbeszédpanelen válassza ki az adatok formátumtípusát. Ezután válassza a Folytatás elemet.

    

18. A Tulajdonságok beállítása párbeszédpanelen adja meg az AzureBlobDataset for Name kifejezést. A Társított szolgáltatások szövegbeviteli mező mellett válassza az + Új lehetőséget.

19. Az Új társított szolgáltatás (Azure Blob Storage) párbeszédpanelen adja meg az AzureStorageLinkedService nevet, és válassza ki a tárfiókot a Tárfiók névlistájából. Tesztelje a kapcsolatot, majd válassza a Létrehozás lehetőséget a társított szolgáltatás üzembe helyezéséhez.

20. A társított szolgáltatás létrehozása után visszatér a Tulajdonságok beállítása lapra. Kattintson az OK gombra.

21. Nyissa meg a fogadó adatkészletét. A Kapcsolat lapon hajtsa végre az alábbi lépéseket:

    a. Ellenőrizze, hogy a Társított szolgáltatás részen az AzureStorageLinkedService van-e kiválasztva.

    b. A Fájl elérési útján adja meg az adftutorial/fromonprem értéket a Container/Directory részhez. Ha a kimeneti mappa nem létezik az adftutorial tárolóban, a Data Factory automatikusan létrehozza azt.

    c. A Fájl résznél válassza a Dinamikus tartalom hozzáadása lehetőséget.

    d. Adja hozzá@CONCAT(pipeline().RunId, '.txt'), majd válassza a Befejezés lehetőséget. Ez a művelet átnevezi a fájlt PipelineRunID.txt.

22. Lépjen a megnyitott folyamatot tartalmazó lapra, vagy válassza ki a folyamatot a fanézetben. Ellenőrizze, hogy a Fogadó-adatkészlet mezőben az AzureBlobDataset érték van-e kiválasztva.

23. A folyamat beállításainak érvényesítéséhez válassza az Érvényesítés elemet a folyamat eszköztárán. A Pipa érvényesítési kimenetének bezárásához válassza az ikont>>.

24. A Data Factoryben létrehozott entitások közzétételéhez válassza az Összes közzététele lehetőséget.

25. Várjon, amíg megjelenik a Közzététel befejeződött előugró ablak. A közzététel állapotának ellenőrzéséhez válassza az értesítések megjelenítése hivatkozást az ablak tetején. Az értesítési ablak bezárásához válassza a Bezárás elemet.

Folyamat futtatásának aktiválása

Válassza az Eseményindító hozzáadása lehetőséget a folyamat eszköztárán, majd válassza az Eseményindító most lehetőséget.

A folyamat futásának monitorozása

1. Lépjen a Figyelés lapra. Az előző lépésben manuálisan aktivált folyamat jelenik meg.

2. A folyamatfuttatáshoz társított tevékenységfuttatások megtekintéséhez válassza az SQLServerToBlobPipeline hivatkozást a PIPELINE NAME területen.

3. A Tevékenység futtatása lapon válassza a Részletek (szemüveg képe) hivatkozást a másolási művelet részleteinek megtekintéséhez. Ha vissza szeretne lépni a Folyamatfuttatások nézetre, válassza a felül található Minden folyamatfuttatás lehetőséget.

Kimenet ellenőrzése

A folyamat automatikusan létrehozza a fromonprem nevű kimeneti mappát az adftutorial blobtárolóban. Ellenőrizze, hogy a [pipeline().RunId].txt fájl megjelenik-e a kimeneti mappában.

Kapcsolódó tartalom

A példában szereplő folyamat adatokat másol az egyik helyről egy másikra a Blob Storage-ban. Megtanulta végrehajtani az alábbi műveleteket:

• Adat-előállító létrehozása
• Hozzon létre helyi integrációs modult.
• SQL Server- és Storage-beli társított szolgáltatások létrehozása.
• SQL Server- és Blob Storage-adatkészletek létrehozása.
• Folyamat létrehozása másolási tevékenységgel az adatok áthelyezéséhez
• Folyamat futásának indítása
• A folyamat futásának monitorozása.

A Data Factory által támogatott adattárak listáját a támogatott adattárakat ismertető cikk tartalmazza.

Az adatok egy forrásból egy célhelyre történő tömeges másolásának megismeréséhez lépjen a következő oktatóanyagra:

Adatok tömeges másolása