Adatok másolása SQL Server-adatbázisból az Azure Blob Storage-ba

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Tipp

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésekig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyen!

Ebben az oktatóanyagban a Azure Data Factory felhasználói felület (UI) használatával hoz létre egy adat-előállító folyamatot, amely adatokat másol egy SQL Server-adatbázisból az Azure Blob Storage-ba. Létrehozhat és alkalmazhat egy saját üzemeltetésű integrációs modult, amely adatokat helyez át a helyszíni és a felhőalapú adattárolók között.

Megjegyzés

Ez a cikk nem mutatja be részletesen a Data Factory szolgáltatást. További információ: A Data Factory bemutatása.

Az oktatóanyagban az alábbi lépéseket fogja végrehajtani:

• Adat-előállító létrehozása
• Hozzon létre egy saját üzemeltetésű integrációs modult.
• SQL Server- és Azure Storage-beli társított szolgáltatások létrehozása.
• SQL Server- és Azure Blob-adatkészletek létrehozása.
• Folyamat létrehozása másolási tevékenységgel az adatok áthelyezéséhez
• Folyamat futásának indítása
• A folyamat futásának monitorozása.

Előfeltételek

Azure-előfizetés

Ha még nem rendelkezik Azure-előfizetéssel, első lépésként hozzon létre egy ingyenes fiókot.

Azure-szerepkörök

Adat-előállító-példányok létrehozásához az Azure-ba való bejelentkezéshez használt felhasználói fióknak közreműködői vagy tulajdonosi szerepkörrel kell rendelkeznie, vagy az Azure-előfizetés rendszergazdájának kell lennie.

Az előfizetésben található engedélyek megtekintéséhez lépjen be az Azure Portalra. Válassza ki a felhasználónevet a jobb felső sarokban, majd válassza az Engedélyek elemet. Ha több előfizetéshez is rendelkezik hozzáféréssel, válassza ki a megfelelő előfizetést. A felhasználó szerepkörhöz való hozzáadására vonatkozó mintautasításért lásd: Azure-szerepkörök hozzárendelése a Azure Portal használatával.

SQL Server 2014, 2016 és 2017

Ebben az oktatóanyagban egy SQL Server-adatbázist fog használni forrásadattárként. Az oktatóanyagban létrehozott adat-előállító folyamata adatokat másol ebből a SQL Server adatbázisból (forrásból) a Blob Storage-ba (fogadóba). Ezután létre kell hoznia egy emp nevű táblát a SQL Server adatbázisban, és beszúrhat néhány mintabejegyzést a táblába.

1. Indítsa el az SQL Server Management Studiót. Ha még nincs telepítve a számítógépen, tekintse meg az SQL Server Management Studio letöltését ismertető cikket.

2. Csatlakozzon az SQL Server-példányához a hitelesítő adataival.

3. Hozzon létre egy mintaadatbázist. A fanézetben kattintson a jobb gombbal a Databases (Adatbázisok) elemre, majd válassza a New Database (Új adatbázis) elemet.

4. Az New Database (Új adatbázis) ablakban adjon nevet az új adatbázisnak, majd kattintson az OK gombra.

5. Az emp tábla létrehozásához és néhány mintaadat beszúrásához futtassa a következő lekérdezési szkriptet az adatbázison. A fanézetben kattintson a jobb gombbal a létrehozott adatbázisra, majd válassza a New Query (Új lekérdezés) elemet.

    CREATE TABLE dbo.emp
    (
        ID int IDENTITY(1,1) NOT NULL,
        FirstName varchar(50),
        LastName varchar(50)
    )
    GO
   
    INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
    INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
    GO
   

Azure Storage-fiók

Ebben az oktatóanyagban egy általános célú Azure Storage-fiókot (ebben az esetben blobtárolót) használunk cél-/fogadóadattárként. Ha még nem rendelkezik általános célú Azure Storage-fiókkal, tekintse meg a Tárfiók létrehozását ismertető cikket. Az oktatóanyagban létrehozott adat-előállító folyamata adatokat másol a SQL Server adatbázisból (forrásból) a Blob Storage-ba (fogadóba).

Tárfióknév és fiókkulcs beszerzése

Ebben az oktatóanyagban a tárfiók nevét és kulcsát használjuk. A tárfiók nevét és kulcsát az alábbi lépéseket követve szerezheti be:

1. Jelentkezzen be az Azure Portalra az Azure-ban használt felhasználónevével és jelszavával.

2. A bal oldali panelen válassza a Minden szolgáltatás lehetőséget. Szűrjön rá a Tárolás kulcsszóra, majd válassza a Tárfiókok lehetőséget.

   

3. A tárfiókok listájában szükség esetén szűrjön a tárfiókra. Ezután válassza ki a tárfiókot.

4. A Tárfiók ablakban válassza a Hozzáférési kulcsok elemet.

5. Másolja a Tárfiók neve és 1. kulcs mező értékét, majd illessze be őket egy jegyzettömbbe vagy más szerkesztőbe az oktatóanyag későbbi részeiben történő használatra.

Adftutorial tároló létrehozása

Ebben a szakaszban egy adftutorial nevű blobtárolót hoz létre a Blob Storage-ban.

1. A Tárfiók ablakban lépjen az Áttekintés elemre, majd válassza a Tárolók lehetőséget.

   

2. A Tárolók ablakban válassza a + Tároló lehetőséget egy új létrehozásához.

3. Az Új tároló ablak Név mezőjébe írja be az adftutorial nevet. Ezután kattintson a Létrehozás elemre.

4. A tárolók listájában válassza ki az imént létrehozott adftutorial elemet.

5. Tartsa nyitva az adftutorial tárolóablakát. Ezzel ellenőrizheti a kimenetet az oktatóanyag végén. A Data Factory automatikusan létrehozza a kimeneti mappát a tárolóban, így nem kell újat létrehoznia.

Adat-előállító létrehozása

Ebben a lépésben létrehoz egy adat-előállítót, és elindítja a Data Factory felhasználói felületét, hogy létrehozzon egy folyamatot az adat-előállítóban.

1. Nyissa meg a Microsoft Edge vagy a Google Chrome böngészőt. A Data Factory felhasználói felületének használata jelenleg csak a Microsoft Edge-ben és a Google Chrome-ban támogatott.

2. A bal oldali menüben válassza azErőforrás-integrációs>>Data Factorylétrehozásalehetőséget:

   

3. Az Új adat-előállító lap Név mezőjében adja meg az ADFTutorialDataFactory értéket.

   Az adat-előállító nevének globálisan egyedinek kell lennie. Ha a Név mezőnél az alábbi hibaüzenet jelenik meg, módosítsa az adat-előállító nevét (például a következőre: sajátneveADFTutorialDataFactory). A Data Factory-összetevők elnevezési szabályait a Data Factory elnevezési szabályait ismertető cikkben találja.

   

4. Válassza ki azt az Azure-előfizetést, amelyben az adat-előállítót létre szeretné hozni.

5. Erőforráscsoport: hajtsa végre a következő lépések egyikét:

   • Válassza a Meglévő használata lehetőséget, és válasszon ki egy meglévő erőforráscsoportot a legördülő listából.

   • Válassza az Új létrehozása lehetőséget, és adja meg egy erőforráscsoport nevét.

     Az erőforráscsoportokkal kapcsolatos információkért tekintse meg az Erőforráscsoportok használata az Azure-erőforrások kezeléséhez ismertető cikket.

6. A Verzió résznél válassza a V2 értéket.

7. A Hely területen válassza ki az adat-előállító helyét. A legördülő listán csak a támogatott helyek jelennek meg. A Data Factory által használt adattárak (például a Storage és az SQL Database) és számítási erőforrások (például az Azure HDInsight) más régiókban is lehetnek.

8. Válassza a Létrehozás lehetőséget.

9. A létrehozás befejezése után a Data Factory lap a képen látható módon jelenik meg:

   

10. Válassza a Megnyitás lehetőséget a Megnyitás Azure Data Factory Studio csempén a Data Factory felhasználói felületének külön lapon való elindításához.

Folyamat létrehozása

1. A Azure Data Factory kezdőlapján válassza az Orchestrate lehetőséget. A rendszer automatikusan létrehoz egy folyamatot. A folyamat fanézetben jelenik meg, és megnyílik a szerkesztő is.

   

2. A Tulajdonságok területen az Általános panelen adja meg az SQLServerToBlobPipelinenevet a Név mezőben. Ezután csukja össze a panelt a jobb felső sarokban található Tulajdonságok ikonra kattintva.

3. A Tevékenységek eszközmezőben bontsa ki az Átalakítás áthelyezése &elemet. Húzza a Másolás tevékenységet a folyamat tervezési felületére. Állítsa a tevékenység nevét a következőre: CopySqlServerToAzureBlobActivity.

4. A Tulajdonságok ablakban lépjen a Forrás lapra, és válassza a + Új elemet.

5. Az Új adatkészlet párbeszédpanelen keresse meg a SQL Server. Válassza a SQL Server, majd a Folytatás lehetőséget.

6. A Tulajdonságok megadása párbeszédpanel Név területén adja meg az SqlServerDataset nevet. A Társított szolgáltatás területen válassza az + Új lehetőséget. Ebben a lépésben egy kapcsolatot hoz létre a forrásadatkészlettel (az SQL Server-adatbázissal).

7. Az Új társított szolgáltatás párbeszédpanelen adja hozzá a NevetSqlServerLinkedService néven. A Csatlakozás integrációs modulon keresztül területen válassza az +Új lehetőséget. Ebben a szakaszban egy saját üzemeltetésű Integration Runtime átjárót hozhat létre, és társíthatja azt az SQL Server-adatbázist futtató helyszíni géppel. A saját üzemeltetésű integrációs modul az a komponens, amely adatokat másol a gépen futó SQL Server-adatbázisból a Blob Storage-ba.

8. A Integration Runtime Beállítás párbeszédpanelen válassza a Saját üzemeltetésű, majd a Folytatás lehetőséget.

9. A név alatt adja meg a TutorialIntegrationRuntime nevet. Ezután kattintson a Létrehozás elemre.

10. A Beállítások területen válassza a Kattintson ide lehetőséget a számítógép expressz beállításának elindításához. Ez a művelet telepíti az integrációs modult a számítógépére, és regisztrálja azt a Data Factoryban. Használhatja a manuális telepítési lehetőséget is. Ehhez töltse le a telepítőfájlt, futtassa, majd a kulccsal regisztrálja az integrációs modult.

11. Az expressz telepítés Integration Runtime (helyi) ablakban válassza a Bezárás lehetőséget, amikor a folyamat befejeződött.

    

12. Az Új társított szolgáltatás (SQL Server) párbeszédpanelen ellenőrizze, hogy a TutorialIntegrationRuntime beállítás be van-e jelölve a Csatlakozás integrációs modulon keresztül területen. Ezután hajtsa végre a következő lépéseket:

    a. A Név mezőben adja meg az SqlServerLinkedService nevet.

    b. A Kiszolgáló neve alatt adja meg az SQL Server-példány nevét.

    c. Az Adatbázis neve alatt adja meg az emp táblával rendelkező adatbázis nevét.

    d. A Hitelesítés típusa alatt válassza ki azt a hitelesítési típust, amelyet a Data Factorynak az SQL Server-adatbázishoz történő csatlakozáshoz használnia kell.

    e. A Felhasználónév és a Jelszó alatt adja meg a felhasználónevet és a jelszót. Ha szükséges, használja a mydomain\myuser felhasználónevet.

    f. Válassza a Kapcsolat tesztelése elemet. Ez a lépés annak ellenőrzésére, hogy a Data Factory képes-e csatlakozni a SQL Server-adatbázishoz a létrehozott helyi integrációs modullal.

    : A társított szolgáltatás mentéséhez válassza a Létrehozás lehetőséget.

    

13. A társított szolgáltatás létrehozása után visszatér az SqlServerDataset Tulajdonságkészlet beállítása lapjára. Tegye a következőket:

    a. Ellenőrizze, hogy a Társított szolgáltatás mezőben látható-e az SqlServerLinkedService szolgáltatás.

    b. A Tábla neve területen válassza a [dbo].[ elemet. emp].

    c. Válassza az OK lehetőséget.

14. Lépjen az SQLServerToBlobPipeline folyamatot tartalmazó lapra, vagy válassza az SQLServerToBlobPipeline folyamatot a fanézetben.

15. Lépjen a Fogadó lapra a Tulajdonságok ablak alján, és válassza a + Új elemet.

16. Az Új adatkészlet párbeszédpanelen válassza a Azure Blob Storage lehetőséget. Ezután válassza a Folytatás elemet.

17. A Formátum kiválasztása párbeszédpanelen válassza ki az adatok formátumtípusát. Ezután válassza a Folytatás elemet.

    

18. A Tulajdonságok beállítása párbeszédpanelen adja meg az AzureBlobDataset nevet a Név mezőben. A Társított szolgáltatások szövegbeviteli mező mellett válassza az + Új lehetőséget.

19. Az Új társított szolgáltatás (Azure Blob Storage) párbeszédpanelen adja meg az AzureStorageLinkedService nevet, majd válassza ki a tárfiókot a Tárfiók neve listából. Tesztelje a kapcsolatot, majd válassza a Létrehozás lehetőséget a társított szolgáltatás üzembe helyezéséhez.

20. A társított szolgáltatás létrehozása után visszatér a Tulajdonságok beállítása lapra. Válassza az OK lehetőséget.

21. Nyissa meg a fogadó adatkészletet. A Kapcsolat lapon hajtsa végre az alábbi lépéseket:

    a. Ellenőrizze, hogy a Társított szolgáltatás részen az AzureStorageLinkedService van-e kiválasztva.

    b. A Fájl elérési útja mezőbe írja be az adftutorial/fromonprem értéket a Container/Directory részhez. Ha a kimeneti mappa nem létezik az adftutorial tárolóban, a Data Factory automatikusan létrehozza azt.

    c. A Fájl résznél válassza a Dinamikus tartalom hozzáadása lehetőséget.

    d. Adja hozzá @CONCAT(pipeline().RunId, '.txt')a elemet, majd válassza a Befejezés lehetőséget. Ez a művelet átnevezi a fájlt PipelineRunID.txt.

22. Lépjen a megnyitott folyamatot tartalmazó lapra, vagy válassza ki a folyamatot a fanézetben. Ellenőrizze, hogy a Fogadó-adatkészlet mezőben az AzureBlobDataset érték van-e kiválasztva.

23. A folyamat beállításainak érvényesítéséhez válassza az Érvényesítés elemet a folyamat eszköztárán. A Csőérvényesítés kimenetének bezárásához válassza az ikont >> .

24. A Data Factoryben létrehozott entitások közzétételéhez válassza az Összes közzététele lehetőséget.

25. Várjon, amíg megjelenik a Közzététel befejeződött előugró ablak. A közzététel állapotának ellenőrzéséhez válassza az értesítések megjelenítése hivatkozást az ablak tetején. Az értesítési ablak bezárásához válassza a Bezárás elemet.

Folyamat futtatásának aktiválása

Válassza az Eseményindító hozzáadása lehetőséget a folyamat eszköztárán, majd válassza az Aktiválás most lehetőséget.

A folyamat futásának monitorozása

1. Lépjen a Monitorozás lapra. Megjelenik az előző lépésben manuálisan aktivált folyamat.

2. A folyamatfuttatáshoz társított tevékenységfuttatások megtekintéséhez válassza az SQLServerToBlobPipeline hivatkozást a FOLYAMAT NEVE területen.

3. A Tevékenységfuttatások lapon válassza a Részletek (szemüvegkép) hivatkozást a másolási művelet részleteinek megtekintéséhez. Ha vissza szeretne lépni a Folyamatfuttatások nézetre, válassza a felül található Minden folyamatfuttatás lehetőséget.

Kimenet ellenőrzése

A folyamat automatikusan létrehozza a fromonprem nevű kimeneti mappát az adftutorial blobtárolóban. Ellenőrizze, hogy a [pipeline().RunId].txt fájl megjelenik-e a kimeneti mappában.

Következő lépések

A példában szereplő folyamat adatokat másol az egyik helyről egy másikra a Blob Storage-ban. Megtanulta végrehajtani az alábbi műveleteket:

• Adat-előállító létrehozása
• Hozzon létre egy saját üzemeltetésű integrációs modult.
• SQL Server- és Storage-beli társított szolgáltatások létrehozása.
• SQL Server- és Blob Storage-adatkészletek létrehozása.
• Folyamat létrehozása másolási tevékenységgel az adatok áthelyezéséhez
• Folyamat futásának indítása
• A folyamat futásának monitorozása.

A Data Factory által támogatott adattárak listáját a támogatott adattárakat ismertető cikk tartalmazza.

Az adatok egy forrásból egy célhelyre történő tömeges másolásának megismeréséhez lépjen a következő oktatóanyagra:

Adatok tömeges másolása