Adatok másolása SQL Server adatbázisból Azure Blob Storage-ba az Adatok másolása eszközzel

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

• A Fabric ingyenes próbaverzió indítása.
• Az Azure Data Factory-ből a Data Factory-be a Microsoft Fabricben

Ebben az oktatóanyagban a Azure portál használatával hoz létre egy adat-előállítót. Ezután az Adatok másolása eszközzel létrehoz egy adatfolyamot, amely adatokat másol egy SQL Server adatbázisból az Azure Blob Storage-ba.

Megjegyzés

• Ha új az Azure Data Factory használata terén, olvassa el a Bevezetés a Data Factorybe című témakört.

Az oktatóanyagban az alábbi lépéseket fogja végrehajtani:

• Adat-előállító létrehozása
• Folyamat létrehozása az Adatok másolása eszközzel.
• A folyamatok és tevékenységek futásának figyelemmel kísérése

Előfeltételek

Azure előfizetés

Mielőtt hozzákezdene, ha még nem rendelkezik Azure-előfizetéssel, hozzon létre egy ingyenes fiókot.

Azure szerepkörök

Data Factory-példányok létrehozásához az Azure-ba való bejelentkezéshez használt felhasználói fióknak a Contributor vagy Owner szerepkörrel kell rendelkeznie, vagy az Azure előfizetés adminisztrátorának kell lennie.

Az előfizetésben található engedélyek megtekintéséhez nyissa meg a Azure portált. Válassza ki a felhasználónevét a jobb felső sarokban, majd válassza az Engedélyek elemet. Ha több előfizetéshez is rendelkezik hozzáféréssel, válassza ki a megfelelő előfizetést. A felhasználók szerepkörökhöz való hozzáadására vonatkozó mintautasításért lásd: A szerepkörök hozzárendelése Azure a Azure portálon.

SQL Server 2014-ben, 2016-ben és 2017-ben

Ebben az oktatóanyagban egy SQL Server adatbázist használ source adattárként. Az oktatóanyagban létrehozott Data Factory folyamat adatokat másol ebből a SQL Server adatbázisból (forrásból) a Blob Storage-ba (fogadóba). Ezután létre kell hoznia egy emp nevű táblát a SQL Server adatbázisban, és beszúrhat néhány mintabejegyzést a táblába.

1. Indítsa el SQL Server Management Studio. Ha még nincs telepítve a gépére, kövesse az alábbi linket: SQL Server Management Studio letöltése.

2. Csatlakozzon a SQL Server-példányhoz a hitelesítő adataival.

3. Hozzon létre egy mintaadatbázist. A fanézetben kattintson a jobb gombbal a Databases (Adatbázisok) elemre, majd válassza a New Database (Új adatbázis) elemet.

4. Az New Database (Új adatbázis) ablakban adjon nevet az új adatbázisnak, majd kattintson az OK gombra.

5. Az emp tábla létrehozásához és néhány mintaadat beszúrásához futtassa a következő lekérdezési szkriptet az adatbázison. A fanézetben kattintson a jobb gombbal a létrehozott adatbázisra, majd válassza a New Query (Új lekérdezés) elemet.

   CREATE TABLE dbo.emp
   (
       ID int IDENTITY(1,1) NOT NULL,
       FirstName varchar(50),
       LastName varchar(50)
   )
   GO
   
   INSERT INTO emp (FirstName, LastName) VALUES ('John', 'Doe')
   INSERT INTO emp (FirstName, LastName) VALUES ('Jane', 'Doe')
   GO
   

Azure tárfiók

Ebben az oktatóanyagban egy általános célú Azure tárfiókot (pontosabban Blob Storage-t) használ cél-/fogadóadattárként. Ha még nem rendelkezik általános célú tárfiókkal, a létrehozást segítő útmutatásért tekintse meg a tárfiók létrehozását ismertető cikket. Az ebben az oktatóanyagban létrehozott data factory-folyamat adatokat másol a SQL Server adatbázisból (forrásból) ebbe a Blob Storage-tárolóba (fogadóba).

Tárfióknév és fiókkulcs beszerzése

Ebben az oktatóanyagban a tárfiók nevét és kulcsát használjuk. A tárfiók nevét és kulcsát az alábbi lépéseket követve szerezheti be:

1. Jelentkezzen be a Azure portálra Azure felhasználónévvel és jelszóval.

2. A bal oldali panelen válassza a Minden szolgáltatás lehetőséget. Szűrjön rá a Tárolás kulcsszóra, majd válassza a Tárolófiókok lehetőséget.

   

3. A tárfiókok listájában állítson be szűrőt a tárfiókhoz, ha szükséges. Ezután válassza ki a tárfiókát.

4. A Tárfiók ablakban válassza a Hozzáférési kulcsok elemet.

5. Másolja a Tárfiók neve és 1. kulcs mező értékét, majd illessze be őket egy jegyzettömbbe vagy más szerkesztőbe az oktatóanyag későbbi részeiben történő használatra.

Adat-előállító létrehozása

1. A felső menüben válassza a Resource>Analytics>Data Factory létrehozása lehetőséget:

   

2. Az Új adat-előállító lap Név mezőjében adja meg az ADFTutorialDataFactory értéket.

   Az adat-előállító nevének globálisan egyedinek kell lennie. Ha a Név mezőnél az alábbi hibaüzenet jelenik meg, módosítsa az adat-előállító nevét (például a következőre: sajátneveADFTutorialDataFactory). A Data Factory-összetevők elnevezési szabályait a Data Factory elnevezési szabályait ismertető cikkben találja.

   

3. Válassza ki azt a Azure subscription, amelyben létre szeretné hozni az adat-előállítót.

4. Erőforráscsoport: hajtsa végre a következő lépések egyikét:

   • Kattintson a Meglévő használata elemre, majd a legördülő listából válasszon egy meglévő erőforráscsoportot.

   • Kattintson az Új létrehozása elemre, és adja meg az erőforráscsoport nevét.

     Az erőforráscsoportokról a A Azure erőforráscsoportok kezelése című témakörben olvashat.

5. A Verzió résznél válassza a V2 értéket.

6. A Hely alatt válassza ki az adat-előállító helyét. A legördülő listán csak a támogatott helyek jelennek meg. A Data Factory által használt adattárak (például Azure Storage és SQL Database) és számítások (például Azure HDInsight) más helyeken/régiókban is lehetnek.

7. Válassza a Létrehozás lehetőséget.

8. A létrehozás befejezése után a Data Factory lap a képen látható módon jelenik meg.

   

9. Válassza a Open lehetőséget a Open Azure Data Factory Studio csempén a Data Factory felhasználói felületének külön lapon való elindításához.

Folyamat létrehozása az Adatok másolása eszközzel

1. A Azure Data Factory kezdőlapon válassza a Ingest lehetőséget az Adatok másolása eszköz elindításához.

   

2. Az Adatok másolása eszköz Tulajdonságok lapján válassza a Beépített másolási feladat lehetőséget a Tevékenység típusa csoportban, majd válassza a Futtatás egyszer lehetőséget a Tevékenység ütemezése vagy a Feladatütemezés területen, majd válassza a Tovább gombot.

3. A Forrásadattár lapon válassza a + Új kapcsolat létrehozása lehetőséget.

4. A New connection területen keresse meg a SQL Server, majd válassza a Continue lehetőséget.

5. Az Új kapcsolat (SQL Server) párbeszédpanel Név területén adja meg az SqlServerLinkedService nevet. Válassza a +Új elemet a Csatlakozás integrációs modulon keresztül résznél. Létre kell hoznia egy saját üzemeltetésű integrációs modult, le kell töltenie a gépére, és regisztrálnia kell a Data Factoryban. A saját üzemeltetésű integrációs modul adatokat másol a helyszíni környezetből a felhőbe.

6. Az Integrációs modul beállítása párbeszédpanelen válassza a Saját üzemeltetés lehetőséget. Ezután válassza a Folytatás elemet.

   

7. Az Integrációs futtatókörnyezet beállítása párbeszédpanelen a Név mezőben adja meg a TutorialIntegrationRuntime nevet. Válassza a Létrehozás parancsot.

8. Az Integrációs futtatókörnyezet beállítása párbeszédpanelen kattintson ide a számítógép gyorsbeállításának elindításához. Ez a művelet telepíti az integrációs modult a számítógépére, és regisztrálja azt a Data Factoryban. Használhatja a manuális telepítési lehetőséget is. Ehhez töltse le a telepítőfájlt, futtassa, majd a kulccsal regisztrálja az integrációs modult.

9. Futtassa a letöltött alkalmazást. Az expressz telepítés állapota látható az ablakban.

   

10. A New Connection (SQL Server) párbeszédpanelen ellenőrizze, hogy TutorialIntegrationRuntime van-e kiválasztva a Csatlakozás integrációs modulon keresztül. Ezután hajtsa végre a következő lépéseket:

    a). A Név mezőben adja meg az SqlServerLinkedService nevet.

    b. A Kiszolgáló neve területen adja meg a SQL Server-példány nevét.

    c) Az Adatbázis neve mezőben adja meg a helyszíni adatbázis nevét.

    d. A Hitelesítés típusa mezőben válassza a megfelelő hitelesítést.

    e. A Felhasználó neve területen adja meg az SQL Server hozzáféréssel rendelkező felhasználó nevét.

    f. Adja meg a felhasználó jelszavát .

    g. Tesztelje a kapcsolatot, és válassza a Létrehozás lehetőséget.

    

11. A Forrásadattár lapon győződjön meg arról, hogy az újonnan létrehozott SQL Server kapcsolat van kiválasztva a Connection blokkban. Ezután a Forrástáblák szakaszban válassza a MEGLÉVŐ TÁBLÁK lehetőséget, és válassza ki a dbo.emp táblát a listában, majd válassza a Tovább lehetőséget. Az adatbázison alapuló bármelyik másik táblát is kiválaszthatja.

12. A Szűrő alkalmazása lapon megtekintheti az adatok előnézetét, és megtekintheti a bemeneti adatok sémáját az Adatok előnézete gombra kattintva. Ezután válassza a Tovább gombot.

13. A Céladattár lapon válassza a + Új kapcsolat létrehozása lehetőséget

14. A Kapcsolat területen keresse meg és válassza a Azure Blob Storage, majd a Continue lehetőséget.

    

15. A Új kapcsolat (Azure Blob Storage) párbeszédpanelen tegye a következőket:

    a). A Név mezőbe írja be az AzureStorageLinkedService nevet.

    b. A Csatlakozás integrációs modulon keresztül területen válassza a TutorialIntegrationRuntime lehetőséget, majd a Hitelesítési módszer alatt válassza a Fiókkulcs lehetőséget.

    c) A Azure előfizetés területen válassza ki Azure előfizetését a legördülő listából.

    d. A Tárfiók neve alatt a legördülő menüből válassza ki a tárfiókja nevét.

    e. Tesztelje a kapcsolatot, és válassza a Létrehozás lehetőséget.

16. A Destination data store párbeszédpanelen győződjön meg arról, hogy az újonnan létrehozott Azure Blob Storage kapcsolat van kiválasztva a Connection blokkban. Ezután a Mappa elérési útján írja be a adftutorial/fromonprem útvonalat. Az előfeltételek részeként létrehozott egy adftutorial nevű tárolót. Ha a kimeneti mappa nem létezik (jelen esetben a fromonprem), a Data Factory automatikusan létrehozza. A Tallózás gombbal is tallózhat a blobtárolóban és annak tárolóiban/mappáiban. Ha nem ad meg semmilyen értéket a Fájlnév résznél, alapértelmezés szerint a forrásnevet fogja használni (jelen esetben a dbo.emp nevet).

    

17. A Fájlformátum beállításai párbeszédpanelen kattintson a Tovább gombra.

18. A Beállítások párbeszédpanel Tevékenység neve területén adja meg a CopyFromOnPremSqlToAzureBlobPipeline nevet, majd válassza a Tovább gombot. Az Adatok másolása eszköz létrehoz egy pipeline-t a mezőben megadott néven.

19. Az Összefoglaló párbeszédpanelen tekintse át az összes beállítás értékét, és kattintson a Tovább gombra.

20. A folyamat (feladat) figyeléséhez az Üzembe helyezés lapon kattintson a Monitorozás elemre.

21. A folyamat futtatása után megtekintheti a létrehozott folyamat állapotát.

22. A "Folyamatfuttatások" lapon válassza a Frissítés lehetőséget a lista frissítéséhez. Válassza a folyamat neve alatti hivatkozást a tevékenységfuttatás részleteinek megtekintéséhez vagy a folyamat újrafuttatásához.

    

23. A "Tevékenységfuttatások" lapon válassza a Részletek hivatkozást (szemüveg-ikon) a Tevékenység neve oszlopban a másolási művelettel kapcsolatos további részletekért. Ha vissza szeretne lépni a "Folyamatfuttatások" lapra, válassza a Minden folyamat futtatása hivatkozást a menüben. A nézet frissítéséhez válassza a Frissítés parancsot.

    

24. Ellenőrizze, hogy látja-e a kimeneti fájlt az adftutorial tároló fromonprem mappájában.

25. A szerkesztő módra való váltáshoz kattintson a bal oldalon található Létrehozás fülre. A szerkesztővel frissítheti a társított szolgáltatásokat, az adatkészleteket és az eszközzel létrehozott folyamatokat. A szerkesztőben megnyitott entitáshoz társított JSON-kód megtekintéséhez kattintson a Kód elemre. Az entitások Data Factory felhasználói felületén való szerkesztésével kapcsolatos részletekért lásd az oktatóanyag az oktatóanyag Azure portálverzióját.

    

Kapcsolódó tartalom

A mintafolyamat adatokat másol egy SQL Server-adatbázisból a Blob Storage-ba. Megtanulta végrehajtani az alábbi műveleteket:

• Adat-előállító létrehozása
• Folyamat létrehozása az Adatok másolása eszközzel.
• A folyamatok és tevékenységek futásának figyelemmel kísérése

A Data Factory által támogatott adattárak listáját a támogatott adattárakat ismertető cikk tartalmazza.

Az adatok egy forrásból egy célhelyre történő tömeges másolásának megismeréséhez lépjen a következő oktatóanyagra:

Adatok tömeges másolása