Adatok másolása az Azure Blob Storage-ból egy SQL Database-be az Adatok másolása eszközzel

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Tipp

Egyszerű módot keres az adatok áthelyezésére? A Másolási feladat a Microsoft Fabricben egyszerű, méretezhető módot kínál az adatok folyamat létrehozása nélküli betöltésére. Megtudhatja, hogyan hozhat létre egyet.

Ebben az oktatóanyagban az Azure portál használatával hoz létre egy adatgyárat. Ezután az Adatok másolása eszközzel létrehoz egy folyamatot, amely adatokat másol az Azure Blob Storage-ból egy SQL Database-be.

Megjegyzés

Ha még nem ismerkedik az Azure Data Factory szolgáltatásban, olvassa el az Azure Data Factory bemutatása című témakört.

Az oktatóanyagban az alábbi lépéseket fogja végrehajtani:

• Adat-előállító létrehozása
• A "Copy Data" eszköz használatával hozzon létre egy folyamatláncot.
• A folyamat és a tevékenységek futásának monitorozása

Előfeltételek

• Azure-előfizetés: Ha nem rendelkezik Azure-előfizetéssel, a kezdés előtt hozzon létre egy ingyenes fiókot .
• Azure Storage-fiók: A Blob Storage használata forrásadattárként . Ha nem rendelkezik Azure Storage-fiókkal, tekintse meg a Tárfiók létrehozása című témakör utasításait.
• Azure SQL Database: Használjon egy SQL Database-adatbázist fogadóadattárként . Ha nem rendelkezik SQL Database-adatbázissal, tekintse meg az SQL Database létrehozása című témakör utasításait.

Az SQL-adatbázis előkészítése

Engedélyezze az Azure-szolgáltatások számára, hogy hozzáférjenek az Azure SQL Database logikai SQL Serveréhez.

1. Ellenőrizze, hogy engedélyezve van-e a kiszolgáló elérésének engedélyezése az Azure-szolgáltatások és -erőforrások számára az SQL Database-t futtató kiszolgálón. Ezzel a beállítással engedélyezheti, hogy a Data Factory adatokat írjon az adatbázispéldányra. A beállítás ellenőrzéséhez és bekapcsolásához lépjen a logikai SQL szerver > Biztonság > Tűzfalak és virtuális hálózatok > részhez, és állítsa az Azure-szolgáltatások és -erőforrások számára ezen szerver elérésének engedélyezése opciót BE értékre.

   Megjegyzés

   Az Azure-szolgáltatások és -erőforrások kiszolgálóhoz való hozzáférésének engedélyezése lehetővé teszi az SQL Serverhez való hálózati hozzáférést bármely Azure-erőforrásból, nem csak az előfizetésében lévőktől. Lehet, hogy nem minden környezethez megfelelő, de megfelelő ehhez a korlátozott oktatóanyaghoz. További információt az Azure SQL Server tűzfalszabályai című témakörben talál. Ehelyett privát végpontokkal csatlakozhat az Azure PaaS-szolgáltatásokhoz nyilvános IP-címek használata nélkül.

Blob és SQL-tábla létrehozása

Az alábbi lépések végrehajtásával készítse elő a Blob Storage-t és az SQL Database-t az oktatóanyaghoz.

Forrás blob létrehozása

1. Indítsa el a Jegyzettömböt. Másolja ki a következő szöveget, és mentse egy inputEmp.txt nevű fájlba a lemezen:

   FirstName|LastName
   John|Doe
   Jane|Doe
   

2. Hozzon létre egy adfv2tutorial nevű tárolót , és töltse fel a inputEmp.txt fájlt a tárolóba. Ezeket a feladatokat az Azure Portalon vagy különböző eszközökkel, például az Azure Storage Explorerrel végezheti el.

Sink SQL-tábla létrehozása

1. Az alábbi SQL-szkripttel hozzon létre egy táblát dbo.emp az SQL Database-ben:

   CREATE TABLE dbo.emp
   (
       ID int IDENTITY(1,1) NOT NULL,
       FirstName varchar(50),
       LastName varchar(50)
   )
   GO
   CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);
   

Adat-előállító létrehozása

1. A felső menüben válassza a Resource>Analytics>Data Factory létrehozása lehetőséget:

   

2. Az Új adat-előállító lap Név területén adja meg az ADFTutorialDataFactory nevet.

   Az adat-előállító nevének globálisan egyedinek kell lennie. A következő hibaüzenet jelenhet meg:

   

   Ha a névértékkel kapcsolatos hibaüzenetet kap, adjon meg másik nevet az adatgyárhoz. Használja például a név ADFTutorialDataFactory. A Data Factory-összetevők elnevezési szabályaiért lásd a Data Factory elnevezési szabályait.

3. Válassza ki azt az Azure-előfizetést , amelyben létre szeretné hozni az új adat-előállítót.

4. Erőforráscsoport esetén hajtsa végre az alábbi lépések egyikét:

   a). Válassza a Meglévő használata lehetőséget, és válasszon ki egy meglévő erőforráscsoportot a legördülő listából.

   b. Válassza az Új létrehozása lehetőséget, és adja meg egy erőforráscsoport nevét.

   Az erőforráscsoportokról az Azure-erőforrások kezelése erőforráscsoportok használatával című témakörben olvashat.

5. A verzió alatt válassza ki a verzióhoz tartozó V2-t .

6. A hely alatt válassza ki az adat-előállító helyét. A legördülő listában csak a támogatott helyek jelennek meg. Az adat-előállítók által használt adattárak (például Azure Storage és SQL Database) és számítási erőforrások (például Azure HDInsight) más helyeken/régiókban is lehetnek.

7. Válassza a Létrehozás lehetőséget.

8. A létrehozás után megjelenik a Data Factory kezdőlapja.

   

9. Az Azure Data Factory felhasználói felületének (UI) külön lapon való elindításához válassza a Megnyitás az Azure Data Factory Studio megnyitása csempén lehetőséget.

Folyamat létrehozása az Adatok másolása eszközzel

1. Az Azure Data Factory kezdőlapján válassza a Betöltési csempét az Adatok másolása eszköz elindításához.

   

2. Az Adatok másolása eszköz Tulajdonságok lapján válassza a Feladat típusa csoportban a Beépített másolási feladat lehetőséget, majd válassza a Tovább gombot.

   

3. A Forrásadattár lapon hajtsa végre a következő lépéseket:

   a). Válassza a + Új kapcsolat létrehozása lehetőséget a kapcsolat hozzáadásához.

   b. Válassza az Azure Blob Storage lehetőséget a katalógusból, majd válassza a Folytatás lehetőséget.

   c) Az Új kapcsolat (Azure Blob Storage) lapon válassza ki az Azure-előfizetését az Azure-előfizetések listájából, és válassza ki a tárfiókot a Tárfiók névlistájából . Tesztelje a kapcsolatot, majd válassza a Létrehozás lehetőséget.

   d. Válassza ki az újonnan létrehozott társított szolgáltatást forrásként a Kapcsolat blokkban.

   e. A Fájl vagy mappa szakaszban válassza a Tallózás lehetőséget az adfv2tutorial mappához való navigáláshoz, jelölje ki a inputEmp.txt fájlt, majd kattintson az OK gombra.

   f. A Tovább gombra kattintva lépjen a következő lépésre.

   

4. A Fájlformátum beállításai lapon engedélyezze az Első sor fejlécként jelölőnégyzetét. Figyelje meg, hogy az eszköz automatikusan észleli az oszlop- és sorhatárolókat, és a lapon az Adatok előnézete gombra kattintva megtekintheti az adatok előnézetét, és megtekintheti a bemeneti adatok sémáját. Ezután válassza a Tovább gombot.

   

5. A Céladattár lapon hajtsa végre a következő lépéseket:

   a). Válassza a + Új kapcsolat létrehozása lehetőséget a kapcsolat hozzáadásához.

   b. Válassza ki az Azure SQL Database-t a katalógusból, majd válassza a Folytatás lehetőséget.

   c) Az Új kapcsolat (Azure SQL Database) lapon válassza ki azure-előfizetését, kiszolgálónevét és adatbázisnevét a legördülő listából. Ezután válassza az SQL-hitelesítést a Hitelesítés típus alatt, adja meg a felhasználónevet és a jelszót. Tesztelje a kapcsolatot, és válassza a Létrehozás lehetőséget.

   

   d. Válassza ki az újonnan létrehozott társított szolgáltatást fogadóként, majd válassza a Tovább gombot.

6. A Céladattár lapon válassza a Meglévő tábla használata lehetőséget, és válassza ki a táblát dbo.emp . Ezután válassza a Tovább gombot.

7. Az Oszlopleképezés lapon figyelje meg, hogy a bemeneti fájl második és harmadik oszlopa az emp tábla FirstName és LastName oszlopára van leképezve. Módosítsa a megfeleltetést, hogy biztosan ne legyen hiba, majd válassza a Tovább gombot.

   

8. A Beállítások lap Tevékenység neve területén adja meg a CopyFromBlobToSqlPipeline nevet, majd kattintson a Tovább gombra.

   

9. Az Összefoglalás lapon tekintse át a beállításokat, majd kattintson a Tovább gombra.

10. Az Üzembe helyezés lapon válassza a Figyelés lehetőséget a folyamat (feladat) figyeléséhez.

    

11. A Folyamatfutások oldalon válassza a Frissítés lehetőséget a lista frissítéséhez. Válassza a folyamat neve alatti hivatkozást a tevékenységfuttatás részleteinek megtekintéséhez vagy a folyamat újrafuttatásához.

    

12. A "Tevékenységfuttatások" lapon válassza a Részletek hivatkozást (szemüveg ikon) a Tevékenység neve oszlopban a másolási művelettel kapcsolatos további részletekért. Ha vissza szeretne lépni a "Folyamatfuttatások" nézethez, válassza a Minden folyamat futtatása hivatkozást a menüben. A nézet frissítéséhez válassza a Frissítés lehetőséget.

    

13. Ellenőrizze, hogy az adatok be lesznek-e szúrva a dbo.emp táblába az SQL Database-ben.

14. A bal oldali Szerző fülre kattintva váltson a szerkesztő üzemmódra. A szerkesztővel frissítheti a társított szolgáltatásokat, az adatkészleteket és az eszközzel létrehozott folyamatokat. Az entitások Data Factory felhasználói felületén való szerkesztésével kapcsolatos részletekért tekintse meg az oktatóanyag Azure Portal-verzióját.

    

Kapcsolódó tartalom

A mintafolyamat adatokat másol a Blob Storage-ból egy SQL Database-adatbázisba. Megtanulta végrehajtani az alábbi műveleteket:

• Adat-előállító létrehozása
• Használja az Adatok másolása eszközt a pipeline létrehozásához.
• A folyamat és a tevékenységek futásának monitorozása

A következő oktatóanyagra lépve megismerheti az adatok helyszíni rendszerből felhőre való másolásának folyamatát:

Adatok másolása a helyszínről a felhőbe