Adatok másolása az Azure Blob Storage-ból egy SQL Database-be az Adatok másolása eszközzel

Cikk
11/02/2023

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ebben az oktatóanyagban egy adat-előállítót hoz létre az Azure Portal használatával. Ezután az Adatok másolása eszközzel létrehoz egy folyamatot, amely adatokat másol az Azure Blob Storage-ból egy SQL Database-be.

Megjegyzés:

Ha még csak ismerkedik az Azure Data Factory használatával, olvassa el az Azure Data Factory használatának első lépéseit ismertető cikket.

Az oktatóanyagban az alábbi lépéseket fogja végrehajtani:

Adat-előállító létrehozása
Folyamat létrehozása az Adatok másolása eszközzel.
A folyamat és a tevékenységek futásának monitorozása

Előfeltételek

Azure-előfizetés: Ha nem rendelkezik Azure-előfizetéssel, első lépésként mindössze néhány perc alatt létrehozhat egy ingyenes fiókot.
Azure Storage-fiók: A Blob Storage használata forrásadattárként. Ha nem rendelkezik Azure Storage-fiókkal, tekintse meg a Tárfiók létrehozása című témakör utasításait.
Azure SQL Database: Használjon egy SQL Database-adatbázist fogadóadattárként. Ha nem rendelkezik SQL Database-adatbázissal, tekintse meg az SQL Database létrehozása című témakör utasításait.

Az SQL-adatbázis előkészítése

Engedélyezze az Azure-szolgáltatások számára, hogy hozzáférjenek az Azure SQL Database logikai SQL Serveréhez.

Ellenőrizze, hogy engedélyezve van-e a kiszolgáló elérésének engedélyezése az Azure-szolgáltatások és -erőforrások számára az SQL Database-t futtató kiszolgálón. Ezzel a beállítással engedélyezheti, hogy a Data Factory adatokat írjon az adatbázispéldányra. A beállítás ellenőrzéséhez és bekapcsolásához lépjen a logikai SQL Server > biztonsági > tűzfalaihoz és virtuális hálózataihoz>, és állítsa be az Azure-szolgáltatások és -erőforrások számára a kiszolgáló bekapcsolt értékre történő elérését.

Megjegyzés:

Az Azure-szolgáltatások és -erőforrások kiszolgálóhoz való hozzáférésének engedélyezése lehetővé teszi az SQL Serverhez való hálózati hozzáférést bármely Azure-erőforrásból, nem csak az előfizetésében lévőktől. Lehet, hogy nem minden környezethez megfelelő, de megfelelő ehhez a korlátozott oktatóanyaghoz. További információt az Azure SQL Server tűzfalszabályai című témakörben talál. Ehelyett privát végpontokkal csatlakozhat az Azure PaaS-szolgáltatásokhoz nyilvános IP-címek használata nélkül.

Blob és SQL-tábla létrehozása

Az alábbi lépések végrehajtásával készítse elő a Blob Storage-t és az SQL Database-t az oktatóanyaghoz.

Forrás blob létrehozása

Indítsa el a Jegyzettömböt. Másolja be a következő szöveget, és mentse a lemezen egy inputEmp.txt nevű fájlba:
```
FirstName|LastName
John|Doe
Jane|Doe
```
Hozzon létre egy adfv2tutorial nevű tárolót és töltse fel az inputEmp.txt fájlt a tárolóba. Ezeket a feladatokat az Azure Portalon vagy különböző eszközökkel, például az Azure Storage Explorerrel végezheti el.

Fogadó SQL-tábla létrehozása

Az alábbi SQL-szkripttel hozzon létre egy táblát dbo.emp az SQL Database-ben:

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO
CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

Adat-előállító létrehozása

A bal oldali menüben válassza az Erőforrás-integrációs>>adat-előállító létrehozása lehetőséget:
Az Új adat-előállító lap Név mezőjében adja meg az ADFTutorialDataFactory értéket.

Az adat-előállító nevének globálisan egyedinek kell lennie. A következő hibaüzenet jelenhet meg:

Ha a név értékével kapcsolatos hibaüzenet kap, adjon meg másik nevet az adat-előállítóhoz. Például: sajátneveADFTutorialDataFactory. A Data Factory-összetevők elnevezési szabályait a Data Factory elnevezési szabályait ismertető cikkben találja.
Válassza ki az Azure-előfizetést az új adat-előállító létrehozásához.
Erőforráscsoport: hajtsa végre a következő lépések egyikét:

a. Kattintson a Meglévő használata elemre, majd a legördülő listából válasszon egy meglévő erőforráscsoportot.

b. Kattintson az Új létrehozása elemre, és adja meg az erőforráscsoport nevét.

Az erőforráscsoportokkal kapcsolatos információkért tekintse meg az Erőforráscsoportok használata az Azure-erőforrások kezeléséhez ismertető cikket.
A Verzió résznél válassza a V2 értéket.
A Hely alatt válassza ki az adat-előállító helyét. A legördülő listában csak a támogatott helyek jelennek meg. Az adat-előállítók által használt adattárak (például Azure Storage és SQL Database) és számítási erőforrások (például Azure HDInsight) más helyeken/régiókban is lehetnek.
Select Create.
A létrehozás befejezése után a Data Factory kezdőlapja jelenik meg.
Az Azure Data Factory felhasználói felületének (UI) külön lapon való elindításához válassza a Megnyitás az Azure Data Factory Studio megnyitása csempén lehetőséget.

Folyamat létrehozása az Adatok másolása eszközzel

Az Azure Data Factory kezdőlapján válassza a Betöltési csempét az Adatok másolása eszköz elindításához.
Az Adatok másolása eszköz Tulajdonságok lapján válassza a Feladat típusa csoportban a Beépített másolási feladat lehetőséget, majd válassza a Tovább gombot.
A Forrásadattár oldalon hajtsa végre az alábbi lépéseket:

a. Válassza a + Új kapcsolat létrehozása lehetőséget a kapcsolat hozzáadásához.

b. Válassza az Azure Blob Storage lehetőséget a katalógusból, majd válassza a Folytatás lehetőséget.

c. Az Új kapcsolat (Azure Blob Storage) lapon válassza ki az Azure-előfizetését az Azure-előfizetések listájából, és válassza ki a tárfiókot a Tárfiók névlistájából . Tesztelje a kapcsolatot, majd válassza a Létrehozás lehetőséget.

d. Válassza ki az újonnan létrehozott társított szolgáltatást forrásként a Csatlakozás ion blokkban.

e. A Fájl vagy mappa szakaszban válassza a Tallózás lehetőséget az adfv2tutorialmappához való navigáláshoz, válassza ki az inputEmp.txt fájlt, majd kattintson az OK gombra.

f. A Tovább gombra kattintva lépjen a következő lépésre.
A Fájlformátum beállításai lapon engedélyezze az Első sor fejlécként jelölőnégyzetét. Figyelje meg, hogy az eszköz automatikusan észleli az oszlop- és sorhatárolókat, és a lapon az Adatok előnézete gombra kattintva megtekintheti az adatok előnézetét, és megtekintheti a bemeneti adatok sémáját. Then select Next.
A Céladattár oldalon hajtsa végre a következő lépéseket:

a. Válassza a + Új kapcsolat létrehozása lehetőséget a kapcsolat hozzáadásához.

b. Válassza ki az Azure SQL Database-t a katalógusból, majd válassza a Folytatás lehetőséget.

c. Az Új kapcsolat (Azure SQL Database) lapon válassza ki azure-előfizetését, kiszolgálónevét és adatbázisnevét a legördülő listából. Ezután válassza az SQL-hitelesítést a Hitelesítés típus alatt, adja meg a felhasználónevet és a jelszót. Tesztelje a kapcsolatot, és válassza a Létrehozás lehetőséget.

d. Válassza ki az újonnan létrehozott társított szolgáltatást fogadóként, majd válassza a Tovább gombot.
A Céladattár lapon válassza a Meglévő tábla használata lehetőséget, és válassza ki a táblátdbo.emp. Then select Next.
Az Oszlopleképezés lapon figyelje meg, hogy a bemeneti fájl második és harmadik oszlopa az emp tábla FirstName és LastName oszlopára van leképezve. Módosítsa a megfeleltetést, hogy biztosan ne legyen hiba, majd válassza a Tovább gombot.
A Gépház lap Tevékenység neve területén adja meg a CopyFromBlobToSqlPipeline nevet, majd válassza a Tovább gombot.
Az Összefoglalás lapon tekintse át a beállításokat, majd kattintson a Tovább gombra.
A folyamat (feladat) figyeléséhez az Üzembe helyezés lapon kattintson a Monitorozás elemre.
A Folyamat futtatása lapon válassza a Frissítés lehetőséget a lista frissítéséhez. Válassza a folyamat neve alatti hivatkozást a tevékenységfuttatás részleteinek megtekintéséhez vagy a folyamat újrafuttatásához.
A "Tevékenységfuttatások" lapon válassza a Részletek hivatkozást (szemüveg ikon) a Tevékenység neve oszlopban a másolási művelettel kapcsolatos további részletekért. Ha vissza szeretne lépni a "Folyamatfuttatások" nézethez, válassza a Minden folyamat futtatása hivatkozást a menüben. A nézet frissítéséhez válassza a Frissítés parancsot.
Ellenőrizze, hogy az adatok be lesznek-e szúrva a dbo.emp táblába az SQL Database-ben.
A szerkesztő módra való váltáshoz kattintson a bal oldalon található Létrehozás fülre. A szerkesztővel frissítheti a társított szolgáltatásokat, az adatkészleteket és az eszközzel létrehozott folyamatokat. Az entitások Data Factory felhasználói felületen való szerkesztéséről a jelen oktatóanyag Azure Portal-verziójában talál további információt.