Oktatóanyag: Adatok másolása az Azure Blob Storage-ból egy Azure SQL Database-adatbázisba az Azure Data Factory használatával

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Tipp

Egyszerű módot keres az adatok áthelyezésére? A Másolási feladat a Microsoft Fabricben egyszerű, méretezhető módot kínál az adatok folyamat létrehozása nélküli betöltésére. Megtudhatja, hogyan hozhat létre egyet.

Ebben az oktatóanyagban az Azure Data Factory felhasználói felületének használatával hoz létre egy adat-előállítót. A data factory folyamata adatokat másol az Azure Blob Storage-ból egy Azure SQL Database-adatbázisba. Az oktatóanyagban szereplő konfigurációs minta fájlalapú adattárból relációs adattárba való másolásra vonatkozik. A forrásként és fogadóként támogatott adattárak listáját a támogatott adattárak táblázatában találja.

Megjegyzés

Ha még nem ismerkedik a Data Factory szolgáltatásban, olvassa el az Azure Data Factory bemutatása című témakört.

Az oktatóanyagban az alábbi lépéseket fogja végrehajtani:

Előfeltételek

  • Azure-előfizetés. Ha nem rendelkezik Azure-előfizetéssel, a kezdés előtt hozzon létre egy ingyenes Azure-fiókot .
  • Azure Storage-fiók. A Blob Storage-t forrásadattárként használja. Ha nincs tárfiókja, a létrehozás lépéseit az Azure Storage-fiók létrehozása című témakörben találja.
  • Azure SQL Database. Az adatbázist fogadóadattárként használja. Ha nem rendelkezik adatbázissal az Azure SQL Database-ben, a létrehozás lépéseit az Adatbázis létrehozása az Azure SQL Database-ben című témakörben találja.

Blob és SQL-tábla létrehozása

Készítse elő a Blob Storage-et és az SQL Database-t az oktatóanyaghoz a következő lépésekkel.

Forrás blob létrehozása

  1. Indítsa el a Jegyzettömböt. Másolja ki a következő szöveget, és mentse emp.txt fájlként:

    FirstName,LastName
John,Doe
Jane,Doe

  2. Helyezze át a fájlt egy bemenet nevű mappába.

  3. Hozzon létre egy adftutorial nevű tárolót a Blob Storage-ban. Töltse fel a bemeneti mappát a emp.txt fájllal ebbe a tárolóba. Ezeket a feladatokat az Azure Portalon vagy az Azure Storage Explorerhez hasonló eszközökkel végezheti el.

Sink SQL-tábla létrehozása

  1. Az alábbi SQL-szkripttel hozza létre a dbo.emp táblát az adatbázisban:

    CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO

CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

  2. Engedélyezze az SQL Server elérését az Azure-szolgáltatások számára. Győződjön meg arról, hogy az Azure-szolgáltatásokhoz való hozzáférés engedélyezésebe van kapcsolva az SQL Serverén, hogy a Data Factory adatokat írhasson az SQL Serverre. A beállítás ellenőrzéséhez és bekapcsolásához nyissa meg az SQL Servert az Azure Portalon, és válassza a Kiválasztott hálózatok>biztonsági>hálózatkezelés> engedélyezése jelölőnégyzetet, és ellenőrizze, hogy az Azure-szolgáltatások és -erőforrások hozzáférhetnek-e a kiszolgálóhoz a Kivételek területen.

Adat-előállító létrehozása

Ebben a lépésben létrehoz egy adatgyárat, és elindítja a Data Factory felhasználói felületét, hogy létrehozzon egy adattovábbítást az adatgyárban.

  1. Nyissa meg a Microsoft Edge-et vagy a Google Chrome-ot. A Data Factory felhasználói felületének használata jelenleg csak a Microsoft Edge-ben és a Google Chrome-ban támogatott.

  2. A bal oldali menüben válassza a Erőforrás létrehozása>Elemzések>Adatgyár lehetőséget.

  3. A Data Factory létrehozása lap Alapszintű beállítások lapján válassza ki azt az Azure-előfizetést, amelyben létre szeretné hozni az adat-előállítót.

  4. Erőforráscsoport esetén hajtsa végre az alábbi lépések egyikét:

    a). Válasszon ki egy meglévő erőforráscsoportot a legördülő listából.

    b. Válassza az Új létrehozása lehetőséget, és adja meg egy új erőforráscsoport nevét.

    Az erőforráscsoportokról az Azure-erőforrások kezelése erőforráscsoportok használatával című témakörben olvashat.

  5. A Régió területen válassza ki az adat-előállító helyét. Az adattárak más régióban lehetnek, mint az adat-előállító, ha szükséges.

  6. A Név alatt az Azure data factory nevének globálisan egyedinek kell lennie. Ha a névértékkel kapcsolatos hibaüzenetet kap, adjon meg másik nevet az adatgyárhoz. (például a yournameADFDemo). A Data Factory-összetevők elnevezési szabályaiért lásd a Data Factory elnevezési szabályait.

    Új Data Factory-hibaüzenet ismétlődő név esetén.

  7. A Verzió területen válassza a V2 lehetőséget.

  8. Válassza felül a Git konfigurációs lapját, majd jelölje be a Git konfigurálása később jelölőnégyzetet.

  9. Válassza a Véleményezés + létrehozás lehetőséget, majd az ellenőrzés sikeres befejezése után válassza a Létrehozás lehetőséget .

  10. A létrehozás befejezése után megjelenik az értesítés az Értesítések központban. Válassza az Ugrás az erőforrásra lehetőséget a Data Factory lapra való navigáláshoz.

  11. Válassza a Launch Studio lehetőséget az Azure Data Factory Studio csempén.

Folyamat létrehozása

Ebben a lépésben létrehoz egy másolási tevékenységet tartalmazó folyamatot az adatgyárban. A másolási tevékenység adatokat másol egy Blob Storage-ból egy SQL Database-be.

  1. A kezdőlapon válassza az Orchestrate lehetőséget.

    Képernyőkép az ADF kezdőlapjáról.

  2. Az Általános panel Tulajdonságok területén adja meg a CopyPipeline-t névként. Ezután a jobb felső sarokban található Tulajdonságok ikonra kattintva összecsukja a panelt.

  3. A Tevékenységek eszközmezőben bontsa ki az Áthelyezés és átalakítás kategóriát, és húzza az adatmásolási tevékenységet az eszközmezőből a folyamattervező felületére. Adja meg a CopyFromBlobToSqlnevet.

    Másolási tevékenység

Forrás konfigurálása

Tipp

Ebben az oktatóanyagban a fiókkulcsot használja a forrásadattár hitelesítési típusaként, de más támogatott hitelesítési módszereket is választhat: sas URI, szolgáltatásnév és felügyelt identitás , ha szükséges. A részletekért tekintse meg a cikk megfelelő szakaszait. Az adattárak titkos kulcsainak biztonságos tárolásához javasoljuk az Azure Key Vault használatát is. Részletes illusztrációkat ebben a cikkben talál.

  1. Lépjen a Forrás lapra. Forrásadatkészlet létrehozásához válassza az + Új lehetőséget.

  2. Az Új adathalmaz párbeszédpanelen válassza az Azure Blob Storage lehetőséget, majd a Folytatás lehetőséget. A forrásadatok a Blob Storage-ban találhatóak, ezért a forrásadatkészlethez az Azure Blob Storage-t kell kiválasztania.

  3. A Formátum kiválasztása párbeszédpanelen válassza a Tagolt szöveg lehetőséget, majd válassza a Folytatás lehetőséget.

  4. A Tulajdonságok beállítása párbeszédpanelen adja meg a SourceBlobDataset for Name kifejezést. Jelölje be az Első sor fejlécként jelölőnégyzetét. A Csatolt szolgáltatás szövegmezőben válassza az + Új lehetőséget.

  5. Az Új társított szolgáltatás (Azure Blob Storage) párbeszédpanelen adja meg az AzureStorageLinkedService nevet, és válassza ki a tárfiókot a Tárfiók névlistájából . Tesztelje a kapcsolatot, és válassza a Létrehozás lehetőséget a társított szolgáltatás üzembe helyezéséhez.

  6. A társított szolgáltatás létrehozása után a rendszer vissza lép a Tulajdonságok beállítása lapra. A Fájl elérési útja mellett válassza a Tallózás lehetőséget.

  7. Lépjen az adftutorial/input mappára, válassza ki a emp.txt fájlt, majd kattintson az OK gombra.

  8. Válassza az OK gombot. Automatikusan a folyamatoldalra navigál. A Forrás lapon ellenőrizze, hogy a SourceBlobDataset van-e kiválasztva. Az adatok előnézetének megtekintéséhez válassza az Adatok előnézete lehetőséget.

    Forrásadatkészlet

Nyelő konfigurálása

Tipp

Ebben az oktatóanyagban az SQL-hitelesítést használja a fogadó adattár hitelesítési típusaként, de más támogatott hitelesítési módszereket is választhat: szükség esetén szolgáltatásnév és felügyelt identitás . A részletekért tekintse meg a cikk megfelelő szakaszait. Az adattárak titkos kulcsainak biztonságos tárolásához javasoljuk az Azure Key Vault használatát is. Részletes illusztrációkat ebben a cikkben talál.

  1. Lépjen a Fogadó lapra, és válassza az + Új lehetőséget fogadóadatkészlet létrehozásához.

  2. Az Új adathalmaz párbeszédpanelen írja be az "SQL" kifejezést a keresőmezőbe az összekötők szűréséhez, válassza az Azure SQL Database lehetőséget, majd válassza a Folytatás lehetőséget.

  3. A Tulajdonságok beállítása párbeszédpanelen a Név mezőhöz írja be az "OutputSqlDataset" kifejezést. A Társított szolgáltatás legördülő listában válassza az + Új lehetőséget. Az adatkészleteket mindig társítani kell egy társított szolgáltatáshoz. A csatolt szolgáltatás rendelkezik azzal a kapcsolati sztringgel, amellyel a Data Factory futásidőben csatlakozik az SQL Database-hez, és megadja, hogy hová másolja az adatokat.

  4. Az Új társított szolgáltatás (Azure SQL Database) párbeszédpanelen hajtsa végre a következő lépéseket:

    a). A Név mezőbe írja be az AzureSqlDatabaseLinkedService nevet.

    b. A Kiszolgáló neve területen válassza ki az SQL Server-példányt.

    c) Az Adatbázis neve területen válassza ki az adatbázist.

    d. A Felhasználónév csoportban adja meg a felhasználó nevét.

    e. A Jelszó csoportban adja meg a felhasználó jelszavát.

    f. Válassza a Kapcsolat tesztelése lehetőséget a kapcsolat teszteléséhez.

    g. Válassza a Létrehozás lehetőséget a társított szolgáltatás üzembe helyezéséhez.

    Új társított szolgáltatás mentése

  5. Automatikusan a Tulajdonságok beállítása párbeszédpanelre lép. A Táblában válassza az Enter manuálisan lehetőséget, majd írja be a [dbo].[ emp]. Ezután válassza az OK gombot.

  6. Lépjen a csővezeték fülre, és a Sink adatkészletben ellenőrizze, hogy az OutputSqlDataset van-e kiválasztva.

    Eszközvezeték lap

A forrás sémáját igény szerint megfeleltetheti a célséma megfelelő sémájának, ha a másolási tevékenység sémaleképezését követi.

A csővezeték érvényesítése

A folyamat ellenőrzéséhez válassza az Ellenőrzés lehetőséget az eszközsávon.

A folyamathoz társított JSON-kódot a jobb felső sarokban található Kód gombra kattintva tekintheti meg.

A folyamat hibakeresése és közzététele

Elvégezheti a folyamat hibakeresését, mielőtt összetevőket (társított szolgáltatások, adatkészletek és folyamat) tenne közzé a Data Factoryben vagy a saját Azure Repos Git-adattárában.

  1. A folyamat hibakereséséhez válassza a Hibakeresés lehetőséget az eszköztáron. A folyamat futásának állapotát az ablak alján, a Kimenet lapon láthatja.

  2. Miután a folyamat sikeresen lefutott, a felső eszköztáron válassza az Összes közzététele lehetőséget. Ez a művelet közzéteszi a létrehozott entitásokat (adatkészleteket és folyamatokat) a Data Factoryben.

  3. Várjon, amíg megjelenik a Sikeresen közzétett értesítési üzenet. Az értesítési üzenetek megtekintéséhez válassza az Értesítések megjelenítése a jobb felső sarokban (haranggomb).

A folyamatlánc manuális aktiválása

Ebben a lépésben manuálisan fogja indítani az előző lépésben közzétett pipeline-t.

  1. Válassza az Eseményindító hozzáadása lehetőséget az eszköztáron, majd válassza az Indítás most lehetőséget.

  2. A Folyamatfuttatás lapon válassza az OK gombot.

  3. Lépjen a bal oldali Monitorozás lapra. Itt láthat egy manuális eseményindító által aktivált folyamatfuttatást. A FOLYAMATNÉV oszlop hivatkozásai segítségével megtekintheti a tevékenység részleteit, és újrafuttathatja a folyamatot.

    Folyamatfuttatások monitorozása

  4. A folyamatfuttatáshoz társított tevékenységfuttatások megtekintéséhez válassza a CopyPipeline hivatkozást a PIPELINE NAME oszlop alatt. Ebben a példában csak egy tevékenység van, így csak egy bejegyzés jelenik meg a listában. A másolási művelettel kapcsolatos részletekért vigye az egérmutatót a tevékenység fölé, és

  5. kattintson a Részletek hivatkozásra (szemüveg ikon) a TEVÉKENYSÉGNÉV oszlopban. A folyamatfuttatások nézetre való visszalépéshez válassza a felül található Összes folyamatfuttatás lehetőséget. A nézet frissítéséhez válassza a Frissítés lehetőséget.

    Tevékenységfuttatások figyelése

  6. Ellenőrizze, hogy két további sor van-e hozzáadva az emp táblához az adatbázisban.

A folyamat aktiválása ütemezés szerint

Ebben az ütemezésben egy ütemezési eseményindítót fog létrehozni a folyamathoz. Az eseményindító a meghatározott ütemezés (például óránként vagy naponta) szerint futtatja a folyamatot. Itt beállíthatja, hogy az eseményindító percenként fusson a megadott befejezési dátumig.

  1. Lépjen a Figyelő lap fölött balra található Szerző lapra.

  2. Lépjen az adatfolyamára, válassza az Eseményindítót az eszköztáron, majd válassza az Új/Szerkesztés lehetőséget.

  3. Az Eseményindítók hozzáadása párbeszédpanelen válassza az Eseményindító kiválasztása , majd az + Új lehetőséget.

  4. Az Új eseményindító ablakban hajtsa végre a következő lépéseket:

    a). A Név mezőbe írja be a RunEveryMinute nevet.

    b. Frissítse az eseményindító kezdési dátumát . Ha a dátum az aktuális dátum előtt van, az eseményindító a módosítás közzététele után lép érvénybe.

    c) Az Időzóna alatt válassza ki a legördülő menüt.

    d. Állítsa be az ismétlődésminden 1 percre.

    e. Jelölje be a Záró dátum megadása jelölőnégyzetet, és frissítse a Befejezés ideje részt úgy, hogy néhány perccel későbbi legyen az aktuális dátumidőnél. Az eseményindító csak a módosítások közzététele után lesz aktív. Ha az eseményindítókat csak néhány perces eltéréssel állítja be, és addig nem teszi közzé, akkor nem lát futó eseményindítást.

    f. Aktivált beállítás esetén válassza az Igen lehetőséget.

    g. Válassza az OK gombot.

    Fontos

    Minden egyes folyamatfuttatásnak van bizonyos költségvonzata, ezért a befejezés időpontját ezt figyelembe véve adja meg.

  5. Az eseményindító szerkesztése lapon tekintse át a figyelmeztetést, majd válassza a Mentés lehetőséget. A jelen példában található folyamat nem használ paramétereket.

  6. A módosítás közzétételéhez válassza az Összes közzététele lehetőséget.

  7. Lépjen a bal oldali Monitorozás lapra az aktivált folyamatfuttatások megtekintéséhez.

    Aktivált folyamatfuttatások

  8. A Folyamatfuttatások nézetről a Trigger-futtatások nézetre való váltáshoz válassza az ablak bal oldalán található Trigger-futtatások lehetőséget.

  9. Itt megtekintheti az aktiváló elemek futtatásainak listáját.

  10. Ellenőrizze, hogy percenként két sor van-e beszúrva (minden folyamatfuttatáshoz) az emp táblába a megadott befejezési időpontig.

Eseményindító letiltása

A létrehozott percenkénti eseményindító letiltásához kövesse az alábbi lépéseket:

  1. Válassza a Bal oldali Kezelés panelt.

  2. A Szerző csoportban válassza az Eseményindítók lehetőséget.

  3. Vigye az egérmutatót a létrehozott RunEveryMinute eseményindítóra.

    1. A Leállítás gombra kattintva letilthatja az eseményindító futtatását.
    2. Az eseményindító letiltásához és törléséhez válassza a Törlés gombot.

  4. A módosítások mentéséhez válassza az Összes közzététele lehetőséget .

Kapcsolódó tartalom

A példában szereplő folyamat adatokat másol az egyik helyről egy másikra a Blob Storage-ban. Megtanulta végrehajtani az alábbi műveleteket:

  • Adat-előállító létrehozása
  • Másolási tevékenységgel rendelkező csővezeték létrehozása.
  • A folyamat próbafuttatása
  • A pipeline manuális aktiválása
  • A pipeline ütemezett aktiválása
  • A folyamat és a tevékenységek futásának monitorozása
  • Tiltsa le vagy törölje az ütemezett eseményindítót.

A következő oktatóanyagra lépve megismerheti az adatok helyszíni rendszerből felhőre való másolásának folyamatát:

Adatok másolása a helyszínről a felhőbe

Az azure Blob Storage-ba és az Azure SQL Database-be történő adatmásolással kapcsolatos további információkért tekintse meg az alábbi összekötő-útmutatókat:

  • Last updated on