Megosztás a következőn keresztül:

Gyorsindítás: Adatok áthelyezése és átalakítása adatfolyamokkal és adatfolyamatokkal

  • Cikk

Ebben az oktatóanyagban megtudhatja, hogyan hozhat létre hatékony és átfogó Data Factory-megoldást az adatfolyamok és az adattárházak vagy adatfeldolgozási láncok teljesítményének segítségével.

Előfeltételek

Első lépésként a következő előfeltételekkel kell rendelkeznie:

Adatfolyamok az adatfeldolgozási csővezetékekhez képest

Az Adatfolyamok Gen2 lehetővé teszi, hogy egy alacsony kódszámú felületet és több mint 300 adat- és AI-alapú átalakítást használjon, így egyszerűbben tisztíthatja, előkészítheti és átalakíthatja az adatokat, mint bármely más eszköz. Az adatfolyamok sokoldalú, beépített adatvezénylési képességeket tesznek lehetővé a vállalati igényeknek megfelelő rugalmas adat-munkafolyamatok létrehozásához. A folyamatokban olyan tevékenységek logikai csoportosítását hozhatja létre, amelyek feladatokat hajtanak végre, például meghívhat egy adatfolyamot az adatok megtisztításához és előkészületéhez. Bár a kettő között bizonyos funkciók átfedésben vannak, egy adott forgatókönyv esetében a választás attól függ, hogy a folyamatok teljes gazdagságára van-e szükség, vagy használhatja-e az adatfolyamok egyszerűbb, de korlátozottabb képességeit. További információ: Fabric döntési útmutató

Adatok átalakítása adatfolyamokkal

Kövesse az alábbi lépéseket az adatfolyam beállításához.

1. lépés: Adatfolyam létrehozása

  1. Válassza ki a Fabric-kompatibilis munkaterületet, majd válassza Újlehetőséget. Ezután válassza Dataflow Gen2lehetőséget.

    Képernyőkép, amelyen az adatfolyam gen2 létrehozásának helye látható.

  2. Megjelenik az adatfolyam-szerkesztő ablaka. Válassza ki a SQL Serverről való importálás kártyát.

    Képernyőkép az adatfolyam-szerkesztő ablakról.

2. lépés: Adatok lekérése

  1. A következő Csatlakozás adatforráshoz párbeszédpanelen adja meg az Azure SQL-adatbázishoz való csatlakozás részleteit, majd válassza a Továbblehetőséget. Ebben a példában az AdventureWorksLT mintaadatbázist használja, amelyet akkor konfigurált, amikor beállította az Azure SQL-adatbázist az előfeltételek között.

    Képernyőkép az Azure SQL-adatbázishoz való csatlakozásról.

  2. Jelölje ki az átalakítani kívánt adatokat, majd válassza a létrehozása lehetőséget. Ebben a rövid útmutatóban válassza SalesLT.Customer az AdventureWorksLT Azure SQL DB-hez biztosított mintaadatokból, majd a Kapcsolódó táblák kiválasztása gombot, hogy automatikusan belefoglaljon két másik kapcsolódó táblát.

    Képernyőkép, amelyen az elérhető adatok közül választhat.

3. lépés: Adatok átalakítása

  1. Ha nincs kijelölve, válassza a Diagram nézet gombot az oldal alján található állapotsor mentén, vagy válassza Diagram nézet lehetőséget a Power Query-szerkesztő tetején található Nézet menüben. A fenti beállítások bármelyike válthatja a diagram nézetet.

    Diagram nézet kiválasztásának helyét bemutató képernyőkép.

  2. Kattintson a jobb egérgombbal a SalesLT ügyfél lekérdezésre, vagy válassza a lekérdezés jobb oldalán található függőleges ellipszist, majd válassza a Lekérdezések egyesítéselehetőséget.

    Képernyőkép, amelyen látható, hogy hol található a Lekérdezések egyesítése lehetőség.

  3. Konfigurálja az egyesítést úgy, hogy a SalesLTOrderHeader táblát választja az egyesítéshez megfelelő táblázatként, a CustomerID oszlopot az egyes táblákból illesztési oszlopként, a bal oldali külső pedig illesztési típusként. Ezután válassza OK elemet az egyesítési lekérdezés hozzáadásához.

    Az Egyesítés konfigurációs képernyő képernyőképe.

  4. Válassza az Adatcél hozzáadása gombot, amely adatbázisszimbólumnak látszik, felette nyíllal, a létrehozott új egyesítési lekérdezésből. Ezután válassza Azure SQL-adatbázis céltípusként.

    Képernyőkép az újonnan létrehozott adategyesítési lekérdezés Adatcél hozzáadása gombjáról.

  5. Adja meg annak az Azure SQL-adatbázis-kapcsolatnak a részleteit, ahol az egyesítési lekérdezést közzé kell tenni. Ebben a példában az általunk használt AdventureWorksLT adatbázist használhatja cél adatforrásként is.

    Képernyőkép a Csatlakozás az adatok célhelyéhez párbeszédpanelről, ahol a mintaértékek fel van töltve.

  6. Válasszon egy adatbázist az adatok tárolásához, és adjon meg egy táblanevet, majd válassza Továbblehetőséget.

    Képernyőkép a Cél kiválasztása ablakról.

  7. Az alapértelmezett beállításokat a Célbeállítások kiválasztása párbeszédpanelen hagyhatja, és csak válassza a Beállítások mentése lehetőséget anélkül, hogy itt módosításokat végez.

    Képernyőkép a Célbeállítások kiválasztása párbeszédpanelről.

  8. Válassza a Közzététel lehetőséget az adatfolyam közzétételéhez, majd térjen vissza az adatfolyam-szerkesztő oldalra.

    Képernyőkép az adatfolyam gen2 szerkesztőjének Közzététel gombjáról.

Adatok áthelyezése adatfolyamokkal

Most, hogy létrehozott egy Adatfolyam Gen2-t, műveleteket hajthat végre rajta egy folyamatban. Ebben a példában az adatfolyamból létrehozott adatokat egy Azure Blob Storage-fiók szövegformátumába másolja.

1. lépés: Új adatfolyam létrehozása

  1. A munkaterületéről válassza az Új, majd az Adatfolyamlehetőséget.

    Új adatfolyam indításának helyét bemutató képernyőkép.

  2. Adja meg a pipeline nevét, majd válassza a létrehozáslehetőséget.

    Képernyőkép az új folyamatlétrehozás kérésről egy mintafolyamat nevével.

2. lépés: Az adatfolyam konfigurálása

  1. Adjon hozzá egy új adatfolyam-tevékenységet az adatfolyamhoz a Tevékenységek lapon található Adatfolyam kiválasztásával.

    Képernyőkép az Adatfolyam lehetőség kiválasztásának helyével.

  2. Válassza ki az adatfolyamot a folyamatvászonon, majd a Beállítások lapot. Válassza ki a korábban létrehozott adatfolyamot a legördülő listából.

    Képernyőkép a létrehozott adatfolyam kiválasztásáról.

  3. Válassza a Mentésopciót, majd futtassa a Futtatás az adatfolyam elindításához, hogy feltöltse az előző lépésben megtervezett egyesített lekérdezési táblát kezdeti adatokkal.

    Képernyőkép a Futtatás lehetőség kiválasztásáról.

3. lépés: Másolási tevékenység hozzáadása a másolási segéd használatával

  1. Az első lépésekhez válassza a vásznon a Adatok másolása lehetőséget, hogy megnyissa a Másolási segéd eszközt. Vagy válassza a Másolási segéd használata lehetőséget a Adatok másolása legördülő listából a menüszalag Tevékenységek lapján.

    Képernyőkép a másolási segéd elérésének két módjáról.

  2. Adatforrástípus kiválasztásával válassza ki az adatforrást. Ebben az oktatóanyagban a korábban az adatfolyam létrehozásakor használt Azure SQL Database-t használja egy új egyesítési lekérdezés létrehozásához. Görgessen le a mintaadat-ajánlatok alatt, és válassza az Azure lapot, majd Azure SQL Database. Ezután válassza Tovább lehetőséget a folytatáshoz.

    Képernyőkép, amelyen az adatforrás kiválasztása látható.

  3. Az adatforráshoz való csatlakozáshoz válassza a Új kapcsolat létrehozásaopciót. Töltse ki a szükséges kapcsolati adatokat a panelen, és adja meg az adatbázis AdventureWorksLT-ét, ahol létrehoztuk az egyesítési lekérdezést az adatfolyamban. Ezután válassza a Következőlehetőséget.

    Képernyőkép arról, hogy hol hozhat létre új kapcsolatot.

  4. Jelölje ki a korábban az adatfolyamban létrehozott táblát, majd válassza a Következőlehetőséget.

    Képernyőkép az elérhető táblák közül való választásról.

  5. A célhelyhez válassza Azure Blob Storage, majd válassza a Továbblehetőséget.

    Képernyőkép az Azure Blob Storage-adatcélról.

  6. Hozzon létre kapcsolatot a célhelyhez a Új kapcsolat létrehozásalehetőséget választva. Adja meg a kapcsolat részleteit, majd válassza a Következőlehetőséget.

    Kapcsolat létrehozását bemutató képernyőkép.

  7. Jelölje ki a mappa elérési útját, és adjon meg egy fájlnevet, majd válassza Továbblehetőséget.

    Képernyőkép a mappa elérési útjának és a fájlnév kiválasztásáról.

  8. Válassza újra a Tovább lehetőséget az alapértelmezett fájlformátum, oszlopelválasztó, sorelválasztó és tömörítési típus elfogadásához, ha szükséges, fejlécet is beleértve.

    Képernyőkép az Azure Blob Storage-fájl konfigurációs beállításairól.

  9. Véglegesítse a beállításokat. Ezután tekintse át, és válassza a Mentés + Futtatás lehetőséget a folyamat befejezéséhez.

    Képernyőkép a másolási adatok beállításainak áttekintéséről.

5. lépés: Az adatfolyam tervezése és mentés az adatok futtatásához és betöltéséhez

  1. A Adatfolyam tevékenység utáni Másolás tevékenység futtatásához húzza a Adatfolyam tevékenység Sikeresség állapotából a Másolás tevékenységre. A másolási tevékenység csak akkor fut, ha a adatfolyam tevékenység sikeresen végrehajtásra került.

    Képernyőkép arról, hogyan futtatható az adatfolyam a másolási tevékenység után.

  2. Válassza a Mentés lehetőséget az adatfolyam mentéséhez. Ezután válassza a Futtatás lehetőséget az adatfolyam futtatásához és az adatok betöltéséhez.

    Képernyőkép a Mentés és futtatás lehetőség kiválasztásáról.

Folyamat végrehajtásának ütemezése

Miután befejezte a folyamat fejlesztését és tesztelését, ütemezheti, hogy automatikusan végrehajtsa.

  1. A folyamatszerkesztő ablakának Kezdőlap lapján válassza a Ütemezéslehetőséget.

    A folyamatszerkesztő Kezdőlap lapjának menüjében az Ütemezés gomb képernyőképe.

  2. Igény szerint konfigurálja az ütemezést. Az alábbi példa szerint a folyamat naponta 20:00-kor lesz végrehajtva az év végéig.

    Képernyőkép egy folyamat ütemezési konfigurációjáról, amely naponta 20:00-kor fut az év végéig.

Kapcsolódó tartalom

Ez a minta bemutatja, hogyan hozhat létre és konfigurálhat dataflow Gen2-t egyesítési lekérdezések létrehozásához és azure SQL-adatbázisban való tárolásához, majd az adatbázis adatainak egy szövegfájlba való másolásához az Azure Blob Storage-ban. Megtanulta, hogyan:

  • Adatfolyam létrehozása.
  • Adatok átalakítása az adatfolyammal.
  • Adatfolyam használatával hozzon létre egy adatfolyamot.
  • A folyamat lépéseinek végrehajtásának megrendelése.
  • Adatok másolása a Másolási segéddel.
  • Futtassa és ütemezze az adatfolyamot.

A következő lépésben tudjon meg többet a folyamatfuttatások monitorozásáról.

Csővezetékek futtatásainak monitorozása a Microsoft Fabric szolgáltatásban