Gyorsindítás: Adatok áthelyezése és átalakítása adatfolyamokkal és adatfolyamatokkal
Ebben az oktatóanyagban megtudhatja, hogyan hozhat létre hatékony és átfogó Data Factory-megoldást az adatfolyamok és az adattárházak vagy adatfeldolgozási láncok teljesítményének segítségével.
Előfeltételek
Első lépésként a következő előfeltételekkel kell rendelkeznie:
- Aktív előfizetéssel rendelkező bérlői fiók. Hozzon létre egy ingyenes fiókot.
- Győződjön meg arról, hogy rendelkezik Microsoft Fabric-kompatibilis munkaterületekkel: Olyan munkaterület létrehozása, amely nem az alapértelmezett Saját munkaterület.
- Azure SQL-adatbázis táblaadatokkal.
- Blob Storage-fiók.
Adatfolyamok az adatfeldolgozási csővezetékekhez képest
Az Adatfolyamok Gen2 lehetővé teszi, hogy egy alacsony kódszámú felületet és több mint 300 adat- és AI-alapú átalakítást használjon, így egyszerűbben tisztíthatja, előkészítheti és átalakíthatja az adatokat, mint bármely más eszköz. Az adatfolyamok sokoldalú, beépített adatvezénylési képességeket tesznek lehetővé a vállalati igényeknek megfelelő rugalmas adat-munkafolyamatok létrehozásához. A folyamatokban olyan tevékenységek logikai csoportosítását hozhatja létre, amelyek feladatokat hajtanak végre, például meghívhat egy adatfolyamot az adatok megtisztításához és előkészületéhez. Bár a kettő között bizonyos funkciók átfedésben vannak, egy adott forgatókönyv esetében a választás attól függ, hogy a folyamatok teljes gazdagságára van-e szükség, vagy használhatja-e az adatfolyamok egyszerűbb, de korlátozottabb képességeit. További információ: Fabric döntési útmutató
Adatok átalakítása adatfolyamokkal
Kövesse az alábbi lépéseket az adatfolyam beállításához.
1. lépés: Adatfolyam létrehozása
Válassza ki a Fabric-kompatibilis munkaterületet, majd válassza Újlehetőséget. Ezután válassza Dataflow Gen2lehetőséget.
Megjelenik az adatfolyam-szerkesztő ablaka. Válassza ki a SQL Serverről való importálás kártyát.
2. lépés: Adatok lekérése
A következő Csatlakozás adatforráshoz párbeszédpanelen adja meg az Azure SQL-adatbázishoz való csatlakozás részleteit, majd válassza a Továbblehetőséget. Ebben a példában az AdventureWorksLT mintaadatbázist használja, amelyet akkor konfigurált, amikor beállította az Azure SQL-adatbázist az előfeltételek között.
Jelölje ki az átalakítani kívánt adatokat, majd válassza a létrehozása lehetőséget. Ebben a rövid útmutatóban válassza SalesLT.Customer az AdventureWorksLT Azure SQL DB-hez biztosított mintaadatokból, majd a Kapcsolódó táblák kiválasztása gombot, hogy automatikusan belefoglaljon két másik kapcsolódó táblát.
3. lépés: Adatok átalakítása
Ha nincs kijelölve, válassza a Diagram nézet gombot az oldal alján található állapotsor mentén, vagy válassza Diagram nézet lehetőséget a Power Query-szerkesztő tetején található Nézet menüben. A fenti beállítások bármelyike válthatja a diagram nézetet.
Kattintson a jobb egérgombbal a SalesLT ügyfél lekérdezésre, vagy válassza a lekérdezés jobb oldalán található függőleges ellipszist, majd válassza a Lekérdezések egyesítéselehetőséget.
Konfigurálja az egyesítést úgy, hogy a SalesLTOrderHeader táblát választja az egyesítéshez megfelelő táblázatként, a CustomerID oszlopot az egyes táblákból illesztési oszlopként, a bal oldali külső pedig illesztési típusként. Ezután válassza OK elemet az egyesítési lekérdezés hozzáadásához.
Válassza az Adatcél hozzáadása gombot, amely adatbázisszimbólumnak látszik, felette nyíllal, a létrehozott új egyesítési lekérdezésből. Ezután válassza Azure SQL-adatbázis céltípusként.
Adja meg annak az Azure SQL-adatbázis-kapcsolatnak a részleteit, ahol az egyesítési lekérdezést közzé kell tenni. Ebben a példában az általunk használt AdventureWorksLT adatbázist használhatja cél adatforrásként is.
Válasszon egy adatbázist az adatok tárolásához, és adjon meg egy táblanevet, majd válassza Továbblehetőséget.
Az alapértelmezett beállításokat a Célbeállítások kiválasztása párbeszédpanelen hagyhatja, és csak válassza a Beállítások mentése lehetőséget anélkül, hogy itt módosításokat végez.
Válassza a Közzététel lehetőséget az adatfolyam közzétételéhez, majd térjen vissza az adatfolyam-szerkesztő oldalra.
Adatok áthelyezése adatfolyamokkal
Most, hogy létrehozott egy Adatfolyam Gen2-t, műveleteket hajthat végre rajta egy folyamatban. Ebben a példában az adatfolyamból létrehozott adatokat egy Azure Blob Storage-fiók szövegformátumába másolja.
1. lépés: Új adatfolyam létrehozása
A munkaterületéről válassza az Új, majd az Adatfolyamlehetőséget.
Adja meg a pipeline nevét, majd válassza a létrehozáslehetőséget.
2. lépés: Az adatfolyam konfigurálása
Adjon hozzá egy új adatfolyam-tevékenységet az adatfolyamhoz a Tevékenységek lapon található Adatfolyam kiválasztásával.
Válassza ki az adatfolyamot a folyamatvászonon, majd a Beállítások lapot. Válassza ki a korábban létrehozott adatfolyamot a legördülő listából.
Válassza a Mentésopciót, majd futtassa a Futtatás az adatfolyam elindításához, hogy feltöltse az előző lépésben megtervezett egyesített lekérdezési táblát kezdeti adatokkal.
3. lépés: Másolási tevékenység hozzáadása a másolási segéd használatával
Az első lépésekhez válassza a vásznon a Adatok másolása lehetőséget, hogy megnyissa a Másolási segéd eszközt. Vagy válassza a Másolási segéd használata lehetőséget a Adatok másolása legördülő listából a menüszalag Tevékenységek lapján.
Adatforrástípus kiválasztásával válassza ki az adatforrást. Ebben az oktatóanyagban a korábban az adatfolyam létrehozásakor használt Azure SQL Database-t használja egy új egyesítési lekérdezés létrehozásához. Görgessen le a mintaadat-ajánlatok alatt, és válassza az Azure lapot, majd Azure SQL Database. Ezután válassza Tovább lehetőséget a folytatáshoz.
Az adatforráshoz való csatlakozáshoz válassza a Új kapcsolat létrehozásaopciót. Töltse ki a szükséges kapcsolati adatokat a panelen, és adja meg az adatbázis AdventureWorksLT-ét, ahol létrehoztuk az egyesítési lekérdezést az adatfolyamban. Ezután válassza a Következőlehetőséget.
Jelölje ki a korábban az adatfolyamban létrehozott táblát, majd válassza a Következőlehetőséget.
A célhelyhez válassza Azure Blob Storage, majd válassza a Továbblehetőséget.
Hozzon létre kapcsolatot a célhelyhez a Új kapcsolat létrehozásalehetőséget választva. Adja meg a kapcsolat részleteit, majd válassza a Következőlehetőséget.
Jelölje ki a mappa elérési útját, és adjon meg egy fájlnevet, majd válassza Továbblehetőséget.
Válassza újra a Tovább lehetőséget az alapértelmezett fájlformátum, oszlopelválasztó, sorelválasztó és tömörítési típus elfogadásához, ha szükséges, fejlécet is beleértve.
Véglegesítse a beállításokat. Ezután tekintse át, és válassza a Mentés + Futtatás lehetőséget a folyamat befejezéséhez.
5. lépés: Az adatfolyam tervezése és mentés az adatok futtatásához és betöltéséhez
A Adatfolyam tevékenység utáni Másolás tevékenység futtatásához húzza a Adatfolyam tevékenység Sikeresség állapotából a Másolás tevékenységre. A másolási tevékenység csak akkor fut, ha a adatfolyam tevékenység sikeresen végrehajtásra került.
Válassza a Mentés lehetőséget az adatfolyam mentéséhez. Ezután válassza a Futtatás lehetőséget az adatfolyam futtatásához és az adatok betöltéséhez.
Folyamat végrehajtásának ütemezése
Miután befejezte a folyamat fejlesztését és tesztelését, ütemezheti, hogy automatikusan végrehajtsa.
A folyamatszerkesztő ablakának Kezdőlap lapján válassza a Ütemezéslehetőséget.
Igény szerint konfigurálja az ütemezést. Az alábbi példa szerint a folyamat naponta 20:00-kor lesz végrehajtva az év végéig.
Kapcsolódó tartalom
Ez a minta bemutatja, hogyan hozhat létre és konfigurálhat dataflow Gen2-t egyesítési lekérdezések létrehozásához és azure SQL-adatbázisban való tárolásához, majd az adatbázis adatainak egy szövegfájlba való másolásához az Azure Blob Storage-ban. Megtanulta, hogyan:
- Adatfolyam létrehozása.
- Adatok átalakítása az adatfolyammal.
- Adatfolyam használatával hozzon létre egy adatfolyamot.
- A folyamat lépéseinek végrehajtásának megrendelése.
- Adatok másolása a Másolási segéddel.
- Futtassa és ütemezze az adatfolyamot.
A következő lépésben tudjon meg többet a folyamatfuttatások monitorozásáról.