Rövid útmutató: Adatok áthelyezése és átalakítása adatfolyamokkal és adatfolyamokkal

  • Cikk

Ebben az oktatóanyagban megtudhatja, hogyan hozhat létre hatékony és átfogó Data Factory-megoldást az adatfolyam és az adatfolyam-élmény.

Előfeltételek

Első lépésként a következő előfeltételekkel kell rendelkeznie:

Adatfolyamok a folyamatokhoz képest

Az Adatfolyamok Gen2 lehetővé teszi, hogy egy alacsony kódú felületet és 300-nál több adat- és AI-alapú átalakítást használjon az adatok egyszerű tisztításához, előkészítéséhez és átalakításához, nagyobb rugalmassággal, mint bármely más eszköz. Az adatfolyamok sokoldalú, beépített adatvezénylési képességeket tesznek lehetővé a vállalati igényeknek megfelelő rugalmas adat-munkafolyamatok létrehozásához. A folyamatokban olyan tevékenységek logikai csoportosítását hozhatja létre, amelyek feladatokat hajtanak végre, például meghívhat egy adatfolyamot az adatok megtisztításához és előkészületéhez. Bár a kettő között bizonyos funkciók átfedésben vannak, egy adott forgatókönyv esetében a választás attól függ, hogy a folyamatok teljes gazdagságára van-e szükség, vagy használhatja-e az adatfolyamok egyszerűbb, de korlátozottabb képességeit. További részletekért tekintse meg a Fabric döntési útmutatójában

Adatok átalakítása adatfolyamokkal

Kövesse az alábbi lépéseket az adatfolyam beállításához.

1. lépés: Adatfolyam létrehozása

  1. Válassza ki a Hálóbarát munkaterületet, majd válassza az Új lehetőséget. Ezután válassza a Dataflow Gen2 lehetőséget.

    Screenshot showing where to start creating a dataflow gen2.

  2. Megjelenik az adatfolyam-szerkesztő ablaka. Válassza ki az IMPORTÁLÁS SQL Server-kártyáról lehetőséget.

    Screenshot showing the dataflow editor window.

2. lépés: Adatok lekérése

  1. A következő Csatlakozás adatforráshoz párbeszédpanelen adja meg az Azure SQL-adatbázishoz való csatlakozás részleteit, majd válassza a Tovább gombot. Ebben a példában az Azure SQL-adatbázis előfeltételekben való beállításakor konfigurált AdventureWorksLT mintaadatbázist használja.

    Screenshot showing how to connect to an Azure SQL database.

  2. Jelölje ki az átalakítani kívánt adatokat, majd válassza a Létrehozás lehetőséget. Ebben a rövid útmutatóban válassza a SalesLT.Customer lehetőséget az Azure SQL DB-hez megadott AdventureWorksLT-mintaadatokból , majd a Kapcsolódó táblák kiválasztása gombot, hogy automatikusan belefoglaljon két másik kapcsolódó táblát.

    Screenshot showing where to choose from the available data.

3. lépés: Adatok átalakítása

  1. Ha nincs kijelölve, válassza a Diagram nézet gombot az oldal alján található állapotsor mentén, vagy válassza a Diagram nézet lehetőséget a Power Query-szerkesztő tetején, a Nézet menüben. A fenti beállítások bármelyike válthatja a diagram nézetet.

    Screenshot showing where to select diagram view.

  2. Kattintson a jobb gombbal a SalesLT-ügyfél lekérdezésére, vagy válassza a lekérdezés jobb oldalán található függőleges három pontot, majd válassza a Lekérdezések egyesítése lehetőséget.

    Screenshot showing where to find the Merge queries option.

  3. Az egyesítés konfigurálásához válassza a SalesLTOrderHeader táblát az egyesítéshez megfelelő táblázatként, az egyes táblák CustomerID oszlopát illesztési oszlopként, a bal oldalt pedig illesztési típusként. Ezután kattintson az OK gombra az egyesítési lekérdezés hozzáadásához.

    Screenshot of the Merge configuration screen.

  4. Az imént létrehozott új egyesítési lekérdezésből válassza az Adatcél hozzáadása gombot, amely egy adatbázisszimbólumnak tűnik, felette nyíllal. Ezután válassza ki az Azure SQL Database-t céltípusként.

    Screenshot highlighting the Add data destination button on the newly created merge query.

  5. Adja meg annak az Azure SQL-adatbázis-kapcsolatnak a részleteit, ahol az egyesítési lekérdezést közzé kell tenni. Ebben a példában a cél adatforrásaként használt AdventureWorksLT-adatbázist is használhatja.

    Screenshot showing the Connect to data destination dialog with sample values populated.

  6. Válasszon egy adatbázist az adatok tárolásához, és adjon meg egy táblanevet, majd válassza a Tovább gombot.

    Screenshot showing the Choose destination target window.

  7. Az alapértelmezett beállításokat a Célbeállítások kiválasztása párbeszédpanelen hagyhatja, és csak a Beállítások mentése elemet választhatja anélkül, hogy itt módosításokat végez.

    Screenshot showing the Choose destination settings dialog.

  8. Az adatfolyam közzétételéhez válassza a Közzététel vissza lehetőséget az adatfolyam-szerkesztő lapon.

    Screenshot highlighting the Publish button on the dataflow gen2 editor.

Adatok áthelyezése adatfolyamokkal

Most, hogy létrehozott egy Adatfolyam Gen2-t, futtathatja azt egy folyamatban. Ebben a példában az adatfolyamból létrehozott adatokat egy Azure Blob Storage-fiók szövegformátumába másolja.

1. lépés: Új adatfolyam létrehozása

  1. A munkaterületen válassza az Új, majd az Adatfolyamat lehetőséget.

    Screenshot showing where to start a new data pipeline.

  2. Nevezze el a folyamatot, majd válassza a Létrehozás lehetőséget.

    Screenshot showing the new pipeline creation prompt with a sample pipeline name.

2. lépés: Az adatfolyam konfigurálása

  1. Adjon hozzá egy új adatfolyam-tevékenységet az adatfolyamhoz a Tevékenységek lap Adatfolyam elemének kiválasztásával.

    Screenshot showing where to select the Dataflow option.

  2. Jelölje ki az adatfolyamot a folyamatvászonon, majd a Gépház lapot. Válassza ki a korábban létrehozott adatfolyamot a legördülő listából.

    Screenshot showing how to choose the dataflow you created.

  3. Válassza a Mentés, majd a Futtatás lehetőséget az adatfolyam futtatásához az előző lépésben megtervezett egyesített lekérdezési tábla kezdeti feltöltéséhez.

    Screenshot showing where to select Run.

3. lépés: Másolási tevékenység hozzáadása a másolási segéd használatával

  1. Az első lépésekhez válassza az Adatok másolása a vásznon lehetőséget a Másolási segéd eszköz megnyitásához. Vagy válassza a Másolási segéd használata lehetőséget a menüszalag Tevékenységek lapJának Adatok másolása legördülő listájában.

    Screenshot showing the two ways to access the copy assistant.

  2. Adatforrástípus kiválasztásával válassza ki az adatforrást. Ebben az oktatóanyagban a korábban az adatfolyam létrehozásakor használt Azure SQL Database-t használja egy új egyesítési lekérdezés létrehozásához. Görgessen le a mintaadat-ajánlatok alatt, és válassza az Azure lapot, majd az Azure SQL Database-t. Ezután kattintson a Tovább gombra a folytatáshoz.

    Screenshot showing where to choose a data source.

  3. Hozzon létre kapcsolatot az adatforrással az Új kapcsolat létrehozása lehetőséget választva. Töltse ki a szükséges kapcsolati adatokat a panelen, és adja meg az adatbázis AdventureWorksLT-ét, ahol létrehoztuk az egyesítési lekérdezést az adatfolyamban. Ezután válassza a Tovább gombra.

    Screenshot showing where to create a new connection.

  4. Jelölje ki a korábban az adatfolyamban létrehozott táblát, majd válassza a Tovább gombot.

    Screenshot showing how to select from available tables.

  5. A célhelyhez válassza az Azure Blob Storage lehetőséget, majd válassza a Tovább gombot.

    Screenshot showing the Azure Blob Storage data destination.

  6. Hozzon létre egy kapcsolatot a célhelyhez az Új kapcsolat létrehozása lehetőséget választva. Adja meg a kapcsolat részleteit, majd válassza a Tovább gombot.

    Screenshot showing how to create a connection.

  7. Válassza ki a mappa elérési útját, és adjon meg egy fájlnevet, majd válassza a Tovább gombot.

    Screenshot showing how to select folder path and file name.

  8. A Tovább gombra kattintva fogadja el az alapértelmezett fájlformátumot, az oszlophatárolást, a sorhatárolást és a tömörítés típusát, opcionálisan fejlécet is beleértve.

    Screenshot showing the configuration options for the file in Azure Blob Storage.

  9. Véglegesítse a beállításokat. Ezután tekintse át és válassza a Mentés + Futtatás lehetőséget a folyamat befejezéséhez.

    Screenshot showing how to review copy data settings.

5. lépés: Az adatfolyam tervezése és mentés az adatok futtatásához és betöltéséhez

  1. Ha az adatfolyam-tevékenység után szeretné futtatni a másolási tevékenységet, húzza az adatfolyam-tevékenység Sikeresről a Másolás tevékenységre. A másolási tevékenység csak az adatfolyam-tevékenység sikeres végrehajtása után fut.

    Screenshot showing how to make the dataflow run take place after the copy activity.

  2. Az adatfolyam mentéséhez válassza a Mentés lehetőséget. Ezután válassza a Futtatás lehetőséget az adatfolyam futtatásához és az adatok betöltéséhez.

    Screenshot showing where to select Save and Run.

Folyamat végrehajtásának ütemezése

Miután befejezte a folyamat fejlesztését és tesztelését, ütemezheti, hogy automatikusan végrehajtsa.

  1. A folyamatszerkesztő ablakÁnak Kezdőlap lapján válassza az Ütemezés lehetőséget.

    A screenshot of the Schedule button on the menu of the Home tab in the pipeline editor.

  2. Igény szerint konfigurálja az ütemezést. Az alábbi példa szerint a folyamat naponta 20:00-kor lesz végrehajtva az év végéig.

    Screenshot showing the schedule configuration for a pipeline to run daily at 8:00 PM until the end of the year.

Kapcsolódó tartalom

Ez a minta bemutatja, hogyan hozhat létre és konfigurálhat dataflow Gen2-t egyesítési lekérdezések létrehozásához és azure SQL-adatbázisban való tárolásához, majd az adatbázis adatainak egy szövegfájlba való másolásához az Azure Blob Storage-ban. Megtanulta végrehajtani az alábbi műveleteket:

  • Adatfolyam létrehozása.
  • Adatok átalakítása az adatfolyammal.
  • Adatfolyam használatával hozzon létre egy adatfolyamot.
  • A folyamat lépéseinek végrehajtásának megrendelése.
  • Adatok másolása a Másolási segéddel.
  • Futtassa és ütemezze az adatfolyamot.

A következő lépésben további információt kaphat a folyamatfuttatások monitorozásáról.

Folyamatfuttatások monitorozása a Microsoft Fabricben