Adatfolyam használata folyamatban

Ebben az oktatóanyagban létrehoz egy adatfolyamot az OData Northwind-forrásból egy lakehouse-célhelyre való áthelyezéséhez, és e-mailben értesítést küld a folyamat befejezésekor.

Előfeltételek

Első lépésként el kell végeznie a következő előfeltételeket:

  • Győződjön meg arról, hogy olyan Microsoft Fabric-kompatibilis munkaterülete van, amely nem az alapértelmezett Saját munkaterület.

Lakehouse létrehozása

Először létre kell hoznia egy tóházat. A lakehouse egy elemzésre optimalizált adattó. Ebben az oktatóanyagban létrehoz egy tóházat, amely az adatfolyam célhelyeként szolgál.

  1. Váltson a adatmérnök felületre.

    Screenshot of the Data Engineering experience.

  2. Lépjen a Hálóval kompatibilis munkaterületre.

    Screenshot of the Fabric enabled workspace emphasized.

  3. Válassza a Lakehouse lehetőséget a létrehozási menüben.

    Screenshot of the create menu with Create Lakehouse emphasized.

  4. Adja meg a tóház nevét.

  5. Válassza a Létrehozás lehetőséget.

Most létrehozott egy tóházat, és most már beállíthatja az adatfolyamot.

Adatfolyam létrehozása

Az adatfolyamok olyan újrafelhasználható adatátalakítások, amelyek egy folyamatban használhatók. Ebben az oktatóanyagban létrehoz egy adatfolyamot, amely adatokat kap egy OData-forrásból, és az adatokat egy lakehouse-célhelyre írja.

  1. Váltson a Data Factory felületére.

    Screenshot of the Data Factory experience.

  2. Lépjen a Hálóval kompatibilis munkaterületre.

    Screenshot of the Fabric enabled workspace.

  3. Válassza az Adatfolyam Gen2 lehetőséget a létrehozási menüben.

    Screenshot of the Dataflow Gen2 selection under the new menu.

  4. Az adatok betöltése az OData-forrásból.

    1. Válassza az Adatok lekérése, majd az Egyebek lehetőséget.

      Screenshot of the Get data menu with More emphasized.

    2. Az Adatforrás kiválasztása területen keresse meg az OData-t, majd válassza ki az OData-összekötőt.

      Screenshot of the Get data menu with OData emphasized

    3. Adja meg az OData-forrás URL-címét . Ebben az oktatóanyagban használja az OData mintaszolgáltatást.

    4. Válassza a Tovább lehetőséget.

    5. Válassza ki a betöltendő entitást . Ebben az oktatóanyagban használja a Rendelések entitást.

      Screenshot of the OData preview.

    6. Válassza a Létrehozás lehetőséget.

Most, hogy betöltötte az adatokat az OData-forrásból, beállíthatja a lakehouse-célhelyet.

Az adatok betöltése a lakehouse-célhelyre:

  1. Válassza az Adatcél hozzáadása lehetőséget.

  2. Válassza a Lakehouse lehetőséget.

    Screenshot of the Add output destination menu with lakehouse emphasized.

  3. Konfigurálja a tóházhoz való csatlakozáshoz használni kívánt kapcsolatot. Az alapértelmezett beállítások rendben vannak.

  4. Válassza a Tovább lehetőséget.

  5. Lépjen arra a munkaterületre, ahol létrehozta a lakehouse-t.

  6. Válassza ki az előző lépésekben létrehozott tóházat.

    Screenshot of the selected lakehouse.

  7. Erősítse meg a tábla nevét.

  8. Válassza a Tovább lehetőséget.

  9. Erősítse meg a frissítési módszert, és válassza a Mentési beállítások lehetőséget.

    Screenshot of the update methods, with replace selected.

  10. Tegye közzé az adatfolyamot.

    Fontos

    Amikor az első Adatfolyam Gen2 létrejön egy munkaterületen, a Lakehouse és a Warehouse-elemek ki lesznek építve a kapcsolódó SQL Analytics-végponttal és szemantikai modellekkel együtt. Ezeket az elemeket a munkaterület összes adatfolyama megosztja, és a 2. generációs adatfolyam működéséhez szükséges, nem szabad törölni, és nem közvetlenül a felhasználók használják őket. Az elemek a Dataflow Gen2 implementációjának részletei. Az elemek nem láthatók a munkaterületen, de más szolgáltatásokban is elérhetők lehetnek, például a Jegyzetfüzet, az SQL-végpont, a Lakehouse és a Warehouse szolgáltatásban. A névben szereplő előtag alapján felismerheti az elemeket. Az elemek előtagja az "AdatfolyamokStaging".

Most, hogy betöltötte az adatokat a lakehouse-célhelyre, beállíthatja az adatfolyamot.

Adatfolyam létrehozása

Az adatfolyam egy munkafolyamat, amely az adatfeldolgozás automatizálására használható. Ebben az oktatóanyagban létrehoz egy adatfolyamot, amely az előző eljárásban létrehozott Adatfolyam Gen2-t futtatja.

  1. Lépjen vissza a munkaterület áttekintési lapjára, és válassza az Adatfolyamok lehetőséget a létrehozási menüben.

    Screenshot of the Data Pipeline selection.

  2. Adja meg az adatfolyam nevét.

  3. Válassza ki az adatfolyam-tevékenységet .

    Screenshot of the dataflow activity emphasized.

  4. Válassza ki az előző eljárásban létrehozott adatfolyamot a Gépház alatti Adatfolyam legördülő listában.

    Screenshot of the dataflow dropdown list.

  5. Office 365 Outlook-tevékenység hozzáadása.

    Screenshot emphasizing how to select an Office 365 Outlook activity.

  6. Az Office 365 Outlook-tevékenység konfigurálása e-mail-értesítések küldéséhez.

    1. Hitelesítés az Office 365-fiókjával.

    2. Válassza ki azt az e-mail-címet , ahová el szeretné küldeni az értesítést.

    3. Adjon meg egy tárgyat az e-mailhez.

    4. Adja meg az e-mail törzsét .

      Screenshot showing the Office 365 Outlook activity settings.

Az adatfolyam futtatása és ütemezése

Ebben a szakaszban futtatja és ütemezi az adatfolyamot. Ez az ütemezés lehetővé teszi az adatfolyam ütemezés szerinti futtatását.

  1. Lépjen a munkaterülethez.

  2. Nyissa meg az előző eljárásban létrehozott adatfolyam legördülő menüjét, majd válassza az Ütemezés lehetőséget.

    Screenshot of the pipeline menu with schedule emphasized.

  3. Ütemezett futtatáskor válassza a Be lehetőséget.

    Screenshot of scheduled run set to On.

  4. Adja meg az adatfolyam futtatásához használni kívánt ütemezést.

    1. Ismételje meg például minden nap vagy percenként.
    2. Ha a Naponta lehetőséget választja, kiválaszthatja az Időt is.
    3. Kezdés egy adott dátumon.
    4. Befejezés egy adott dátumon.
    5. Válassza ki az időzónát.
  5. Kattintson az Alkalmaz gombra a módosítások alkalmazásához.

Létrehozott egy ütemterv szerint futó adatfolyamot, frissíti az adatokat a lakehouse-ban, és e-mailben értesítést küld Önnek. Az adatfolyam állapotát a Monitor Hubon ellenőrizheti. Az adatfolyam állapotának ellenőrzéséhez lépjen az Adatfolyam elemre, és válassza a Futtatási előzmények lapot a legördülő menüben.

Ez a minta bemutatja, hogyan használhat adatfolyamot egy folyamatban a Data Factoryvel a Microsoft Fabricben. Megtanulta végrehajtani az alábbi műveleteket:

  • Adatfolyam létrehozása.
  • Hozzon létre egy adatfolyamot invokáló folyamatot.
  • Futtassa és ütemezze az adatfolyamot.

A következő lépésben további információt kaphat a folyamatfuttatások monitorozásáról.