Lakehouse-cél hozzáadása egy eseménystreamhez

Ez a cikk bemutatja, hogyan adhat hozzá egy lakehouse-t célhelyként egy eseménystreamhez a Microsoft Fabric eseménystreamjeiben.

Feljegyzés

Ha az előzetes verzióban elérhető továbbfejlesztett képességeket szeretné használni, válassza felül a Bővített képességek lehetőséget . Ellenkező esetben válassza a Standard képességek lehetőséget. Az előzetes verzióban elérhető továbbfejlesztett képességekről további információt a Fabric-eseménystreamek bemutatása című témakörben talál.

Fontos

Sémakényszerítés szükséges az adatok lakehouse-céltáblába való írásához. A táblába írt összes új írásnak kompatibilisnek kell lennie a céltábla sémájával íráskor, biztosítva az adatminőséget.

Amikor a kimenetet egy új delta táblába írja, a rendszer az első rekord alapján hozza létre a táblasémát. A kimeneti adatok összes rekordja a meglévő tábla sémájára lesz kivetítve.

Ha a bejövő adatok olyan oszlopokkal rendelkezik, amelyek nem szerepelnek a meglévő táblasémában, a további oszlopok nem szerepelnek a táblába írt adatokban. Hasonlóképpen, ha a bejövő adatok hiányoznak a meglévő táblasémában lévő oszlopokból, a hiányzó oszlopok null értékre vannak beállítva a táblába.

Előfeltételek

• Hozzáférés a Fabric prémium szintű munkaterületéhez, ahol az eseménystream közreműködői vagy magasabb engedélyekkel rendelkezik.
• Hozzáférés a prémium szintű munkaterülethez, ahol a lakehouse közreműködői vagy magasabb engedélyekkel rendelkezik.

Feljegyzés

Egy eseményfolyam forrásainak és célhelyeinek maximális száma 11.

Tóház hozzáadása célhelyként

Ha lakehouse-célhelyet szeretne hozzáadni egy alapértelmezett vagy származtatott eseménystreamhez, kövesse az alábbi lépéseket.

1. Az eseménystream szerkesztési módban válassza a menüszalagOn a Cél hozzáadása lehetőséget , majd a legördülő listából válassza a Lakehouse lehetőséget.

   

2. Csatlakozás a lakehouse csomópontot a streamcsomóponthoz vagy -operátorhoz.

3. A Lakehouse konfigurációs képernyőjén töltse ki a következő információkat:

   1. Adjon meg egy célnevet.
   2. Válassza ki a lakehouse-t tartalmazó munkaterületet .
   3. Válasszon ki egy meglévő Lakehouse-t a megadott munkaterületről.
   4. Válasszon ki egy meglévő Delta-táblát, vagy hozzon létre egy újat az adatok fogadásához.
   5. Válassza ki a lakehouse-ba küldött bemeneti adatformátumot . A támogatott adatformátumok a JSON, az Avro és a CSV (fejléccel).

   

4. Válassza a Speciális lehetőséget.

5. Két betöltési mód érhető el egy tóparti célhelyen. A forgatókönyv alapján konfigurálja ezeket a módokat, hogy optimalizálja a Fabric-eseménystreamek írási módját a lakehouse-ba.

   • A minimális sorok azoknak a soroknak a minimális száma, amelyeket a lakehouse betölt egy fájlban. A minimum 1 sor, a maximális érték pedig fájlonként 2 millió sor. Minél kisebb a sorok minimális száma, annál több fájlt hoz létre a lakehouse a betöltés során.

   • A maximális időtartam az a maximális időtartam, amelyet a lakehouse egyetlen fájl betöltéséhez igényel. A minimum 1 perc, maximum 2 óra. Minél hosszabb az időtartam, annál több sor van betöltve egy fájlban.

   

6. Válassza a Mentés lehetőséget.

7. Az újonnan hozzáadott lakehouse-cél implementálásához válassza a Közzététel lehetőséget.

   

Miután elvégezte ezeket a lépéseket, a lakehouse-célhely elérhető a vizualizációhoz Élő nézetben. A Részletek panelen kiválaszthatja az Optimalizálás táblát a jegyzetfüzetben parancsikonban, és elindíthat egy Apache Spark-feladatot egy jegyzetfüzeten belül, amely összesíti a kis streamfájlokat a cél lakehouse-táblában.

Kapcsolódó tartalom

Ha meg szeretné tudni, hogyan adhat hozzá más célhelyeket egy eseménystreamhez, tekintse meg az alábbi cikkeket:

• Események átirányítása célhelyekre
• Egyéni alkalmazás célhelye
• Származtatott stream célhelye
• KQL-adatbázis célhelye
• Reflex célhelye
• Eseményfolyam létrehozása

Előfeltételek

A kezdés előtt el kell végeznie a következő előfeltételeket:

• Hozzáférést kaphat egy prémium szintű munkaterülethez közreműködői vagy annál magasabb engedélyekkel, ahol az eseménystream található.
• Hozzáférést kaphat egy prémium szintű munkaterülethez közreműködői vagy annál magasabb engedélyekkel, ahol a lakehouse található.

Feljegyzés

Egy eseményfolyam forrásainak és célhelyeinek maximális száma 11.

Tóház hozzáadása célhelyként

Ha létrehozott egy tóházat a munkaterületen, az alábbi lépéseket követve adja hozzá a lakehouse-t az eseménystreamhez célként:

1. Válassza az Új cél lehetőséget a menüszalagon vagy a "+" lehetőséget a főszerkesztő vásznán, majd válassza a Lakehouse lehetőséget. Megjelenik a Lakehouse célkonfigurációs képernyője.

2. Adja meg az eventstream célhely nevét, és töltse ki a lakehouse-ra vonatkozó információkat.

   

   1. Lakehouse: Válasszon ki egy meglévő tóházat a megadott munkaterületről.

   2. Delta tábla: Válasszon ki egy meglévő deltatáblát, vagy hozzon létre egy újat az adatok fogadásához.

      Feljegyzés

      Amikor adatokat ír a lakehouse-táblába, sémakényszerítés történik. Ez azt jelenti, hogy a tábla összes új írásának kompatibilisnek kell lennie a céltábla sémájával íráskor, biztosítva az adatminőséget.

      A kimeneti adatok összes rekordja a meglévő tábla sémájára lesz kivetítve. Amikor a kimenetet egy új delta táblába írja, a táblaséma az első rekord alapján jön létre. Ha a bejövő adatok a meglévő táblasémához képest egy további oszlopot tartalmaznak, a további oszlop hozzáadása nélkül írnak a táblába. Ezzel szemben, ha a bejövő adatokból hiányzik egy oszlop a meglévő táblasémához képest, akkor az oszlop értéke null értékre van állítva.

   3. Bemeneti adatformátum: Válassza ki a lakehouse-ba küldött adatok (bemeneti adatok) formátumát.

      Feljegyzés

      A támogatott bemeneti eseményadat-formátumok a JSON, az Avro és a CSV (fejléccel).

   4. Eseményfeldolgozás: Az eseményfeldolgozási szerkesztő segítségével megadhatja az adatok feldolgozásának módját, mielőtt elküldené azokat a lakehouse-ba. Válassza az Eseményfeldolgozó megnyitása lehetőséget az eseményfeldolgozó szerkesztő megnyitásához. Az eseményfeldolgozóval végzett valós idejű feldolgozással kapcsolatos további információkért lásd : Eseményadatok feldolgozása eseményfeldolgozó-szerkesztővel. Ha végzett a szerkesztővel, válassza a Kész elemet a Lakehouse-célkonfigurációs képernyőre való visszatéréshez.

      

3. Két betöltési mód érhető el egy tóparti célhelyen. Válassza ki az alábbi módok egyikét, hogy optimalizálja a Fabric eseménystreamek funkció írási módját a lakehouse-ba a forgatókönyve alapján.

   1. Sorok fájlonként – Azoknak a soroknak a minimális száma, amelyeket a Lakehouse betölt egyetlen fájlban. Minél kisebb a sorok minimális száma, annál több fájlt hoz létre a Lakehouse a betöltés során. A minimum 1 sor. Fájlonként legfeljebb 2 M sor lehet.

   2. Időtartam – A Lakehouse által egyetlen fájl betöltésének maximális időtartama. Minél hosszabb az időtartam, annál több sor van betöltve egy fájlban. A minimum 1 perc, a maximum 2 óra.

      

4. Válassza a Hozzáadás lehetőséget a lakehouse-cél hozzáadásához.

5. A lakehouse-célhelyen elérhető táblázatoptimalizálási parancsikon. Ez a megoldás egy Spark-feladat jegyzetfüzeten belüli elindításával segíti elő, amely összevonja ezeket a kis streamfájlokat a cél Lakehouse-táblában.

   

6. A vásznon megjelenik egy tóházi célhely, egy forgó állapotjelzővel. A rendszer néhány percig tart, amíg az állapotot aktívra módosítja.

   

Cél kezelése

Szerkesztés/eltávolítás: Szerkesztheti vagy eltávolíthatja az eseménystream célhelyét a navigációs panelen vagy a vásznon keresztül.

Amikor a Szerkesztés lehetőséget választja, a szerkesztő jobb oldalán nyílik meg a szerkesztési ablaktábla. Tetszés szerint módosíthatja a konfigurációt, beleértve az eseményátalakítási logikát is az eseményfeldolgozó-szerkesztőn keresztül.

Kapcsolódó tartalom

Ha meg szeretné tudni, hogyan adhat hozzá más célhelyeket egy eseménystreamhez, tekintse meg az alábbi cikkeket:

• Események átirányítása célhelyekre
• Egyéni alkalmazás célhelye
• KQL-adatbázis célhelye
• Reflex célhelye
• Eseményfolyam létrehozása