Eseményadatok feldolgozása az eseményfeldolgozó szerkesztőjével

Az eseményfeldolgozó-szerkesztő egy kód nélküli felület, amellyel húzással megtervezheti az esemény adatfeldolgozási logikáját. Ez a cikk bemutatja, hogyan tervezheti meg a feldolgozási logikát a szerkesztő használatával.

Feljegyzés

Ha az előzetes verzióban elérhető továbbfejlesztett képességeket szeretné használni, válassza felül a Bővített képességek lehetőséget . Ellenkező esetben válassza a Standard képességek lehetőséget. Az előzetes verzióban elérhető továbbfejlesztett képességekről további információt a Fabric-eseménystreamek bemutatása című témakörben talál.

Előfeltételek

A kezdés előtt el kell végeznie a következő előfeltételeket:

• Hozzáférést kaphat egy prémium szintű munkaterülethez közreműködői vagy annál magasabb engedélyekkel, ahol az eseménystream található.

Fontos

A Fabric-eseménystreamek továbbfejlesztett képességei jelenleg előzetes verzióban érhetők el.

Az eseményfeldolgozás megtervezése a szerkesztővel

Ha kód nélküli szerkesztővel szeretne streamfeldolgozási műveleteket végezni az adatfolyamokon, kövesse az alábbi lépéseket:

1. Ha még nincs szerkesztési módban, válassza a menüszalag Szerkesztés elemét. Győződjön meg arról, hogy a csatlakoztatott műveletek felsőbb rétegbeli csomópontja sémával rendelkezik.

   

2. Ha szerkesztési módban szeretne eseményfeldolgozó operátort beszúrni a streamcsomópont és a cél között, az alábbi két módszer egyikét használhatja:

   • Szúrja be az operátort közvetlenül a kapcsolatvonalról. Mutasson a kapcsolati vonalra, és válassza a + gombot. Megjelenik egy legördülő menü a kapcsolatvonalon, és kiválaszthat egy operátort ebből a menüből.

     

   • Szúrja be az operátort a menüszalag menüjéből vagy vászonjáról.

     1. A menüszalag Transzformációs események menüjében kiválaszthat egy operátort.

        

        Másik lehetőségként rámutathat az egyik csomópontra, és ha törölte a kapcsolatvonalat, válassza a + gombot. A csomópont mellett megjelenik egy legördülő menü, amelyből kiválaszthat egy operátort.

        

     2. Az operátor beszúrása után újra kell csatlakoztatnia ezeket a csomópontokat. Mutasson a streamcsomópont bal szélére, majd válassza ki és húzza a zöld kört a Mezők kezelése operátor csomóponthoz való csatlakozáshoz. Ugyanezt a folyamatot követve csatlakoztassa a Mezők kezelése operátor csomópontot a célhoz.

        

3. Válassza a Mezők kezelése operátor csomópontot. A Mezők kezelése konfigurációs panelen jelölje ki a megjeleníteni kívánt mezőket. Ha minden mezőt fel szeretne venni, válassza az Összes mező hozzáadása lehetőséget. Új mezőt is hozzáadhat a beépített függvényekkel az adatok felsőbb rétegből való összesítéséhez. (Jelenleg a támogatott beépített függvények a karakterláncfüggvények, a dátum- és időfüggvények, a matematikai függvények egyes függvényei. Ha meg szeretné keresni őket, keressen rá a built-in.)

   

4. A Mezők kezelése operátor konfigurálása után válassza a Frissítés lehetőséget az operátor által létrehozott teszteredmény ellenőrzéséhez.

   

5. Ha konfigurációs hibák lépnek fel, azok az alsó panel Szerzői hibák lapján jelennek meg.

   

6. Ha a teszt eredménye helyesnek tűnik, válassza a Közzététel lehetőséget az eseményfeldolgozási logika mentéséhez és az Élő nézethez való visszatéréshez.

   

7. Miután elvégezte ezeket a lépéseket, megjelenítheti, hogyan indíthatja el az eseménystream a streamelést és az adatok feldolgozását Élő nézetben.

   

Eseményfeldolgozási szerkesztő

Az eseményfeldolgozó szerkesztője (a vászon szerkesztési módban) lehetővé teszi az adatok különböző célhelyekre való átalakítását. Az adatfolyamok streamfeldolgozási műveleteinek tervezéséhez írja be a Szerkesztés módot.

A Szerkesztés mód egy vászonból és egy alsó panelből áll, ahol a következőket teheti:

• Hozza létre az eseményadat-átalakítási logikát húzással.
• Az előzetes verziójú teszt eredménye az egyes feldolgozási csomópontok elejétől a végéig.
• Felderítheti a feldolgozási csomópontokon belüli szerzői hibákat.

Szerkesztő elrendezése

• Menüszalag menü és vászon (Számozott a képen): Ezen a panelen úgy tervezheti meg az adatátalakítási logikát, hogy kiválaszt egy operátort (az Események átalakítása menüből), és csatlakoztatja a streamet és a célcsomópontokat az újonnan létrehozott operátorcsomóponton keresztül. Húzással húzhatja a csatlakozó vonalakat, vagy kijelölheti és törölheti a kapcsolatokat.
• Jobb oldali szerkesztési panel (kettő a képen): Ez az ablaktábla lehetővé teszi a kijelölt csomópont konfigurálását vagy a stream nevének megtekintését.
• Alsó panel adatelőnézettel és szerzői hibalapokkal (a képen három): Ebben a panelen a teszteredmény előnézete egy kijelölt csomóponton, a Teszteredmény laplal. A Szerzői hibák lap felsorolja a műveleti csomópontok hiányos vagy helytelen konfigurációit.

Támogatott csomóponttípusok és példák

A betöltés előtt az alábbi céltípusok támogatják az operátorok hozzáadását:

• Lakehouse
• KQL-adatbázis (Eseményfeldolgozás a betöltés előtt)
• Származtatott stream

Feljegyzés

Az olyan célhelyek esetében, amelyek nem támogatják az előbetöltési operátor hozzáadását, először hozzáadhat egy származtatott streamet az operátor kimeneteként. Ezután fűzze hozzá a kívánt célhelyet ehhez a származtatott streamhez.

A Lakehouse és a KQL-adatbázis eseményfeldolgozója (az eseményfeldolgozás a betöltés előtt) lehetővé teszi az adatok feldolgozását, mielőtt betöltené őket a célhelyre.

Előfeltételek

A kezdés előtt el kell végeznie a következő előfeltételeket:

• Hozzáférést kaphat egy prémium szintű munkaterülethez közreműködői vagy annál magasabb engedélyekkel, ahol az eseménystream található.
• Hozzáférést kaphat egy prémium szintű munkaterülethez közreműködői vagy annál magasabb engedélyekkel, ahol a lakehouse vagy a KQL-adatbázis található.

Az eseményfeldolgozás megtervezése a szerkesztővel

Az eseményfeldolgozás megtervezése az eseményfeldolgozó szerkesztővel:

1. Adjon hozzá egy Lakehouse-célhelyet , és adja meg a szükséges paramétereket a jobb oldali panelen. (Lásd: Adjon hozzá és kezeljen egy célhelyet egy eseménystreamben a részletes utasításokért. )

2. Válassza az Eseményfeldolgozó megnyitása lehetőséget. Megjelenik az Eseményfeldolgozás szerkesztő képernyője.

   

3. Az Eseményfeldolgozás szerkesztővásznon válassza ki az eseménystream csomópontot. Megtekintheti az adatséma előnézetét, vagy módosíthatja az adattípust a jobb oldali Eventstream panelen.

   

4. Ha eseményfeldolgozó operátort szeretne beszúrni az eseménystream és a cél közé az eseményfeldolgozó szerkesztőjében, az alábbi két módszer egyikét használhatja:

   1. Szúrja be az operátort közvetlenül a kapcsolatvonalról. Mutasson a kapcsolati vonalra, és válassza a "+" gombot. Megjelenik egy legördülő menü a kapcsolatvonalon, és kiválaszthat egy operátort ebből a menüből.

      

   2. Szúrja be az operátort a menüszalag menüjéből vagy vászonjáról.

      1. A menüszalag Műveletek menüjében kiválaszthat egy operátort. Másik lehetőségként rámutathat az egyik csomópontra, majd a "+" gombra kattintva törölheti a kapcsolatvonalat. A csomópont mellett megjelenik egy legördülő menü, amelyből kiválaszthat egy operátort.

         

         

      2. Végül újra kell csatlakoztatnia ezeket a csomópontokat. Vigye az egérmutatót az eseménystream csomópont bal szélén, majd a zöld kör kiválasztásával és húzásával csatlakoztassa a Mezőkezelő csomóponthoz. Ugyanezt a folyamatot követve csatlakoztassa a Mezők kezelése operátor csomópontot a lakehouse-csomóponthoz.

         

5. Válassza a Mezők kezelése operátor csomópontot. A Mezők kezelése konfigurációs panelen jelölje ki a megjeleníteni kívánt mezőket. Ha minden mezőt fel szeretne venni, válassza az Összes mező hozzáadása lehetőséget. Új mezőt is hozzáadhat a beépített függvényekkel az adatok felsőbb rétegből való összesítéséhez. (Jelenleg az általunk támogatott beépített függvények Sztringfüggvények, dátum- és időfüggvények, matematikai függvények. Ha meg szeretné keresni őket, keressen rá a "beépített" kifejezésre.

   

6. A Mezők kezelése operátor konfigurálása után válassza a Statikus előnézet frissítése lehetőséget az operátor által előállított adatok előnézetének megtekintéséhez.

   

7. Ha konfigurációs hibák lépnek fel, azok az alsó panel Szerzői hiba lapján jelennek meg.

   

8. Ha az előnézetben szereplő adatok helyesnek tűnnek, válassza a Kész elemet az eseményfeldolgozási logika mentéséhez, és térjen vissza a Lakehouse-célkonfigurációs képernyőre.

9. Válassza a Hozzáadás lehetőséget a lakehouse-cél létrehozásának befejezéséhez.

Eseményfeldolgozó-szerkesztő

Az eseményfeldolgozó lehetővé teszi, hogy a betöltendő adatokat egy tóházi célhelyre alakítsa át. A lakehouse-cél konfigurálásakor a Lakehouse-célkonfigurációs képernyő közepén található az Open event processor (Eseménymegnyitás) lehetőség.

Az Eseményfeldolgozó megnyitása lehetőséget választva megjelenik az Eseményfeldolgozás szerkesztő képernyője, ahol megadhatja az adatátalakítási logikát.

Az eseményfeldolgozó szerkesztője egy vászonból és egy alsó panelből áll, ahol a következőket teheti:

• Hozza létre az eseményadat-átalakítási logikát húzással.
• Az adatok előnézete az egyes feldolgozási csomópontokban az elejétől a végéig.
• Felderítheti a feldolgozási csomópontokon belüli szerzői hibákat.

A képernyő elrendezése olyan, mint a főszerkesztő. A következő képen látható három szakaszból áll:

1. Vászon diagramnézettel: Ezen a panelen úgy tervezheti meg az adatátalakítási logikát, hogy kiválaszt egy operátort (az Operations menüből), és csatlakoztatja az eseménystreamet és a célcsomópontokat az újonnan létrehozott operátorcsomóponton keresztül. Húzással húzhatja a csatlakozó vonalakat, vagy kijelölheti és törölheti a kapcsolatokat.

2. Jobb oldali szerkesztési ablaktábla: Ezen az ablaktáblán konfigurálhatja a kijelölt műveleti csomópontot, vagy megtekintheti az eseménystream és a cél sémáját.

3. Alsó panel az adatok előnézetével és a szerzői hibák lapjaival: Ebben a panelen az adatok előnézete egy kijelölt csomóponton az Adatok előnézete fülkel. A Szerzői hibák lap felsorolja a műveleti csomópontok hiányos vagy helytelen konfigurációit.

Szerzői hibák

A szerzői hibák az eseményfeldolgozó-szerkesztőben a műveleti csomópontok hiányos vagy helytelen konfigurációja miatt előforduló hibákra utalnak, amelyek segítenek megtalálni és kijavítani a lehetséges problémákat az eseményfeldolgozóban.

A szerzői hibákat az Eseményfeldolgozó-szerkesztő alsó panelén tekintheti meg. Az alsó panel felsorolja az összes szerzői hibát, mindegyik szerzői hibának négy oszlopa van:

• Csomópont azonosítója: Annak a műveleti csomópontnak az azonosítója, ahol a szerzői hiba történt.
• Csomópont típusa: Annak a műveleti csomópontnak a típusát jelzi, ahol a szerzői hiba történt.
• Szint: A szerzői hiba súlyosságát jelzi, két szint létezik: Végzetes és Információ. A végzetes szintű szerzői hiba azt jelenti, hogy az eseményfeldolgozó súlyos problémákat tapasztal, és nem menthető vagy futtatható. Az információszint-létrehozási hiba azt jelenti, hogy az eseményfeldolgozó tippeket vagy javaslatokat tartalmaz, amelyek segíthetnek az eseményfeldolgozó optimalizálásában vagy fejlesztésében.
• Hiba: A szerzői hiba konkrét információit jelzi, röviden leírja a szerzői hiba okát és hatását. A részletek megtekintéséhez válassza a Részletek megjelenítése lapot.

Mivel az Eventstream és a KQL-adatbázis különböző adattípusokat támogat, az adattípus-átalakítás folyamata szerzői hibákat eredményezhet.

Az alábbi táblázat az eventstreamről KQL-adatbázisra való adattípus-átalakítás eredményeit mutatja be. Az oszlopok az Eventstream által támogatott adattípusokat, a sorok pedig a KQL Database által támogatott adattípusokat jelölik. A cellák az átalakítás eredményeit jelölik, amelyek a következő három közül lehetnek:

✔️ Sikeres átalakítást jelez, nem jön létre hiba vagy figyelmeztetés.

❌ Lehetetlen átalakítást jelez, végzetes szerzői hiba jön létre. A hibaüzenet a következőhöz hasonló: A "{0}" oszlop "{1}" adattípusa nem egyezik a kiválasztott KQL-táblában várt "{2}" típussal, és nem állítható automatikusan.

⚠️ Lehetséges, de pontatlan konverziót jelez, és az információkészítési hiba jön létre. A hibaüzenet a következőhöz hasonló: A "{0}" oszlop "{1}" adattípusa nem felel meg pontosan a kiválasztott KQL-táblában várt "{2}" típusnak. Automatikusan ""-ra{2} van átalakítva.

	húr	logikai	dátum/idő	dinamikus	guid	egész	hosszú	valós szám	időtartomány	tizedes
Int64	❌	❌	❌	✔️	❌	⚠️	✔️	⚠️	❌	✔️
Dupla	❌	❌	❌	✔️	❌	❌	❌	⚠️	❌	⚠️
Sztring	✔️	❌	❌	✔️	❌	❌	❌	❌	❌	❌
Datetime	⚠️	❌	✔️	✔️	❌	❌	❌	❌	❌	❌
Rekord	⚠️	❌	❌	✔️	❌	❌	❌	❌	❌	❌
Tömb	⚠️	❌	❌	✔️	❌	❌	❌	❌	❌	❌

Ahogy a táblázatból látható, egyes adattípus-átalakítások sikeresek, például sztringről sztringre. Ezek a konverziók nem okoznak szerzői hibákat, és nem befolyásolják az eseményfeldolgozó működését.

Bizonyos adattípus-átalakítások nem lehetségesek, például sztringbe való intálás. Ezek a konverziók végzetes szintű szerzői hibákat okoznak, ezért az eseményfeldolgozó nem menthető. A hibák elkerülése érdekében módosítania kell az adattípust az Eventstreamben vagy a KQL-táblában.

Egyes adattípus-átalakítások lehetségesek, de nem pontosak, például valósra intnek. Ezek a konverziók információszint-létrehozási hibákat okoznak, ami az adattípusok és az automatikus konverziós eredmények közötti eltérést jelzi. Ezek az átalakítások az adatok pontosságának vagy szerkezetének elvesztését okozhatják. Választhatja, hogy figyelmen kívül hagyja-e ezeket a hibákat, vagy módosíthatja az adattípust az Eventstreamben vagy a KQL-táblázatban az eseményfeldolgozó optimalizálásához.

Transzformációs operátorok

Az eseményfeldolgozó hat operátort biztosít, amelyekkel az üzleti igényeknek megfelelően alakíthatja át az eseményadatokat.

Összesítés

Az Összesítés átalakítással kiszámíthat egy aggregációt (Összeg, Minimum, Maximum vagy Átlag) minden alkalommal, amikor egy új esemény egy adott időszakban történik. Ez a művelet lehetővé teszi ezen számított oszlopok átnevezését, valamint az adatok más dimenziói alapján az összesítés szűrését vagy szeletelését. Egy vagy több aggregáció is lehet ugyanabban az átalakításban.

Kibontás

A Tömb kibontása átalakítással új sort hozhat létre a tömbön belüli összes értékhez.

Szűrő

A Szűrőátalakítással szűrheti az eseményeket a bemenet egyik mezőjének értéke alapján. Az adattípustól (számtól vagy szövegtől) függően az átalakítás megőrzi a kiválasztott feltételnek megfelelő értékeket, például null vagy nem null értékű.

Csoportosítás szempontja:

A Csoport átalakítással az összes esemény összesítésének kiszámításához egy adott időkereten belül. Egy vagy több mező értékei szerint csoportosíthat. Ez olyan, mint az Összesítés átalakítás lehetővé teszi az oszlopok átnevezését, de több lehetőséget kínál az összesítésre, és összetettebb lehetőségeket tartalmaz az időablakokhoz. Az Összesítéshez hasonlóan átalakításonként több aggregációt is hozzáadhat.

Az átalakításban elérhető összesítések a következők:

• Átlagos
• Gróf
• Maximum
• Minimum
• Percentilis (folyamatos és diszkrét)
• Szórás
• Sum
• Eltérés

Az időalapú streamelési forgatókönyvekben az időbeli ablakokban lévő adatokon végzett műveletek gyakori minta. Az eseményfeldolgozó támogatja az ablakkezelő függvényeket, amelyek operátoronként integrálva lesznek a csoporttal . Ezt az operátor beállításában határozhatja meg.

Mezők kezelése

A Mezők kezelése átalakítással adattípusokat vehet fel, távolíthat el, módosíthat vagy átnevezhet egy bemenetből vagy egy másik átalakításból érkező mezőket. Az oldalpanel beállításai lehetővé teszik egy új mező hozzáadását a Mező hozzáadása, több mező hozzáadása vagy az összes mező egyidejű hozzáadásával.

Emellett hozzáadhat egy új mezőt a beépített függvényekkel az adatok felsőbb rétegből való összesítéséhez. (Jelenleg az általunk támogatott beépített függvények Sztringfüggvények, dátum- és időfüggvények, valamint matematikai függvények. Ha meg szeretné keresni őket, keressen rá a "beépített" kifejezésre.

Az alábbi táblázat az adattípus kezelésmezők használatával történő módosításának eredményeit mutatja be. Az oszlopok az eredeti adattípusokat, a sorokat pedig a cél adattípust jelölik.

• Ha van egy ✔️ cella, az azt jelenti, hogy közvetlenül konvertálható, és a céladattípus-beállítás megjelenik a legördülő listában.
• Ha van egy ❌ cella, az azt jelenti, hogy nem konvertálható, és a céladattípus-beállítás nem jelenik meg a legördülő listában.
• ⚠Ha van ️ a cellában, az azt jelenti, hogy konvertálható, de bizonyos feltételeknek, például a sztringformátumnak meg kell felelnie a céladattípus követelményeinek. Ha például sztringről intre konvertál, a sztringnek érvényes egész száműrlapnak kell lennie, például 123nem abc.

	Int64	Dupla	Sztring	Datetime	Rögzítés	Tömb
Int64	✔️	✔️	✔️	❌	❌	❌
Dupla	✔️	✔️	✔️	❌	❌	❌
Sztring	⚠️	⚠️	✔️	⚠️	❌	❌
Datetime	❌	❌	✔️	✔️	❌	❌
Rekord	❌	❌	✔️	❌	✔️	❌
Tömb	❌	❌	✔️	❌	❌	✔️

Union

Az Uniós átalakítással két vagy több csomópontot csatlakoztathat, és egy táblába felvehet olyan eseményeket, amelyek megosztott mezőket (ugyanazzal a névvel és adattípussal) osztottak meg. A nem egyező mezők el lesznek dobva, és nem szerepelnek a kimenetben.

Csatlakozás

Az Illesztés átalakítás használatával két bemenet eseményeit egyesítheti a kiválasztott mezőpárok alapján. Ha nem jelöl ki mezőpárt, az illesztés alapértelmezés szerint az idő alapján történik. Az alapértelmezett érték az, ami miatt ez az átalakítás eltér egy kötegtől.

A normál illesztésekhez hasonlóan az illesztési logikához is vannak lehetőségek:

• Belső illesztés: Csak olyan rekordokat vegyen fel mindkét táblából, ahol a pár egyezik.
• Bal oldali külső illesztés: A bal oldali (első) tábla összes rekordját belefoglalja, és csak a második rekordot, amely megfelel a mezőpárnak. Ha nincs egyezés, a második bemenet mezői üresek.

Kapcsolódó tartalom

• Célhelyek hozzáadása és kezelése egy eseménystreamben.