Spracovanie údajov udalosti pomocou editora procesora udalosti

Editor procesora udalosti je prostredie bez použitia kódu, ktoré umožňuje presúvať myšou navrhnúť logiku spracovania údajov udalosti. Tento článok popisuje, ako používať editor na navrhnutie logiky spracovania.

Poznámka

Ak chcete používať rozšírené možnosti, ktoré sú vo verzii Preview, v hornej časti vyberte položku Rozšírené možnosti . V opačnom prípade vyberte položku Štandardné možnosti. Informácie o rozšírených možnostiach, ktoré sú vo verzii Preview, nájdete v téme Úvodné informácie o streamoch udalostí služby Fabric.

Požiadavky

Skôr než začnete, musíte splniť nasledujúce predpoklady:

• Získajte prístup do pracovného priestoru Premium s povoleniami Prispievateľ alebo vyššie, kde sa nachádza váš eventstream.

Dôležité

Vylepšené možnosti streamov udalostí služby Fabric sú v súčasnosti v režime ukážky.

Návrh spracovania udalosti s editorom

Ak chcete vykonávať operácie spracovania streamu v streamoch údajov pomocou editora bez použitia kódu, postupujte podľa týchto krokov:

1. Ak ešte nie ste v režime úprav, vyberte položku Upraviť na páse s nástrojmi. Uistite sa, že upstreamový uzol pre pripojené operácie má schému.

   

2. Ak chcete vložiť operátor spracovania udalostí medzi uzlom streamu a cieľom v režime úprav, môžete použiť jednu z nasledujúcich dvoch metód:

   • Vložte operátor priamo z riadka pripojenia. Ukážte myšou na riadok pripojenia a potom vyberte + tlačidlo. V riadku pripojenia sa zobrazí rozbaľovacia ponuka a v tejto ponuke môžete vybrať operátora.

     

   • Vložte operátor z ponuky na páse s nástrojmi alebo plátna.

     1. Operátor môžete vybrať v ponuke Transformovať udalosti na páse s nástrojmi.

        

        Prípadne môžete podržať ukazovateľ myši na niektorom z uzlov a po odstránení riadka pripojenia vybrať + tlačidlo. Vedľa tohto uzla sa zobrazí rozbaľovacia ponuka a v tejto ponuke môžete vybrať operátor.

        

     2. Po vložení operátora je potrebné tieto uzly znova pripojiť. Ukážte na ľavý okraj uzla streamu a potom vyberte a presuňte zelený kruh, čím ho pripojíte k uzle Operátor spravovania polí . Pomocou rovnakého procesu pripojte uzol operátora Spravovať polia k vášmu cieľu.

        

3. Vyberte uzol operátora Spravovať polia . Na paneli konfigurácie Spravovať polia vyberte polia, ktoré chcete výstupom. Ak chcete pridať všetky polia, vyberte položku Pridať všetky polia. Môžete tiež pridať nové pole so vstavanými funkciami na agregáciu údajov z upstreamu. (V súčasnosti sú vstavané funkcie, ktoré podporujeme, niektoré funkcie v matematických funkciách, funkciách dátumu a času, v matematických funkciách. Ak ich chcete nájsť, vyhľadajte ich v časti built-in.)

   

4. Po nakonfigurovaní operátora Spravovať polia vyberte položku Obnoviť a overte výsledok testu vytvorený týmto operátorom.

   

5. Ak nájdete akékoľvek chyby konfigurácie, zobrazia sa na karte Chyby pri vytváraní v dolnej table.

   

6. Ak výsledok testu vyzerá správne, vyberte položku Publikovať , čím uložíte logiku spracovania udalosti a vrátite sa do dynamického zobrazenia.

   

7. Po dokončení týchto krokov môžete vizualizovať, ako váš udalosť eventstream začne streamovať a spracovávať údaje v živom zobrazení.

   

Editor spracovania udalostí

Editor procesora udalosti (plátno v režime Upraviť) umožňuje transformovať údaje do rôznych cieľov. Ak chcete navrhnúť operácie spracovania streamu pre streamy údajov, zadajte do režimu úprav.

Režim úprav zahŕňa plátno a dolnú tablu, kde môžete:

• Vytvorte logiku transformácie údajov udalosti presunutím myšou.
• Výsledkom testu ukážky je každé spracovanie uzlov od začiatku do konca.
• Objavte všetky chyby pri vytváraní v rámci uzlov spracovania.

Rozloženie editora

• Ponuka pása s nástrojmi a plátno (číslovanie na obrázku): Na tejto table môžete navrhnúť logiku transformácie údajov výberom operátora (v ponuke Transformovať udalosti) a pripojením streamu a cieľových uzlov prostredníctvom novovytvoreného uzla operátora. Prípojné čiary môžete presúvať myšou alebo vybrať a odstrániť pripojenia.
• Pravá tabla na úpravy (dve na obrázku): Táto tabla umožňuje nakonfigurovať vybratý uzol alebo zobraziť názov streamu.
• Dolná tabla s ukážkou údajov a kartami chyby pri vytváraní (tri na obrázku): Na tejto table zobrazte ukážku testovacieho výsledku vo vybratom uzli s kartou Test výsledku. Karta Authoring errors (Chyby pri vytváraní) uvádza všetky neúplné alebo nesprávne konfigurácie v uzloch operácie.

Podporované typy a príklady uzla

Tu sú typy cieľov, ktoré podporujú pridanie operátorov pred príjmu:

• Lakehouse
• Databáza KQL (spracovanie udalostí pred príjmu)
• Odvodený stream

Poznámka

V prípade cieľov, ktoré nepodporňujú sčítanie operátora predbežného príjmu, môžete ako výstup operátora najprv pridať odvodený stream. Potom pripojte zamýšľané cieľové umiestnenie k tomuto odvodenému streamu.

Procesor udalosti v službe Lakehouse a databáze KQL (spracovanie udalostí pred príjmem) vám umožní spracovať údaje ešte pred ich príjme do cieľa.

Požiadavky

Skôr než začnete, musíte splniť nasledujúce predpoklady:

• Získajte prístup do pracovného priestoru Premium s povoleniami Prispievateľ alebo vyššie, kde sa nachádza váš eventstream.
• Získajte prístup do pracovného priestoru Premium s povoleniami prispievateľa alebo vyššie, kde sa nachádza váš domov lakehouse alebo KQL Database.

Návrh spracovania udalosti s editorom

Ak chcete navrhnúť spracovanie udalosti s editorom procesora udalosti:

1. Pridajte cieľ lakehouse a zadajte potrebné parametre na pravej table. (Pozri tému Pridajte a spravujte cieľ v eventstreame , kde nájdete podrobné pokyny. )

2. Vyberte položku Otvoriť procesor udalostí. Zobrazí sa obrazovka editora spracovania udalostí.

   

3. Na plátne editora spracovania udalostí vyberte uzol eventstream. Môžete zobraziť ukážku schémy údajov alebo zmeniť typ údajov na pravej table Eventstream .

   

4. Ak chcete vložiť operátor spracovania udalostí medzi tento eventstream a cieľ v editore procesora udalosti, môžete použiť jeden z nasledujúcich dvoch spôsobov:

   1. Vložte operátor priamo z riadka pripojenia. Ukážte na riadok pripojenia a potom vyberte tlačidlo +. V riadku pripojenia sa zobrazí rozbaľovacia ponuka a v tejto ponuke môžete vybrať operátora.

      

   2. Vložte operátor z ponuky na páse s nástrojmi alebo plátna.

      1. Operátor môžete vybrať v ponuke Operácie na páse s nástrojmi. Prípadne môžete podržať ukazovateľ myši na niektorom z uzlov a po odstránení riadka pripojenia vybrať tlačidlo +. Vedľa tohto uzla sa zobrazí rozbaľovacia ponuka a v tejto ponuke môžete vybrať operátor.

         

         

      2. Nakoniec musíte tieto uzly znova pripojiť. Ukážte na ľavý okraj uzla streamu udalosti a potom vyberte a presuňte zelený kruh, čím ho pripojíte k uzle operátora Spravovať polia . Postupujte podľa rovnakého procesu a pripojte uzol operátora Spravovať polia k uzdlu lakehouse.

         

5. Vyberte uzol operátora Spravovať polia . Na paneli konfigurácie Spravovať polia vyberte polia, ktoré chcete výstupom. Ak chcete pridať všetky polia, vyberte položku Pridať všetky polia. Môžete tiež pridať nové pole so vstavanými funkciami na agregáciu údajov z upstreamu. (V súčasnosti sú vstavané funkcie, ktoré podporujeme, niektorými funkciami v Funkcie reťazcov, funkcie dátumu a času, matematické funkcie. Ak ich chcete nájsť, vyhľadajte ich v časti "vstavané".

   

6. Po nakonfigurovaní operátora Spravovať polia vyberte položku Obnoviť statickú ukážku a zobrazte ukážku údajov, ktoré tento operátor vytvorí.

   

7. Ak nájdete akékoľvek chyby konfigurácie, zobrazia sa na karte Chyba pri vytváraní v dolnej table.

   

8. Ak ukážka údajov vyzerá správne, vyberte položku Hotovo , čím uložíte logiku spracovania udalosti a vrátite sa na obrazovku konfigurácie cieľového umiestnenia Lakehouse.

9. Vyberte položku Pridať a dokončite vytvorenie cieľa svojho jazera.

Editor procesora udalostí

Procesor udalosti vám umožňuje transformovať údaje, ktoré prevádzate do cieľa v lakehouse. Pri konfigurácii cieľa lakehouse nájdete možnosť Otvoriť udalosť procesora v strede cieľovej obrazovky Lakehouse konfigurácie.

Výberom položky Procesor otvorenia udalosti sa spustí obrazovka editora spracovania udalostí, kde môžete definovať logiku transformácie údajov.

Editor procesora udalosti obsahuje plátno a dolnú tablu, kde môžete:

• Vytvorte logiku transformácie údajov udalosti presunutím myšou.
• Zobrazte ukážku údajov v každom spracúvaní uzlov od začiatku do konca.
• Objavte všetky chyby pri vytváraní v rámci uzlov spracovania.

Rozloženie obrazovky je podobné hlavnému editoru. Skladá sa z troch častí, ktoré sú zobrazené na nasledujúcom obrázku:

1. Plátno so zobrazením diagramu: Na tejto table môžete navrhnúť logiku transformácie údajov výberom operátora (z ponuky Operácie ) a pripojením eventstreamu a cieľových uzlov prostredníctvom novovytvoreného uzla operátora. Prípojné čiary môžete presúvať myšou alebo vybrať a odstrániť pripojenia.

2. Pravá tabla na úpravy: Táto tabla umožňuje nakonfigurovať vybratý uzol operácie alebo zobraziť schému toku udalosti a cieľa.

3. Dolná tabla s ukážkou údajov a kartami s chybami pri vytváraní: Na tejto table zobrazte ukážku údajov vo vybratom uzli s kartou Ukážka údajov. Karta Authoring errors (Chyby pri vytváraní) uvádza všetky neúplné alebo nesprávne konfigurácie v uzloch operácie.

Chyby pri vytváraní

Chyby pri vytváraní sa týkajú chýb, ktoré sa vyskytujú v editore procesorov udalostí z dôvodu neúplnej alebo nesprávnej konfigurácie uzlov operácie, ktoré pomáhajú vyhľadať a opraviť potenciálne problémy v procesore udalosti.

Chyby pri vytváraní môžete zobraziť na dolnom paneli editora procesora udalosti. Na dolnom paneli sa uvádzajú všetky chyby pri vytváraní, pričom každá chyba pri vytváraní má štyri stĺpce:

• Node ID: označuje ID uzla operácie, v ktorom sa vyskytla chyba pri vytváraní.
• Typ uzla: označuje typ uzla operácie, v ktorom sa vyskytla chyba pri vytváraní.
• Level: Označuje závažnosť chyby pri vytváraní, existujú dve úrovne, Fatálne a Informácie. Fatálna chyba pri vytváraní obsahu znamená, že váš procesor udalosti má vážne problémy a nedá sa uložiť ani spustiť. Chyba pri vytváraní na úrovni informácií znamená, že procesor udalosti obsahuje niekoľko tipov alebo návrhov, ktoré vám môžu pomôcť optimalizovať alebo vylepšiť procesor udalosti.
• Chyba: označuje konkrétne informácie o chybe pri vytváraní, čo stručne popisuje príčinu a vplyv chyby pri vytváraní. Výberom karty Zobraziť podrobnosti môžete zobraziť podrobnosti.

Keďže Eventstream a databáza KQL podporujú rôzne typy údajov, proces konverzie typu údajov môže vygenerovať chyby pri vytváraní údajov.

V nasledujúcej tabuľke sú uvedené výsledky konverzie typu údajov z Eventstreamu na databázu KQL. Stĺpce predstavujú typy údajov podporované udalosťou Eventstream a riadky predstavujú typy údajov podporované databázou KQL. Bunky indikujú výsledky konverzie, čo môže byť jedna z nasledujúcich troch možností:

✔️ Označuje úspešnú konverziu, nevygenerujú sa žiadne chyby ani upozornenia.

❌ Označuje nemožnú konverziu, pričom sa vygeneruje smrteľná chyba pri vytváraní. Chybové hlásenie je podobné: Typ{1} údajov pre stĺpec "{0}" sa nezhoduje s očakávaným typom{2} vo vybratej tabuľke KQL a nedá sa automaticky konvertovať.

⚠️ Označuje možnú, ale nepresnú konverziu, vygeneruje sa chyba vytvorenia informácií. Chybové hlásenie je podobné: Typ{1} údajov pre stĺpec "{0}" sa presne nezhoduje s očakávaným typom{2} vo vybratej tabuľke KQL. Automaticky sa konvertuje na{2} možnosť .

	povrázok	Bool	Datetime	Dynamické	Identifikátor guid	Int	Dlho	Skutočné	Timespan	desiatkový
Int64	❌	❌	❌	✔️	❌	⚠️	✔️	⚠️	❌	✔️
Dvojlôžková	❌	❌	❌	✔️	❌	❌	❌	⚠️	❌	⚠️
Reťazec	✔️	❌	❌	✔️	❌	❌	❌	❌	❌	❌
Datetime	⚠️	❌	✔️	✔️	❌	❌	❌	❌	❌	❌
Záznam	⚠️	❌	❌	✔️	❌	❌	❌	❌	❌	❌
Pole	⚠️	❌	❌	✔️	❌	❌	❌	❌	❌	❌

Ako môžete vidieť z tabuľky, niektoré konverzie typu údajov sú úspešné, napríklad reťazec na reťazec. Tieto konverzie negenerujú žiadne chyby pri vytváraní a nemajú vplyv na prevádzku procesora udalosti.

Niektoré konverzie typu údajov sú nemožné, napríklad int na reťazec. Tieto konverzie spôsobia fatálne chyby pri vytváraní, čo spôsobí, že procesor udalosti sa nepodarí uložiť. Aby ste sa vyhli týmto chybám, musíte zmeniť typ údajov v eventstreame alebo v tabuľke KQL.

Niektoré konverzie typov údajov sú možné, ale nie sú presné, ako napríklad v reálnom. Tieto konverzie generujú chyby na úrovni informácií, čo označuje nesúlad medzi typmi údajov a výsledky automatickej konverzie. Tieto konverzie môžu spôsobiť, že vaše údaje stratia presnosť alebo štruktúru. Ak chcete optimalizovať procesor udalosti, môžete vybrať, či tieto chyby ignorovať alebo upraviť typ údajov v udalosti eventstream alebo v tabuľke KQL.

Operátory transformácie

Procesor udalosti poskytuje šesť operátorov, ktoré môžete použiť na transformáciu údajov udalosti podľa potrieb vášho podniku.

Agregácia

Pomocou transformácie agregácie môžete vypočítať agregáciu (Sum (Súčet), Minimum, Maximum alebo Priemer) zakaždým, keď dôjde k novej udalosti v určitom časovom období. Táto operácia tiež umožňuje premenovanie týchto vypočítaných stĺpcov a filtrovanie alebo rozdeľovanie agregácie na základe iných dimenzií v údajoch. V tej istej transformácii môžete mať jednu alebo viac agregácií.

Rozbaliť

Pomocou transformácie poľa Rozbaliť pole vytvorte nový riadok pre každú hodnotu v poli.

Filter

Použite transformáciu filtra na filtrovanie udalostí na základe hodnoty poľa vo vstupe. V závislosti od typu údajov (číslo alebo text) transformácia zachová hodnoty, ktoré zodpovedajú vybratej podmienke, napríklad majú hodnotu null alebo nemajú hodnotu null.

Spôsob zoskupenia

Pomocou transformácie Zoskupiť podľa môžete vypočítať agregácie v rámci všetkých udalostí v určitom časovom okne. Zoskupiť môžete podľa hodnôt v jednom alebo viacerých poliach. Je to ako transformácia agregácie umožňuje premenovanie stĺpcov, ale poskytuje viac možností pre agregáciu a zahŕňa aj zložitejšie možnosti pre časové okná. Rovnako ako agregácia, aj tu môžete pridať viac ako jednu agregáciu na transformáciu.

Agregácie dostupné v transformácii sú:

• Priemerná
• počítať
• Maximálne
• Minimum
• Percentil (spojitý a diskrétny)
• Smerodajná odchýlka
• Súčet
• Rozptyl

V scenároch streamovania času je bežným vzorom vykonávanie operácií s údajmi obsiahnutými v časových oknách. Procesor udalosti podporuje funkcie windowing, ktoré sú integrované s operátorom Zoskupiť podľa . Môžete ho definovať v nastavení tohto operátora.

Spravovať polia

Transformácia Spravovať polia umožňuje pridávať, odstraňovať, meniť typ údajov alebo premenovať polia prichádzajúce zo vstupu alebo z inej transformácie. Nastavenia bočnej tably umožňujú pridať nové pole výberom položky Pridať pole, pridaním viacerých polí alebo pridaním všetkých polí naraz.

Okrem toho môžete pridať nové pole so vstavanými funkciami na agregáciu údajov z upstreamu. (V súčasnosti sú vstavané funkcie, ktoré podporujeme, niektorými funkciami v Funkcie reťazcov, funkcie dátumu a času a matematické funkcie. Ak ich chcete nájsť, vyhľadajte ich v časti "vstavané".

V nasledujúcej tabuľke sú uvedené výsledky zmeny typu údajov pomocou spravovania polí. Stĺpce predstavujú pôvodné typy údajov a riadky predstavujú cieľový typ údajov.

• Ak sa ✔️ v bunke nachádza, znamená to, že sa dá priamo skonvertovať a v rozbaľovacom zozname sa zobrazí možnosť cieľového typu údajov.
• Ak sa ❌ v bunke nachádza, znamená to, že sa nedá skonvertovať a v rozbaľovacom zozname sa nezobrazuje možnosť cieľového typu údajov.
• Ak je v bunke znak ⚠, znamená to, že sa dá skonvertovať, ale musí spĺňať určité podmienky, napríklad formát reťazca musí spĺňať požiadavky cieľového typu údajov. Napríklad pri konvertovaní z reťazca na hodnotu int musí byť reťazec platným celočíselným formulárom, ako 123napríklad , nie abc.

	Int64	Dvojlôžková	String	Datetime	Record	Pole
Int64	✔️	✔️	✔️	❌	❌	❌
Dvojlôžková	✔️	✔️	✔️	❌	❌	❌
Reťazec	⚠️	⚠️	✔️	⚠️	❌	❌
Datetime	❌	❌	✔️	✔️	❌	❌
Záznam	❌	❌	✔️	❌	✔️	❌
Pole	❌	❌	✔️	❌	❌	✔️

Únie

Transformáciu Zjednotenie použite na pripojenie dvoch alebo viacerých uzlov a pridanie udalostí, ktoré zdieľali polia (s rovnakým názvom a typom údajov) do jednej tabuľky. Polia, ktoré sa nezhodujú, sa vynechajú a nie sú zahrnuté vo výstupe.

Pripojiť

Pomocou transformácie Pripojiť môžete skombinovať udalosti z dvoch vstupov na základe vybraných párov polí. Ak nevyberiete pár polí, spojenie je predvolene založené na čase. Predvolená hodnota je to, čo robí túto transformáciu odlišnou od série jedna.

Podobne ako pri bežných spojeniach, aj tu máte možnosti pre logiku spojenia:

• Vnútorné spojenie: zahrňte iba záznamy z oboch tabuliek, v ktorých sa dvojica zhoduje.
• Vonkajšie spojenie zľava: zahrňte všetky záznamy z ľavej (prvej) tabuľky a iba záznamy z druhej tabuľky, ktoré zodpovedajú páru polí. Ak sa zhoda nenájde, polia z druhého vstupu sú prázdne.

Súvisiaci obsah

• Pridanie a spravovanie cieľov v streame udalostí.