Streamy udalostí služby Microsoft Fabric – prehľad
Funkcia streamov udalostí v prostredí Inteligencia v reálnom čase služby Microsoft Fabric umožňuje preniesť udalosti v reálnom čase do služby Fabric, transformovať ich a potom ich nasmerovať do rôznych cieľov bez písania kódu (bez písania kódu). Vytvoríte eventstream, ktorý je inštanciou položky Eventstream v službe Fabric, pridáte do streamu zdroje údajov udalosti, prípadne pridáte transformácie na transformáciu údajov udalosti a potom presmerujete údaje do podporovaných cieľov.
Preneste udalosti do služby Fabric
Funkcia Streamy udalostí poskytuje rôzne zdrojové konektory, aby sa načítali údaje o udalostiach z rôznych zdrojov. Keď povolíte rozšírené možnosti v čase vytvorenia eventstreamu, k dispozícii je viac zdrojov.
Dôležité
Vylepšené možnosti streamov udalostí služby Fabric sú v súčasnosti v režime ukážky.
| Zdroje | Description |
|---|---|
| Centrá udalostí Azure | Ak máte centrum udalostí Azure, môžete ingestovať údaje centra udalostí do služby Microsoft Fabric pomocou eventstreamu. |
| Azure IoT Hub | Ak máte centrum Azure IoT, môžete ingestovať údaje IoT do služby Microsoft Fabric pomocou eventstreamu. |
| Azure SQL Database Change Data Capture (CDC) | Zdrojový konektor databázy Azure SQL CDC umožňuje zaznamenať snímku aktuálnych údajov v databáze Azure SQL. Konektor potom monitoruje a zaznamenáva všetky budúce zmeny týchto údajov na úrovni riadkov. |
| PostgreSQL Database CDC | Konektor zdroja PostgreSQL Database Change Data Capture (CDC) umožňuje zaznamenať snímku aktuálnych údajov v databáze PostgreSQL. Konektor potom monitoruje a zaznamenáva všetky budúce zmeny týchto údajov na úrovni riadkov. |
| Databáza MySQL CDC | Zdrojový konektor Azure MySQL Database Change Data Capture (CDC) umožňuje zaznamenať snímku aktuálnych údajov v databáze Azure Database for MySQL. Môžete zadať tabuľky, ktoré sa majú monitorovať, a udalosť eventstream zaznamenáva akékoľvek budúce zmeny tabuliek na úrovni riadkov. |
| Azure Cosmos DB CDC | Zdrojový konektor pre udalosť Azure Cosmos DB Change Data Capture (CDC) pre streamy udalostí služby Microsoft Fabric vám umožní zaznamenať snímku aktuálnych údajov v databáze Azure Cosmos DB. Konektor potom monitoruje a zaznamenáva všetky budúce zmeny týchto údajov na úrovni riadkov. |
| Google Cloud Pub/Sub | Google Pub/Sub je služba na odosielanie správ, ktorá vám umožňuje publikovať streamy udalostí a odoberať ich. Google Pub/Sub môžete pridať ako zdroj k svojmu eventstreamu na zachytenie, transformáciu a smerovanie udalostí v reálnom čase do rôznych cieľov v službe Fabric. |
| Údajová Prehľady Amazon Kinesis | Amazon Kinesis Data Prehľady je masívne škálovateľná, vysoko trvácna služba spracovania údajov optimalizovaná pre streamovanie údajov. Integráciou služby Amazon Kinesis Data Prehľady ako zdroja v rámci vášho eventstreamu môžete bez problémov spracovať streamy údajov v reálnom čase pred ich smerovaniom do viacerých cieľov v rámci služby Fabric. |
| Confluent Cloud Kafka | Confluent Cloud Kafka je streamovacia platforma, ktorá ponúka výkonné funkcie streamovania a spracovania údajov pomocou Apache Kafka. Integráciou služby Confluent Cloud Kafka ako zdroja v rámci vášho eventstreamu môžete bez problémov spracovať streamy údajov v reálnom čase a až potom ich smerovať do viacerých cieľov v rámci služby Fabric. |
| Udalosti ukladacieho priestoru objektu BLOB platformy Azure | Udalosti ukladacieho priestoru objektu BLOB platformy Azure sa spúšťajú, keď klient vytvorí, nahradí alebo odstráni objekt BLOB. Konektor umožňuje prepojiť udalosti úložiska objektu Blob Storage s udalosťami služby Fabric v centre v reálnom čase. Tieto udalosti môžete konvertovať na spojité streamy údajov a transformovať ich pred ich smerovanie do rôznych cieľov v službe Fabric. |
| Udalosti položky pracovného priestoru služby Fabric | Udalosti položky pracovného priestoru služby Fabric sú diskrétne udalosti služby Fabric, ktoré sa vyskytujú, keď sa vykonávajú zmeny v pracovnom priestore služby Fabric. Tieto zmeny zahŕňajú vytváranie, aktualizáciu alebo odstránenie položky služby Fabric. Pomocou streamov udalostí služby Fabric môžete zaznamenávať tieto udalosti pracovného priestoru služby Fabric, transformovať ich a smerovať ich do rôznych cieľov v službe Fabric na ďalšiu analýzu. |
| Vzorové údaje | Ako vzorový zdroj údajov si môžete vybrať Bicykle, Žlté taxi alebo podujatia na burze, ktoré otestujú príjem údajov pri nastavovaní eventstreamu. |
| Vlastný koncový bod (bývalá vlastná aplikácia) | Funkcia vlastného koncového bodu umožňuje vašim aplikáciám alebo klientom Kafka pripojiť sa k Eventstreamu pomocou reťazec pripojenia, čo umožňuje bezproblémové príjem streamovaných údajov do eventstreamu. |
Spracovanie udalostí bez použitia kódu
Prostredie presunutia vám poskytuje intuitívny a jednoduchý spôsob na vytvorenie spracovania údajov udalosti, transformácie a smerovania bez písania kódu. Diagram toku údajov od konca v eventstreame vám môže poskytnúť komplexné informácie o toku údajov a organizácii. Editor procesora udalosti je prostredie bez použitia kódu, ktoré umožňuje presúvať myšou navrhnúť logiku spracovania údajov udalosti.
| Transformácia | Description |
|---|---|
| Filter | Použite transformáciu filtra na filtrovanie udalostí na základe hodnoty poľa vo vstupe. V závislosti od typu údajov (číslo alebo text) transformácia zachová hodnoty, ktoré zodpovedajú vybratej podmienke, ako is null napríklad alebo is not null. |
| Spravovať polia | Transformácia Spravovať polia umožňuje pridávať, odstraňovať, meniť typ údajov alebo premenovať polia prichádzajúce zo vstupu alebo z inej transformácie. |
| Agregácia | Pomocou transformácie agregácie môžete vypočítať agregáciu (Sum (Súčet), Minimum, Maximum alebo Priemer) zakaždým, keď dôjde k novej udalosti v určitom časovom období. Táto operácia tiež umožňuje premenovanie týchto vypočítaných stĺpcov a filtrovanie alebo rozdeľovanie agregácie na základe iných dimenzií v údajoch. V tej istej transformácii môžete mať jednu alebo viac agregácií. |
| Spôsob zoskupenia | Pomocou transformácie Zoskupiť podľa môžete vypočítať agregácie v rámci všetkých udalostí v určitom časovom okne. Zoskupiť môžete podľa hodnôt v jednom alebo viacerých poliach. Je to ako transformácia agregácie umožňuje premenovanie stĺpcov, ale poskytuje viac možností pre agregáciu a zahŕňa aj zložitejšie možnosti pre časové okná. Rovnako ako agregácia, aj tu môžete pridať viac ako jednu agregáciu na transformáciu. |
| Únie | Transformáciu Zjednotenia môžete použiť na pripojenie dvoch alebo viacerých uzlov a pridanie udalostí so zdieľanými poľami (s rovnakým názvom a typom údajov) do jednej tabuľky. Polia, ktoré sa nezhodujú, sa vynechajú a nie sú zahrnuté vo výstupe. |
| Rozbaliť | Pomocou transformácie poľa Rozbaliť pole vytvorte nový riadok pre každú hodnotu v poli. |
| Pripojiť | Transformáciu Spojenia môžete použiť na kombinovanie údajov z dvoch streamov na základe zodpovedajúcej podmienky medzi nimi. |
Ak ste pri vytváraní eventstreamu povolili rozšírené možnosti , operácie transformácie sú podporované pre všetky ciele (s odvodeným streamom, ktorý sa v niektorých cieľoch, ako napríklad Vlastný koncový bod, Reflex) zobrazuje ako prechodný most. Ak ste to neurobili, operácie transformácie sú k dispozícii iba pre cieľové umiestnenia Lakehouse a KQL Database (spracovanie udalostí pred príjme).
Trasy udalostí do cieľov
Funkcia Streamy udalostí služby Fabric podporuje odosielanie údajov do týchto podporovaných cieľov.
| Cieľ | Description |
|---|---|
| Vlastný koncový bod (bývalá vlastná aplikácia) | S týmto cieľom môžete jednoducho presmerovať svoje udalosti v reálnom čase do vlastného koncového bodu. Svoje vlastné aplikácie môžete pripojiť k eventstreamu a využívať údaje o udalostiach v reálnom čase. Toto cieľové umiestnenie je užitočné, keď chcete výstup údajov v reálnom čase pre externý systém mimo služby Microsoft Fabric. |
| Databáza KQL | Toto cieľové umiestnenie vám umožní preniesť údaje udalosti v reálnom čase do databázy KQL, kde môžete na dotazovanie a analýzu údajov použiť výkonný jazyk Kusto Query Language (KQL). Vďaka údajom v databáze Kusto môžete získať podrobnejšie prehľady o údajoch udalosti a vytvoriť komplexné zostavy a tabule. Môžete si vybrať medzi dvomi režimami príjmu: Priamym príjemom a spracovaním udalosti pred príjmum. |
| Lakehouse | Tento cieľ vám umožňuje transformovať udalosti v reálnom čase pred ich premiestnením do vášho jazera. Udalosti v reálnom čase sa premenia na formát Delta Lake a potom sa uložia v určených tabuľkách lakehouse. Tento cieľ podporuje scenáre uschovávanie údajov. |
| Reflex | Vďaka tomuto cieľu môžete priamo prepojiť údaje o udalosti v reálnom čase s reflexom. Reflex je typ inteligentného agenta, ktorý obsahuje všetky informácie potrebné na pripojenie k údajom, monitorovanie podmienok a pôsobiť. Keď údaje dosiahnu určité prahové hodnoty alebo sa zhodujú s inými vzormi, Reflex automaticky podnikne príslušné kroky, ako je upozorňovanie používateľov alebo vykopnutie pracovných postupov služby Power Automate. |
| Odvodený stream | Odvodený stream je špeciálny typ cieľa, ktorý môžete vytvoriť po pridaní operácií streamu, ako je filter alebo správa polí, do eventstreamu. Odvodený stream predstavuje transformovaný predvolený stream po spracovaní streamu. Môžete smerovať odvodený stream do viacerých cieľov v službe Fabric a zobraziť odvodený stream v centre v reálnom čase. |
Do toku udalostí môžete priložiť viacero cieľov a súčasne prijímať údaje z vašich eventstreamov bez toho, aby ste navzájom zasahovali.
Poznámka
Odporúčame, aby ste používali funkciu streamov udalostí služby Microsoft Fabric s aspoň 4 kapacitnými jednotkami (SKU: F4).
Vylepšené funkcie (Preview)
Keď pri vytváraní eventstreamu povolíte možnosť Rozšírené možnosti (Preview), k dispozícii je viac funkcií, zdrojov a cieľov. Pomocou kariet Rozšírené možnosti (ukážka) a Štandardné možnosti získate informácie o ďalších zdrojoch a cieľoch podporovaných rozšírenými funkciami.
Tu je niekoľko ďalších pozoruhodných funkcií rozšírených funkcií (Preview):
- Režim úprav a dynamické zobrazenie. Preskúmajte dva odlišné režimy na vizualizáciu a navrhovanie spracovania streamu.
- Predvolené a odvodené streamy. Vytvorte nepretržitý tok streamov s formátom, ktorý navrhnete, s procesorom udalosti, ktorý môžete využívať neskôr v centre v reálnom čase.
- Smerovanie streamu údajov na základe obsahu. Transformujte a smerujte streamy údajov kdekoľvek v rámci služby Fabric na základe obsahu streamu údajov, ktorý ste navrhli s procesorom udalosti.
Súvisiaci obsah
Pripomienky
Pripravujeme: V priebehu roka 2024 postupne zrušíme službu Problémy v službe GitHub ako mechanizmus pripomienok týkajúcich sa obsahu a nahradíme ju novým systémom pripomienok. Ďalšie informácie nájdete na stránke: https://aka.ms/ContentUserFeedback.
Odoslať a zobraziť pripomienky pre