Zdieľať cez


Streamy udalostí služby Microsoft Fabric – prehľad

Funkcia streamov udalostí v prostredí Inteligencia v reálnom čase služby Microsoft Fabric umožňuje preniesť udalosti v reálnom čase do služby Fabric, transformovať ich a potom ich nasmerovať do rôznych cieľov bez písania kódu (bez písania kódu). Vytvoríte eventstream, ktorý je inštanciou položky Eventstream v službe Fabric, pridáte do streamu zdroje údajov udalosti, prípadne pridáte transformácie na transformáciu údajov udalosti a potom presmerujete údaje do podporovaných cieľov. Navyše s koncovými bodmi Apache Kafka, ktoré sú k dispozícii v položke Eventstream, môžete odosielať alebo používať udalosti v reálnom čase pomocou protokolu Kafka.

Preneste udalosti do služby Fabric

Funkcia Streamy udalostí poskytuje rôzne zdrojové konektory, aby sa načítali údaje o udalostiach z rôznych zdrojov. Keď povolíte rozšírené možnosti v čase vytvorenia eventstreamu, k dispozícii je viac zdrojov.

Dôležité

Vylepšené možnosti streamov udalostí služby Fabric sú v súčasnosti v režime ukážky.

Zdroje Description
Centrá udalostí Azure Ak máte centrum udalostí Azure, môžete ingestovať údaje centra udalostí do služby Microsoft Fabric pomocou eventstreamu.
Azure IoT Hub Ak máte centrum Azure IoT, môžete ingestovať údaje IoT do služby Microsoft Fabric pomocou eventstreamu.
Azure SQL Database Change Data Capture (CDC) Zdrojový konektor databázy Azure SQL CDC umožňuje zaznamenať snímku aktuálnych údajov v databáze Azure SQL. Konektor potom monitoruje a zaznamenáva všetky budúce zmeny týchto údajov na úrovni riadkov.
PostgreSQL Database CDC Konektor zdroja PostgreSQL Database Change Data Capture (CDC) umožňuje zaznamenať snímku aktuálnych údajov v databáze PostgreSQL. Konektor potom monitoruje a zaznamenáva všetky budúce zmeny týchto údajov na úrovni riadkov.
Databáza MySQL CDC Zdrojový konektor Azure MySQL Database Change Data Capture (CDC) umožňuje zaznamenať snímku aktuálnych údajov v databáze Azure Database for MySQL. Môžete zadať tabuľky, ktoré sa majú monitorovať, a udalosť eventstream zaznamenáva akékoľvek budúce zmeny tabuliek na úrovni riadkov.
Azure Cosmos DB CDC Zdrojový konektor pre udalosť Azure Cosmos DB Change Data Capture (CDC) pre streamy udalostí služby Microsoft Fabric vám umožní zaznamenať snímku aktuálnych údajov v databáze Azure Cosmos DB. Konektor potom monitoruje a zaznamenáva všetky budúce zmeny týchto údajov na úrovni riadkov.
SQL Server vo VM DB (CDC) Konektor udalostí SQL Server v službe VM DB (CDC) pre streamy udalostí služby Fabric vám umožňuje zaznamenať snímku aktuálnych údajov v databáze SQL Servera vo virtuálnych počítačoch. Konektor potom monitoruje a zaznamenáva všetky budúce zmeny údajov na úrovni riadkov.
Azure SQL Managed Instance CDC Konektor zdroja CDC spravovanej službou Azure SQL pre streamy udalostí služby Microsoft Fabric umožňuje zaznamenať snímku aktuálnych údajov v databáze spravovanej inštanciou SQL. Konektor potom monitoruje a zaznamenáva všetky budúce zmeny týchto údajov na úrovni riadkov.
Google Cloud Pub/Sub Google Pub/Sub je služba na odosielanie správ, ktorá vám umožňuje publikovať streamy udalostí a odoberať ich. Google Pub/Sub môžete pridať ako zdroj k svojmu eventstreamu na zachytenie, transformáciu a smerovanie udalostí v reálnom čase do rôznych cieľov v službe Fabric.
Údajové streamy služby Amazon Kinesis Amazon Kinesis Data Streams je masívne škálovateľná a mimoriadne odolná služba spracovania údajov optimalizovaná na streamovanie údajov. Integráciou služby Amazon Kinesis Data Streams ako zdroja v rámci vášho eventstreamu môžete bez problémov spracovať streamy údajov v reálnom čase pred ich smerovanie do viacerých cieľov v rámci služby Fabric.
Confluent Cloud Kafka Confluent Cloud Kafka je streamovacia platforma, ktorá ponúka výkonné funkcie streamovania a spracovania údajov pomocou Apache Kafka. Integráciou služby Confluent Cloud Kafka ako zdroja v rámci vášho eventstreamu môžete bez problémov spracovať streamy údajov v reálnom čase a až potom ich smerovať do viacerých cieľov v rámci služby Fabric.
Apache Kafka Apache Kafka je open-source distribuovaná platforma na vytváranie škálovateľných dátových systémov v reálnom čase. Integráciou softvéru Apache Kafka ako zdroja v rámci vášho eventstreamu môžete bez problémov priniesť udalosti v reálnom čase zo svojho Apache Kafka a spracovať ich pred smerovaniom do viacerých cieľov v rámci služby Fabric.
Amazon MSK Kafka Amazon MSK Kafka je plne spravovaná služba Kafka, ktorá zjednodušuje nastavenie, škálovanie a správu. Integráciou Amazon MSK Kafka ako zdroja v rámci vášho eventstreamu môžete bez problémov priniesť udalosti v reálnom čase z MSK Kafka a spracovať ich pred ich smerovanie do viacerých cieľov v rámci Fabric. 
Udalosti ukladacieho priestoru objektu BLOB platformy Azure Udalosti ukladacieho priestoru objektu BLOB platformy Azure sa spúšťajú, keď klient vytvorí, nahradí alebo odstráni objekt BLOB. Konektor umožňuje prepojiť udalosti úložiska objektu Blob Storage s udalosťami služby Fabric v centre v reálnom čase. Tieto udalosti môžete konvertovať na spojité streamy údajov a transformovať ich pred ich smerovanie do rôznych cieľov v službe Fabric.
Udalosti položky pracovného priestoru služby Fabric Udalosti položky pracovného priestoru služby Fabric sú diskrétne udalosti služby Fabric, ktoré sa vyskytujú, keď sa vykonávajú zmeny v pracovnom priestore služby Fabric. Tieto zmeny zahŕňajú vytváranie, aktualizáciu alebo odstránenie položky služby Fabric. Pomocou streamov udalostí služby Fabric môžete zaznamenávať tieto udalosti pracovného priestoru služby Fabric, transformovať ich a smerovať ich do rôznych cieľov v službe Fabric na ďalšiu analýzu.
Vzorové údaje Ako vzorový zdroj údajov si môžete vybrať Bicykle, Žlté taxi alebo podujatia na burze, ktoré otestujú príjem údajov pri nastavovaní eventstreamu.
Vlastný koncový bod (t. j. vlastná aplikácia v štandardnej funkcii) Funkcia vlastného koncového bodu umožňuje vašim aplikáciám alebo klientom Kafka pripojiť sa k Eventstreamu pomocou reťazec pripojenia, čo umožňuje bezproblémové príjem streamovaných údajov do eventstreamu.

Spracovanie udalostí bez použitia kódu

Prostredie presunutia vám poskytuje intuitívny a jednoduchý spôsob na vytvorenie spracovania údajov udalosti, transformácie a smerovania bez písania kódu. Diagram toku údajov od konca v eventstreame vám môže poskytnúť komplexné informácie o toku údajov a organizácii. Editor procesora udalosti je prostredie bez použitia kódu, ktoré umožňuje presúvať myšou navrhnúť logiku spracovania údajov udalosti.

Transformácia Description
Filter Použite transformáciu filtra na filtrovanie udalostí na základe hodnoty poľa vo vstupe. V závislosti od typu údajov (číslo alebo text) transformácia zachová hodnoty, ktoré zodpovedajú vybratej podmienke, ako is null napríklad alebo is not null.
Spravovať polia Transformácia Spravovať polia umožňuje pridávať, odstraňovať, meniť typ údajov alebo premenovať polia prichádzajúce zo vstupu alebo z inej transformácie.
Agregácia Pomocou transformácie agregácie môžete vypočítať agregáciu (Sum (Súčet), Minimum, Maximum alebo Priemer) zakaždým, keď dôjde k novej udalosti v určitom časovom období. Táto operácia tiež umožňuje premenovanie týchto vypočítaných stĺpcov a filtrovanie alebo rozdeľovanie agregácie na základe iných dimenzií v údajoch. V tej istej transformácii môžete mať jednu alebo viac agregácií.
Spôsob zoskupenia Pomocou transformácie Zoskupiť podľa môžete vypočítať agregácie v rámci všetkých udalostí v určitom časovom okne. Zoskupiť môžete podľa hodnôt v jednom alebo viacerých poliach. Je to ako transformácia agregácie umožňuje premenovanie stĺpcov, ale poskytuje viac možností pre agregáciu a zahŕňa aj zložitejšie možnosti pre časové okná. Rovnako ako agregácia, aj tu môžete pridať viac ako jednu agregáciu na transformáciu.
Únia Transformáciu Zjednotenia môžete použiť na pripojenie dvoch alebo viacerých uzlov a pridanie udalostí so zdieľanými poľami (s rovnakým názvom a typom údajov) do jednej tabuľky. Polia, ktoré sa nezhodujú, sa vynechajú a nie sú zahrnuté vo výstupe.
Rozbaliť Pomocou transformácie poľa Rozbaliť pole vytvorte nový riadok pre každú hodnotu v poli.
Pripojiť Transformáciu Spojenia môžete použiť na kombinovanie údajov z dvoch streamov na základe zodpovedajúcej podmienky medzi nimi.

Ak ste pri vytváraní eventstreamu povolili rozšírené možnosti , operácie transformácie sú podporované pre všetky ciele (s odvodeným streamom, ktorý sa v niektorých cieľoch, ako napríklad Vlastný koncový bod, Reflex) zobrazuje ako prechodný most. Ak ste to neurobili, operácie transformácie sú k dispozícii iba pre cieľové umiestnenia Lakehouse a Eventhouse (spracovanie udalostí pred príjme).

Trasy udalostí do cieľov

Funkcia Streamy udalostí služby Fabric podporuje odosielanie údajov do týchto podporovaných cieľov.

Cieľ Description
Vlastný koncový bod (t. j. vlastná aplikácia v štandardnej funkcii) S týmto cieľom môžete jednoducho presmerovať svoje udalosti v reálnom čase do vlastného koncového bodu. Svoje vlastné aplikácie môžete pripojiť k eventstreamu a využívať údaje o udalostiach v reálnom čase. Toto cieľové umiestnenie je užitočné, keď chcete výstup údajov v reálnom čase pre externý systém mimo služby Microsoft Fabric.
Eventhouse Toto cieľové umiestnenie vám umožní preniesť údaje udalosti v reálnom čase do služby Eventhouse, kde môžete pomocou výkonného jazyka Dotaz Kusto (KQL) dotazovať a analyzovať údaje. Vďaka údajom v službe Eventhouse môžete získať hlbšie prehľady o údajoch udalosti a vytvárať bohaté zostavy a tabule. Môžete si vybrať medzi dvomi režimami príjmu: Priamym príjemom a spracovaním udalosti pred príjmum.
Lakehouse Tento cieľ vám umožňuje transformovať udalosti v reálnom čase pred ich premiestnením do vášho jazera. Udalosti v reálnom čase sa premenia na formát Delta Lake a potom sa uložia v určených tabuľkách lakehouse. Tento cieľ podporuje scenáre uschovávanie údajov.
Reflex Vďaka tomuto cieľu môžete priamo prepojiť údaje o udalosti v reálnom čase s reflexom. Reflex je typ inteligentného agenta, ktorý obsahuje všetky informácie potrebné na pripojenie k údajom, monitorovanie podmienok a pôsobiť. Keď údaje dosiahnu určité prahové hodnoty alebo sa zhodujú s inými vzormi, Reflex automaticky podnikne príslušné kroky, ako je upozorňovanie používateľov alebo vykopnutie pracovných postupov služby Power Automate.
Odvodený stream Odvodený stream je špeciálny typ cieľa, ktorý môžete vytvoriť po pridaní operácií streamu, ako je filter alebo správa polí, do eventstreamu. Odvodený stream predstavuje transformovaný predvolený stream po spracovaní streamu. Môžete smerovať odvodený stream do viacerých cieľov v službe Fabric a zobraziť odvodený stream v centre v reálnom čase.

Do toku udalostí môžete priložiť viacero cieľov a súčasne prijímať údaje z vašich eventstreamov bez toho, aby ste navzájom zasahovali.

Snímka obrazovky zobrazujúca prehľad položky Eventstream.

Poznámka

Odporúčame, aby ste používali funkciu streamov udalostí služby Microsoft Fabric s aspoň 4 kapacitnými jednotkami (SKU: F4).

Streamy udalostí Apache Kafka na fabric

Funkcia Streamy udalostí fabric ponúka koncový bod Apache Kafka na položke Eventstream, ktorý používateľom umožňuje pripojiť sa a využívať streamované udalosti prostredníctvom protokolu Kafka. Ak už máte aplikáciu, ktorá používa protokol Apache Kafka na odosielanie alebo využívanie streamovaných udalostí s konkrétnymi témami Kafka, môžete bez námahy prispôsobiť tú istú aplikáciu tak, aby odosielala alebo využívala streamované udalosti v rámci vášho eventstreamu jednoduchým aktualizovaním nastavení pripojenia tak, aby smerovali na koncový bod Kafka, ktorý je uvedený vo vašom eventstreame.

Funkcia streamov udalostí služby Fabric je podporovaná v službe Azure Event Hubs, plne spravovanej cloudovej natívnej službe. Po vytvorení eventstreamu sa automaticky zriaďuje priestor názvov centra udalostí a centrum udalostí je vyhradené pre predvolený stream bez potreby zriaďovania konfigurácií. Ďalšie informácie o funkciách kompatibilných s Kafkou v službe Azure Event Hubs nájdete v téme Azure Event Hubs for Apache Kafka

Ďalšie informácie o tom, ako získať podrobnosti koncového bodu Kafka na odosielanie udalostí do eventstreamu, nájdete v téme Pridanie vlastného koncového bodu zdroja do eventstreamu a informácie o spotrebúvaní udalostí z eventstreamu nájdete v téme Pridanie vlastného cieľa koncového bodu do eventstreamu.

Vylepšené funkcie (Preview)

Keď pri vytváraní eventstreamu povolíte možnosť Rozšírené možnosti (Preview), k dispozícii je viac funkcií, zdrojov a cieľov. Pomocou kariet Rozšírené možnosti (ukážka) a Štandardné možnosti získate informácie o ďalších zdrojoch a cieľoch podporovaných rozšírenými funkciami.

Tu je niekoľko ďalších pozoruhodných funkcií rozšírených funkcií (Preview):