Microsoft Fabric-eseménystreamek – áttekintés
A Microsoft Fabric valós idejűintelligencia-felületén az eseménystreamek funkció lehetővé teszi, hogy valós idejű eseményeket hozzon a Fabricbe, átalakítsa őket, majd kód (kód nélkül) írása nélkül irányíthassa őket különböző célhelyekre. Létre kell hoznia egy eseménystreamet, amely a Fabric Eventstream elemének egy példánya, eseményadatforrásokat ad hozzá a streamhez, opcionálisan átalakításokat ad hozzá az eseményadatok átalakításához, majd átirányítja az adatokat a támogatott célhelyekre.
Események létrehozása a Fabricbe
Az eseménystreamek funkció különböző forrásösszekötőket biztosít az eseményadatok lekéréséhez a különböző forrásokból. Több forrás is elérhető, ha az eseménystream létrehozásakor engedélyezi a bővített képességeket .
Fontos
A Fabric-eseménystreamek továbbfejlesztett képességei jelenleg előzetes verzióban érhetők el.
| Források | Leírás |
|---|---|
| Azure-eseményközpontok | Ha rendelkezik Azure-eseményközponttal, az EventStream használatával betöltheti az eseményközpont adatait a Microsoft Fabricbe. |
| Azure IoT Hub | Ha rendelkezik Azure IoT Hubbal, az Eventstream használatával betöltheti az IoT-adatokat a Microsoft Fabricbe. |
| Azure SQL Database Change Data Capture (CDC) | Az Azure SQL Database CDC-forrásösszekötővel pillanatképet készíthet egy Azure SQL-adatbázis aktuális adatairól. Az összekötő ezután figyeli és rögzíti az adatok későbbi sorszintű változásait. |
| PostgreSQL Database CDC | A PostgreSQL Database Change Data Capture (CDC) forrásösszekötővel pillanatképet készíthet a PostgreSQL-adatbázisok aktuális adatairól. Az összekötő ezután figyeli és rögzíti az adatok későbbi sorszintű változásait. |
| MySQL Database CDC | Az Azure MySQL Database Change Data Capture (CDC) forrásösszekötővel pillanatképet készíthet az Aktuális adatokról egy Azure Database for MySQL-adatbázisban. Megadhatja a monitorozni kívánt táblákat, és az eventstream rögzíti a táblák későbbi sorszintű változásait. |
| Azure Cosmos DB CDC | A Microsoft Fabric-eseménystreamekhez készült Azure Cosmos DB Change Data Capture (CDC) forrásösszekötővel pillanatképet készíthet az Aktuális adatokról egy Azure Cosmos DB-adatbázisban. Az összekötő ezután figyeli és rögzíti az adatok későbbi sorszintű változásait. |
| Google Cloud Pub/Sub | A Google Pub/Sub egy üzenetkezelési szolgáltatás, amely lehetővé teszi az események streamjeinek közzétételét és feliratkozását. A Google Pub/Sub forrásként hozzáadható az eseménystreamhez, hogy valós idejű eseményeket rögzítsen, átalakítsa és átirányítsa a Fabric különböző céljaira. |
| Amazon Kinesis-adatfolyamok | Az Amazon Kinesis Data Streams egy nagymértékben skálázható, rendkívül tartós adatbetöltési és feldolgozási szolgáltatás, amely streamelési adatokhoz van optimalizálva. Az Amazon Kinesis-adatfolyamok eseménystreamen belüli forrásként való integrálásával zökkenőmentesen feldolgozhatja a valós idejű adatfolyamokat, mielőtt a Fabricen belül több célhelyre irányítanák őket. |
| Confluent Cloud Kafka | A Confluent Cloud Kafka egy streamelési platform, amely hatékony adatstreamelési és feldolgozási funkciókat kínál az Apache Kafka használatával. A Confluent Cloud Kafka-t az eseménystreamben forrásként integrálva zökkenőmentesen feldolgozhatja a valós idejű adatfolyamokat, mielőtt a Fabricen belül több célhelyre irányítanák őket. |
| Azure Blob Storage-események | Az Azure Blob Storage-események akkor aktiválódnak, amikor egy ügyfél létrehoz, lecserél vagy töröl egy blobot. Az összekötő lehetővé teszi, hogy a Blob Storage-eseményeket a valós idejű központban lévő Fabric-eseményekhez csatolja. Ezeket az eseményeket folyamatos adatfolyamokká alakíthatja át, mielőtt a Fabric különböző célhelyeire irányítná őket. |
| Háló-munkaterület elemeinek eseményei | A Háló-munkaterület elem eseményei különálló Hálóesemények, amelyek a háló-munkaterület módosításakor következnek be. Ezek a módosítások közé tartozik egy Hálóelem létrehozása, frissítése vagy törlése. A Fabric-eseménystreamekkel rögzítheti ezeket a Fabric-munkaterületi eseményeket, átalakíthatja őket, és átirányíthatja őket a Fabric különböző célhelyeire további elemzés céljából. |
| Mintaadatok | A Kerékpárok, a Sárga Taxi vagy a Tőzsdei események mintaadatforrásként való kiválasztásával tesztelheti az adatbetöltést egy eseménystream beállításakor. |
| Egyéni végpont (azaz egyéni alkalmazás standard képességgel) | Az egyéni végpont funkció lehetővé teszi, hogy az alkalmazások vagy a Kafka-ügyfelek egy kapcsolati sztring használatával csatlakozzanak az Eventstreamhez, így zökkenőmentesen betölthetők a streamelési adatok az Eventstreambe. |
Események feldolgozása kód nélküli felülettel
A húzással intuitív és egyszerű módon hozhatja létre az esemény adatfeldolgozási, átalakító és útválasztási logikáját kód írása nélkül. Az eseménystreamek teljes körű adatfolyam-diagramja átfogó képet nyújt az adatfolyamról és a szervezetről. Az eseményfeldolgozó-szerkesztő egy kód nélküli felület, amellyel húzással megtervezheti az esemény adatfeldolgozási logikáját.
| Átalakítás | Leírás |
|---|---|
| Szűrő | A Szűrőátalakítással szűrheti az eseményeket a bemenet egyik mezőjének értéke alapján. Az adattípustól (számtól vagy szövegtől) függően az átalakítás megőrzi a kiválasztott feltételnek megfelelő értékeket, például is null vagy is not null. |
| Mezők kezelése | A Mezők kezelése átalakítással adattípusokat vehet fel, távolíthat el, módosíthat vagy átnevezhet egy bemenetből vagy egy másik átalakításból érkező mezőket. |
| Összesítés | Az Összesítés átalakítással kiszámíthat egy aggregációt (Összeg, Minimum, Maximum vagy Átlag) minden alkalommal, amikor egy új esemény egy adott időszakban történik. Ez a művelet lehetővé teszi ezen számított oszlopok átnevezését, valamint az adatok más dimenziói alapján az összesítés szűrését vagy szeletelését. Egy vagy több aggregáció is lehet ugyanabban az átalakításban. |
| Csoportosítás szempontja: | A Csoport átalakítással az összes esemény összesítésének kiszámításához egy adott időkereten belül. Egy vagy több mező értékei szerint csoportosíthat. Ez olyan, mint az Összesítés átalakítás lehetővé teszi az oszlopok átnevezését, de több lehetőséget kínál az összesítésre, és összetettebb lehetőségeket tartalmaz az időablakokhoz. Az Összesítéshez hasonlóan átalakításonként több aggregációt is hozzáadhat. |
| Union | Az Uniós átalakítással két vagy több csomópontot csatlakoztathat, és eseményeket adhat hozzá megosztott mezőkkel (ugyanazzal a névvel és adattípussal) egy táblához. A nem egyező mezők el lesznek dobva, és nem szerepelnek a kimenetben. |
| Kibontás | A Tömb kibontása átalakítással új sort hozhat létre a tömbön belüli összes értékhez. |
| Csatlakozás | A Csatlakozás átalakítással két adatfolyam adatait egyesítheti egyező feltétel alapján. |
Ha az eseménystream létrehozásakor engedélyezte a továbbfejlesztett képességeket , az átalakítási műveletek minden célhely esetében támogatottak (a származtatott streamek köztes hídként működnek bizonyos célhelyeken, például egyéni végponton, Reflexen). Ha nem tette meg, az átalakítási műveletek csak a Lakehouse és a KQL-adatbázis (a betöltés előtti eseményfeldolgozás) célhelyeihez érhetők el.
Események átirányítása célhelyekre
A Fabric eseménystreamek funkciója támogatja az adatok küldését a következő támogatott célhelyekre.
| Cél | Leírás |
|---|---|
| Egyéni végpont (azaz egyéni alkalmazás standard képességgel) | Ezzel a célhelygel egyszerűen átirányíthatja valós idejű eseményeit egy egyéni végpontra. Saját alkalmazásait csatlakoztathatja az eseménystreamhez, és valós időben felhasználhatja az eseményadatokat. Ez a cél akkor hasznos, ha valós idejű adatokat szeretne kibocsátani a Microsoft Fabricen kívüli külső rendszerbe. |
| KQL-adatbázis | Ez a cél lehetővé teszi a valós idejű eseményadatok KQL-adatbázisba való betöltését, ahol a hatékony Kusto lekérdezésnyelv (KQL) használatával lekérdezheti és elemezheti az adatokat. A Kusto-adatbázisban található adatokkal mélyebb betekintést nyerhet az eseményadatokba, és gazdag jelentéseket és irányítópultokat hozhat létre. Két betöltési mód közül választhat: a közvetlen betöltés és az eseményfeldolgozás a betöltés előtt. |
| Lakehouse | Ez a cél lehetővé teszi a valós idejű események átalakítását, mielőtt betöltené őket a tóházába. A valós idejű események Delta Lake formátumúvá alakulnak, majd a kijelölt lakehouse-táblákban tárolják őket. Ez a cél támogatja az adattárház-forgatókönyveket. |
| Reflex | Ez a célhely lehetővé teszi a valós idejű eseményadatok közvetlen csatlakoztatását egy Reflexhez. A Reflex egy olyan intelligens ügynöktípus, amely tartalmazza az adatokhoz való csatlakozáshoz, a feltételek figyeléséhez és a cselekvéshez szükséges összes információt. Amikor az adatok elérik bizonyos küszöbértékeket, vagy megegyeznek más mintákkal, a Reflex automatikusan végrehajtja a megfelelő műveletet, például a felhasználók riasztását vagy a Power Automate-munkafolyamatok elindítását. |
| Származtatott stream | A származtatott stream egy speciális céltípus, amelyet a streamműveletek, például a Mezők szűrése vagy kezelése után hozhat létre egy eseménystreamben. A származtatott stream a streamfeldolgozást követően átalakított alapértelmezett streamet jelöli. A származtatott streamet több célhelyre is átirányíthatja a Fabricben, és megtekintheti a származtatott streamet a valós idejű központban. |
Egy eseménystreamben több célhelyet is csatolhat, hogy egyidejűleg adatokat fogadjon az eseménystreamekről anélkül, hogy zavarják egymást.
Feljegyzés
Javasoljuk, hogy a Microsoft Fabric eseménystreamek funkcióját használja legalább 4 kapacitásegységtel (termékváltozat: F4)
Továbbfejlesztett képességek (előzetes verzió)
Az eseménystream létrehozásakor további funkciók, források és célhelyek érhetők el, ha engedélyezi a Bővített képességek (előzetes verzió) lehetőséget. A Továbbfejlesztett képességek (előzetes verzió) és a Standard képességek lap segítségével megismerheti a továbbfejlesztett funkciókkal támogatott további forrásokat és célhelyeket.
Íme néhány további figyelemre méltó funkció a bővített képességek (előzetes verzió):
- Szerkesztési mód és élő nézet. Fedezze fel a streamfeldolgozás vizualizációjának és tervezésének két különböző módjait.
- Alapértelmezett és származtatott streamek. Folyamatos adatfolyam-folyamatot hozhat létre a megtervezett formátummal, egy eseményfeldolgozóval, amely később felhasználható a valós idejű központban.
- Adatfolyam-útválasztás tartalom alapján. Alakítsa át és irányozza át az adatfolyamokat bárhol a Fabricben az eseményfeldolgozóval megtervezett adatfolyam-tartalom alapján.
Kapcsolódó tartalom
Visszajelzés
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ: https://aka.ms/ContentUserFeedback.
Visszajelzés küldése és megtekintése a következőhöz: