Streamy událostí Microsoft Fabric – přehled
Funkce datových proudů událostí v prostředí Microsoft Fabric v reálném čase umožňuje přenést události v reálném čase do prostředků infrastruktury, transformovat je a pak je směrovat do různých cílů bez psaní kódu (bez kódu). Vytvoříte eventstream, což je instance položky Eventstream v prostředcích infrastruktury, přidáte do datového proudu zdroje dat událostí, volitelně přidáte transformace pro transformaci dat události a pak směrujete data do podporovaných cílů.
Přenesení událostí do prostředků infrastruktury
Funkce streamů událostí poskytuje různé zdrojové konektory pro načítání dat událostí z různých zdrojů. Při vytváření streamu událostí je k dispozici více zdrojů.
Důležité
Rozšířené možnosti streamů událostí Fabric jsou aktuálně ve verzi Preview.
| Zdroje | Popis |
|---|---|
| Azure Event Hubs | Pokud máte centrum událostí Azure, můžete ingestovat data centra událostí do Microsoft Fabric pomocí eventstreamu. |
| Azure IoT Hub | Pokud máte centrum Azure IoT, můžete ingestovat data IoT do Microsoft Fabric pomocí eventstreamu. |
| Azure SQL Database Change Data Capture (CDC) | Zdrojový konektor Azure SQL Database CDC umožňuje zachytit snímek aktuálních dat v databázi Azure SQL. Konektor pak monitoruje a zaznamenává všechny budoucí změny na úrovni řádků na těchto datech. |
| Databáze PostgreSQL – CDC | Zdrojový konektor PostgreSQL Database Change Data Capture (CDC) umožňuje zachytit snímek aktuálních dat v databázi PostgreSQL. Konektor pak monitoruje a zaznamenává všechny budoucí změny na úrovni řádků na těchto datech. |
| CdC databáze MySQL | Zdrojový konektor Azure MySQL Database Change Data Capture (CDC) umožňuje zachytit snímek aktuálních dat v databázi Azure Database for MySQL. Můžete určit tabulky, které se mají monitorovat, a eventstream zaznamenává všechny budoucí změny na úrovni řádků v tabulkách. |
| Azure Cosmos DB CDC | Zdrojový konektor Azure Cosmos DB Change Data Capture (CDC) pro streamy událostí Microsoft Fabric umožňuje zachytit snímek aktuálních dat v databázi Azure Cosmos DB. Konektor pak monitoruje a zaznamenává všechny budoucí změny na úrovni řádků na těchto datech. |
| Google Cloud Pub/Sub | Google Pub/Sub je služba zasílání zpráv, která umožňuje publikovat a odebírat streamy událostí. Do streamu událostí můžete přidat Google Pub/Sub jako zdroj, abyste mohli zaznamenávat, transformovat a směrovat události v reálném čase do různých cílů v Prostředcích infrastruktury. |
| Amazon Kinesis Data Toky | Amazon Kinesis Data Toky je široce škálovatelná, vysoce odolná služba pro příjem dat a zpracování optimalizovaná pro streamovaná data. Integrací Amazon Kinesis Data Toky jako zdroje v rámci eventstreamu můžete bez problémů zpracovávat datové proudy v reálném čase, než je směrujete do více cílů v rámci fabric. |
| Confluent Cloud Kafka | Confluent Cloud Kafka je streamovací platforma nabízející výkonné funkce streamování a zpracování dat pomocí Apache Kafka. Integrací Confluent Cloud Kafka jako zdroje v rámci eventstreamu můžete bez problémů zpracovávat datové proudy v reálném čase, než je směrujete do více cílů v rámci fabric. |
| Události služby Azure Blob Storage | Události služby Azure Blob Storage se aktivují, když klient vytvoří, nahradí nebo odstraní objekt blob. Konektor umožňuje propojit události služby Blob Storage s událostmi infrastruktury v centru v reálném čase. Tyto události můžete převést na průběžné datové proudy a transformovat je před jejich směrováním do různých cílů v prostředcích infrastruktury. |
| Události položek pracovního prostoru Infrastruktury | Události položek pracovního prostoru infrastruktury jsou samostatné události prostředků infrastruktury, ke kterým dochází při změnách v pracovním prostoru Fabric. Mezi tyto změny patří vytvoření, aktualizace nebo odstranění položky infrastruktury. Pomocí streamů událostí Fabric můžete zachytit tyto události pracovního prostoru Infrastruktury, transformovat je a směrovat je do různých cílů v prostředcích infrastruktury pro další analýzu. |
| Ukázková data | Jako ukázkový zdroj dat můžete zvolit události Kolo, Žlutá taxi nebo Burzovní trh a otestovat příjem dat při nastavování eventstreamu. |
| Vlastní koncový bod | Funkce vlastní aplikace umožňuje vašim aplikacím nebo klientům Kafka připojit se k Eventstreamu pomocí připojovací řetězec, což umožňuje hladký příjem streamovaných dat do eventstreamu. |
Zpracování událostí pomocí prostředí bez kódu
Prostředí pro přetahování poskytuje intuitivní a snadný způsob, jak vytvořit zpracování, transformaci a směrování dat událostí bez psaní kódu. Kompletní diagram toku dat v eventstreamu vám může poskytnout komplexní přehled o toku dat a organizaci. Editor procesoru událostí je prostředí bez kódu, které umožňuje přetáhnout a navrhnout logiku zpracování dat událostí.
| Transformace | Popis |
|---|---|
| Filtrovat | Pomocí transformace filtru můžete filtrovat události na základě hodnoty pole ve vstupu. V závislosti na datovém typu (číslo nebo text) transformace uchovává hodnoty, které odpovídají vybrané podmínce, například is null nebo is not null. |
| Správa polí | Transformace spravovat pole umožňuje přidávat, odebírat, měnit datový typ nebo přejmenovávat pole přicházející ze vstupu nebo jiné transformace. |
| Agregovat | Pomocí agregační transformace můžete vypočítat agregaci (součet, minimum, maximum nebo průměr) při každém výskytu nové události v určitém časovém období. Tato operace také umožňuje přejmenování těchto počítaných sloupců a filtrování nebo dělení agregace na základě jiných dimenzí v datech. Ve stejné transformaci můžete mít jednu nebo více agregací. |
| Seskupit podle | Pomocí transformace Seskupit můžete vypočítat agregace napříč všemi událostmi v určitém časovém intervalu. Můžete seskupit podle hodnot v jednom nebo více polích. Je to jako agregační transformace umožňuje přejmenování sloupců, ale poskytuje další možnosti agregace a obsahuje složitější možnosti časových oken. Podobně jako agregace můžete přidat více než jednu agregaci na transformaci. |
| Sjednocení | Pomocí transformace Sjednocení můžete propojit dva nebo více uzlů a přidat události se sdílenými poli (se stejným názvem a datovým typem) do jedné tabulky. Pole, která se neshodují, se zahodí a nezahrnou se do výstupu. |
| Rozbalit | Pomocí transformace Rozbalit pole vytvořte nový řádek pro každou hodnotu v rámci pole. |
| Připojení | Pomocí transformace spojení můžete zkombinovat data ze dvou datových proudů na základě odpovídající podmínky mezi nimi. |
Pokud jste při vytváření eventstreamu povolili rozšířené funkce , jsou operace transformace podporované pro všechny cíle. Pokud jste to neudělali, jsou transformační operace k dispozici pouze pro cíle Lakehouse a KQL Database (zpracování událostí před příjmem dat).
Směrování událostí do cílů
Funkce streamů událostí Infrastruktury podporuje odesílání dat do následujících podporovaných cílů.
| Cíl | Popis |
|---|---|
| Vlastní aplikace | S tímto cílem můžete snadno směrovat události v reálném čase do vlastního koncového bodu. Ke streamu událostí můžete připojit vlastní aplikace a využívat data událostí v reálném čase. Tento cíl je užitečný v případě, že chcete data v reálném čase odvést do externího systému mimo Microsoft Fabric. |
| Databáze KQL | Tento cíl umožňuje ingestovat data událostí v reálném čase do databáze KQL, kde můžete pomocí výkonného dotazovací jazyk Kusto (KQL) dotazovat a analyzovat data. S daty v databázi Kusto můžete získat hlubší přehled o datech událostí a vytvářet bohaté sestavy a řídicí panely. Můžete si vybrat mezi dvěma režimy příjmu dat: přímým příjmem dat a zpracováním událostí před příjmem dat. |
| Jezero | Cílem je možnost transformovat události v reálném čase, než je ingestujete do jezera. Události v reálném čase se převedou do formátu Delta Lake a pak se uloží do určených tabulek lakehouse. Tento cíl podporuje scénáře datových skladů. |
| Reflex | Tento cíl umožňuje přímo připojit data událostí v reálném čase k Reflexu. Reflex je typ inteligentního agenta, který obsahuje všechny informace potřebné pro připojení k datům, monitorování podmínek a jednání. Když data dosáhnou určitých prahových hodnot nebo odpovídají jiným vzorům, Reflex automaticky provede příslušnou akci, jako je upozorňování uživatelů nebo spuštění pracovních postupů Power Automate. |
| Odvozený datový proud | Odvozený datový proud je specializovaný typ cíle, který můžete vytvořit po přidání operací datového proudu, jako je filtr nebo správa polí, do streamu událostí. Odvozený datový proud představuje transformovaný výchozí datový proud po zpracování datových proudů. Odvozený datový proud můžete směrovat do více cílů v prostředcích infrastruktury a zobrazit odvozený datový proud v centru v reálném čase. |
V eventstreamu můžete připojit více cílů, abyste mohli současně přijímat data z událostí, aniž byste vzájemně zasahovali.
Poznámka:
Doporučujeme použít funkci Streamy událostí Microsoft Fabric s alespoň 4 jednotkami kapacity (SKU: F4).
Vylepšené možnosti (Preview)
Při vytváření streamu událostí je k dispozici více funkcí, zdrojů a cílů, když povolíte možnost Rozšířené možnosti (Preview). Na kartách Rozšířené možnosti (Preview) a Standardní se dozvíte o dalších zdrojích a cílech podporovaných s rozšířenými možnostmi.
Tady je několik dalších zajímavých funkcí rozšířených funkcí (Preview):
- Režim úprav a živé zobrazení Prozkoumejte dva různé režimy pro vizualizaci a navrhování zpracování datových proudů.
- Výchozí a odvozené datové proudy Vytvořte nepřetržitý tok datových proudů s formátem, který navrhujete, s procesorem událostí, který lze využívat později v centru v reálném čase.
- Směrování datových proudů na základě obsahu Transformujte a směrujte datové proudy kdekoli v prostředcích Infrastruktury na základě obsahu datového proudu, který jste navrhli pomocí procesoru událostí.
Související obsah
Váš názor
Připravujeme: V průběhu roku 2024 budeme postupně vyřazovat problémy z GitHub coby mechanismus zpětné vazby pro obsah a nahrazovat ho novým systémem zpětné vazby. Další informace naleznete v tématu: https://aka.ms/ContentUserFeedback.
Odeslat a zobrazit názory pro