Microsoft Fabric-händelseströmmar – översikt
Med funktionen händelseströmmar i Microsoft Fabric Realtidsinformation kan du överföra realtidshändelser till Infrastrukturresurser, transformera dem och sedan dirigera dem till olika mål utan att skriva någon kod (ingen kod). Du skapar en händelseström, som är en instans av Eventstream-objektet i Infrastrukturresurser, lägger till händelsedatakällor i dataströmmen, lägger till transformeringar för att transformera händelsedata och dirigerar sedan data till mål som stöds. Med Apache Kafka-slutpunkter tillgängliga på Eventstream-objektet kan du dessutom skicka eller använda realtidshändelser med hjälp av Kafka-protokollet.
Ta med händelser i Infrastrukturresurser
Funktionen händelseströmmar ger dig olika källanslutningsprogram för att hämta händelsedata från de olika källorna. Det finns fler tillgängliga källor när du aktiverar utökade funktioner när du skapar en händelseström.
Viktigt!
Förbättrade funktioner i Fabric-händelseströmmar är för närvarande i förhandsversion.
| Källor | beskrivning |
|---|---|
| Azure Event Hubs | Om du har en Azure-händelsehubb kan du mata in händelsehubbens data i Microsoft Fabric med hjälp av Eventstream. |
| Azure IoT Hub | Om du har en Azure IoT-hubb kan du mata in IoT-data i Microsoft Fabric med hjälp av Eventstream. |
| Azure SQL Database Change Data Capture (CDC) | Med Azure SQL Database CDC-källanslutningsappen kan du samla in en ögonblicksbild av aktuella data i en Azure SQL-databas. Anslutningsappen övervakar och registrerar eventuella framtida ändringar på radnivå av dessa data. |
| PostgreSQL Database CDC | Med källanslutningen PostgreSQL Database Change Data Capture (CDC) kan du samla in en ögonblicksbild av aktuella data i en PostgreSQL-databas. Anslutningsappen övervakar och registrerar eventuella framtida ändringar på radnivå av dessa data. |
| MySQL Database CDC | Med källanslutningsappen för Azure MySQL Database Change Data Capture (CDC) kan du samla in en ögonblicksbild av aktuella data i en Azure Database for MySQL-databas. Du kan ange de tabeller som ska övervakas och händelseströmmen registrerar eventuella framtida ändringar på radnivå i tabellerna. |
| Azure Cosmos DB CDC | Med källanslutningsappen för Azure Cosmos DB Change Data Capture (CDC) för Microsoft Fabric-händelseströmmar kan du samla in en ögonblicksbild av aktuella data i en Azure Cosmos DB-databas. Anslutningsappen övervakar och registrerar eventuella framtida ändringar på radnivå av dessa data. |
| SQL Server på VM DB (CDC) | Med källanslutningsappen SQL Server på VM DB (CDC) för Fabric-händelseströmmar kan du samla in en ögonblicksbild av aktuella data i en SQL Server-databas på en virtuell dator. Anslutningsappen övervakar och registrerar eventuella framtida ändringar på radnivå av data. |
| Azure SQL Managed Instance CDC | Med Azure SQL Managed Instance CDC-källanslutningen för Microsoft Fabric-händelseströmmar kan du samla in en ögonblicksbild av aktuella data i en SQL Managed Instance-databas. Anslutningsappen övervakar och registrerar eventuella framtida ändringar på radnivå av dessa data. |
| Google Cloud Pub/Sub | Google Pub/Sub är en meddelandetjänst som gör att du kan publicera och prenumerera på händelseströmmar. Du kan lägga till Google Pub/Sub som källa i din händelseström för att samla in, transformera och dirigera realtidshändelser till olika mål i Infrastrukturresurser. |
| Amazon Kinesis Data Streams | Amazon Kinesis Data Streams är en massivt skalbar, mycket beständig datainmatning och bearbetningstjänst som är optimerad för strömmande data. Genom att integrera Amazon Kinesis Data Streams som en källa i din händelseström kan du sömlöst bearbeta dataströmmar i realtid innan du dirigerar dem till flera mål i Fabric. |
| Confluent Cloud Kafka | Confluent Cloud Kafka är en strömningsplattform som erbjuder kraftfulla funktioner för dataströmning och bearbetning med Apache Kafka. Genom att integrera Confluent Cloud Kafka som en källa i din händelseström kan du sömlöst bearbeta dataströmmar i realtid innan du dirigerar dem till flera mål i Fabric. |
| Apache Kafka | Apache Kafka är en distribuerad plattform med öppen källkod för att skapa skalbara realtidsdatasystem. Genom att integrera Apache Kafka som en källa i din händelseström kan du sömlöst ta med realtidshändelser från Apache Kafka och bearbeta dem innan du dirigerar till flera mål i Fabric. |
| Amazon MSK Kafka | Amazon MSK Kafka är en fullständigt hanterad Kafka-tjänst som förenklar konfiguration, skalning och hantering. Genom att integrera Amazon MSK Kafka som en källa i din händelseström kan du sömlöst ta med realtidshändelserna från din MSK Kafka och bearbeta dem innan du dirigerar dem till flera destinationer i Fabric. |
| Azure Blob Storage-händelser | Azure Blob Storage-händelser utlöses när en klient skapar, ersätter eller tar bort en blob. Med anslutningsappen kan du länka Blob Storage-händelser till Fabric-händelser i realtidshubben. Du kan konvertera dessa händelser till kontinuerliga dataströmmar och transformera dem innan du dirigerar dem till olika mål i Infrastrukturresurser. |
| Fabric Workspace Item-händelser | Fabric Workspace Item-händelser är diskreta Fabric-händelser som inträffar när ändringar görs i din infrastrukturarbetsyta. Dessa ändringar omfattar att skapa, uppdatera eller ta bort ett infrastrukturobjekt. Med Infrastruktur-händelseströmmar kan du samla in dessa fabric-arbetsytehändelser, transformera dem och dirigera dem till olika mål i Infrastruktur för ytterligare analys. |
| Exempeldata | Du kan välja Cyklar, Gul taxi eller Aktiemarknadshändelser som exempeldatakälla för att testa datainmatningen när du konfigurerar en händelseström. |
| Anpassad slutpunkt (dvs. anpassad app i standardfunktion) | Med den anpassade slutpunktsfunktionen kan dina program eller Kafka-klienter ansluta till Eventstream med hjälp av en anslutningssträng, vilket möjliggör smidig inmatning av strömmande data till Eventstream. |
Bearbeta händelser utan kod
Dra och släpp-upplevelsen ger dig ett intuitivt och enkelt sätt att skapa händelsedatabearbetning, transformering och routningslogik utan att skriva någon kod. Ett dataflödesdiagram från slutpunkt till slutpunkt i en händelseström kan ge dig en omfattande förståelse för dataflödet och organisationen. Redigeraren för händelseprocessorn är en kodfri upplevelse som gör att du kan dra och släppa för att utforma logiken för bearbetning av händelsedata.
| Transformering | beskrivning |
|---|---|
| Filtrera | Använd filtertransformeringen för att filtrera händelser baserat på värdet för ett fält i indata. Beroende på datatypen (tal eller text) behåller omvandlingen de värden som matchar det valda villkoret, till exempel is null eller is not null. |
| Hantera fält | Med transformering av hantera fält kan du lägga till, ta bort, ändra datatyp eller byta namn på fält som kommer in från en indata eller en annan transformering. |
| Aggregera | Använd aggregeringstransformeringen för att beräkna en aggregering (Summa, Minimum, Maximum eller Average) varje gång en ny händelse inträffar under en tidsperiod. Den här åtgärden gör det också möjligt att byta namn på dessa beräknade kolumner och filtrera eller segmentera aggregeringen baserat på andra dimensioner i dina data. Du kan ha en eller flera sammansättningar i samma transformering. |
| Gruppera efter | Använd gruppen efter transformering för att beräkna aggregeringar för alla händelser inom ett visst tidsfönster. Du kan gruppera efter värden i ett eller flera fält. Det är som om aggregeringstransformeringen tillåter namnbyte av kolumner, men ger fler alternativ för aggregering och innehåller mer komplexa alternativ för tidsfönster. Precis som aggregering kan du lägga till mer än en aggregering per transformering. |
| Union | Använd Unionstransformeringen för att ansluta två eller flera noder och lägga till händelser med delade fält (med samma namn och datatyp) i en tabell. Fält som inte matchar tas bort och ingår inte i utdata. |
| Visa | Använd transformeringen Expandera matris för att skapa en ny rad för varje värde i en matris. |
| Anslut | Använd kopplingstransformeringen för att kombinera data från två strömmar baserat på ett matchande villkor mellan dem. |
Om du har aktiverat Förbättrade funktioner när du skapar en händelseström stöds transformeringsåtgärderna för alla mål (med härledd ström som en mellanliggande brygga för vissa mål, till exempel Anpassad slutpunkt, Reflex). Om du inte gjorde det är omvandlingsåtgärderna endast tillgängliga för mål för Lakehouse och Eventhouse (händelsebearbetning före inmatning).
Dirigera händelser till mål
Funktionen Infrastrukturhändelseströmmar stöder sändning av data till följande mål som stöds.
| Mål | beskrivning |
|---|---|
| Anpassad slutpunkt (dvs. anpassad app i standardfunktion) | Med det här målet kan du enkelt dirigera dina realtidshändelser till en anpassad slutpunkt. Du kan ansluta dina egna program till händelseströmmen och använda händelsedata i realtid. Det här målet är användbart när du vill utgående realtidsdata till ett externt system utanför Microsoft Fabric. |
| Händelsehus | Med det här målet kan du mata in dina realtidshändelsedata i ett Eventhouse, där du kan använda den kraftfulla Kusto-frågespråk (KQL) för att fråga och analysera data. Med data i Eventhouse kan du få djupare insikter om dina händelsedata och skapa omfattande rapporter och instrumentpaneler. Du kan välja mellan två inmatningslägen: Direkt inmatning och Händelsebearbetning före inmatning. |
| Sjöhus | Det här målet ger dig möjlighet att transformera dina realtidshändelser innan du matar in dem i ditt sjöhus. Realtidshändelser konverteras till Delta Lake-format och lagras sedan i de avsedda lakehouse-tabellerna. Det här målet stöder datalagerscenarier. |
| Reflex | Med det här målet kan du ansluta dina realtidshändelsedata direkt till en Reflex. Reflex är en typ av intelligent agent som innehåller all information som krävs för att ansluta till data, övervaka för villkor och agera. När data når vissa tröskelvärden eller matchar andra mönster vidtar Reflex automatiskt lämpliga åtgärder, till exempel att varna användare eller starta Power Automate-arbetsflöden. |
| Härledd ström | Härledd dataström är en särskild typ av mål som du kan skapa när du har lagt till strömåtgärder, till exempel Filter eller Hantera fält, i en händelseström. Den härledda strömmen representerar den transformerade standardströmmen efter dataströmbearbetning. Du kan dirigera den härledda dataströmmen till flera mål i Infrastrukturresurser och visa den härledda strömmen i realtidshubben. |
Du kan koppla flera mål i en händelseström för att samtidigt ta emot data från dina händelseströmmar utan att störa varandra.
Kommentar
Vi rekommenderar att du använder funktionen för Microsoft Fabric-händelseströmmar med minst 4 kapacitetsenheter (SKU: F4)
Apache Kafka på Fabric-händelseströmmar
Funktionen Infrastrukturhändelseströmmar erbjuder en Apache Kafka-slutpunkt på Eventstream-objektet, vilket gör det möjligt för användare att ansluta och använda strömmande händelser via Kafka-protokollet. Om du redan har ett program som använder Apache Kafka-protokollet för att skicka eller använda strömningshändelser med specifika Kafka-ämnen kan du enkelt anpassa samma program för att skicka eller använda strömmande händelser i din händelseström genom att helt enkelt uppdatera anslutningsinställningarna så att de pekar på Den Kafka-slutpunkt som anges i händelseströmmen.
Funktionen Infrastrukturhändelseströmmar drivs av Azure Event Hubs, en fullständigt hanterad molnbaserad tjänst. När en händelseström skapas etableras automatiskt ett namnområde för händelsehubben och en händelsehubb allokeras till standardströmmen utan att det krävs några etableringskonfigurationer. Mer information om Kafka-kompatibla funktioner i Azure Event Hubs-tjänsten finns i Azure Event Hubs för Apache Kafka
Mer information om hur du hämtar Information om Kafka-slutpunkt för att skicka händelser till eventstream finns i Lägga till anpassad slutpunktskälla till en händelseström. Mer information om hur du använder händelser från händelseström finns i Lägga till ett anpassat slutpunktsmål i en händelseström
Förbättrade funktioner (förhandsversion)
Det finns fler funktioner, källor och mål tillgängliga när du aktiverar alternativet Förbättrade funktioner (förhandsversion) när du skapar en händelseström. Använd flikarna Utökade funktioner (förhandsversion) och Standard för att lära dig mer om ytterligare källor och mål som stöds med de förbättrade funktionerna.
Här följer några andra anmärkningsvärda funktioner i Förbättrade funktioner (förhandsversion):
- Redigeringsläge och livevy. Utforska två distinkta lägen för att visualisera och utforma dataströmbearbetning.
- Standard- och härledda strömmar. Skapa ett kontinuerligt flöde av strömmar med det format du utformar, med en händelseprocessor som kan användas senare i realtidshubben.
- Dataströmsdirigering baserat på innehåll. Transformera och dirigera dina dataströmmar var som helst i Fabric baserat på dataströminnehållet som du har utformat med händelseprocessorn.