Microsoft Fabric-Ereignisstreams – Übersicht
Mit dem Ereignisstreams-Feature in der Microsoft Fabric Real-Time Intelligence-Umgebung können Sie Echtzeitereignisse in Fabric integrieren, transformieren und dann an verschiedene Ziele weiterleiten, ohne Code zu schreiben (kein Code). Sie erstellen einen Eventstream, bei dem es sich um eine Instanz des Eventstream-Elements in Fabric handelt, Fügen Sie dem Datenstrom Ereignisdaten hinzu, fügen Sie optional Transformationen hinzu, um die Ereignisdaten zu transformieren, und leiten Sie die Daten dann an unterstützte Ziele weiter. Darüber hinaus können Sie mit apache Kafka-Endpunkten, die für das Eventstream-Element verfügbar sind, Mithilfe des Kafka-Protokolls Echtzeitereignisse senden oder nutzen.
Übertragen von Ereignissen in Fabric
Das Feature „Ereignisstreams“ bietet verschiedene Quellconnectors zum Abrufen von Ereignisdaten aus unterschiedlichen Quellen, z. B. Beispieldaten und Azure Event Hubs. Es stehen weitere Quellen zur Verfügung, wenn Sie zum Zeitpunkt der Erstellung eines Eventstreams erweiterte Funktionen aktivieren.
Wichtig
Erweiterte Funktionen von Fabric-Eventstreams befinden sich aktuell in der Vorschau.
| Quellen | Beschreibung |
|---|---|
| Azure Event Hubs | Wenn Sie über einen Azure Event Hub verfügen, können Sie Event Hub-Daten mithilfe von Eventstream in Microsoft Fabric erfassen. |
| Azure IoT Hub | Wenn Sie über einen Azure IoT Hub verfügen, können Sie IoT-Daten mithilfe von Eventstream in Microsoft Fabric erfassen. |
| Azure SQL Datenbank Change Data Capture (CDC) | Der Azure SQL-Datenbank CDC Source Connector ermöglicht Ihnen das Erfassen einer Momentaufnahme der aktuellen Daten in einer Azure SQL-Datenbank. Künftige Änderungen an diesen Daten auf Zeilenebene werden dann vom Konnektor überwacht und aufgezeichnet. |
| PostgreSQL Datenbank CDC | Der Postgre SQL-Datenbank Change Data Capture (CDC)-Quellconnector ermöglicht es Ihnen, eine Momentaufnahme der aktuellen Daten in einer PostgreSQL-Datenbank zu erfassen. Künftige Änderungen an diesen Daten auf Zeilenebene werden dann vom Konnektor überwacht und aufgezeichnet. |
| MySQL Datenbank CDC | Mit dem Azure My SQL-Datenbank Change Data Capture (CDC)-Quellconnector können Sie eine Momentaufnahme der aktuellen Daten in einer Azure-Datenbank für MySQL-Datenbank erfassen. Sie können die zu überwachenden Tabellen angeben, und der Eventstream zeichnet alle zukünftigen Änderungen auf Zeilenebene in den Tabellen auf. |
| Azure Cosmos DB CDC | Mit dem Azure Cosmos DB Change Data Capture (CDC)-Quellen-Konnektor für Microsoft Fabric-Eventstreams können Sie eine Momentaufnahme der aktuellen Daten in einer Azure Cosmos DB-Datenbank erfassen. Künftige Änderungen an diesen Daten auf Zeilenebene werden dann vom Konnektor überwacht und aufgezeichnet. |
| SQL Server auf VM DB (CDC) | Der SQL Server auf VM DB (CDC)-Quellconnector für Fabric-Ereignisstreams ermöglicht es Ihnen, eine Momentaufnahme der aktuellen Daten in einer SQL Server-Datenbank auf einem virtuellen Computer zu erfassen. Der Verbinder überwacht und zeichnet dann änderungen an den Daten auf zukünftiger Zeilenebene auf und zeichnet sie auf. |
| Azure SQL verwaltete Instanz CDC | Mit dem Azure SQL verwaltete Instanz CDC-Quellconnector für Microsoft Fabric-Ereignisstreams können Sie eine Momentaufnahme der aktuellen Daten in einer SQL-verwaltete Instanz-Datenbank erfassen. Künftige Änderungen an diesen Daten auf Zeilenebene werden dann vom Konnektor überwacht und aufgezeichnet. |
| Google Cloud Pub/Sub | Google Pub/Sub ist ein Messaging-Dienst, mit dem Sie Datenströme von Ereignissen veröffentlichen und abonnieren können. Sie können Google Pub/Sub als Quelle zu Ihrem Eventstream hinzufügen, um Echtzeitereignisse zu erfassen, zu transformieren und zu verschiedenen Zielen in Fabric zu leiten. |
| Amazon Kinesis Data Streams | Amazon Kinesis Data Streams ist ein massiv skalierbarer, äußerst langlebiger Datenaufnahme- und Verarbeitungsdienst, der für Streamingdaten optimiert ist. Durch die Integration von Amazon Kinesis Data Streams als Quelle in Ihren Eventstream können Sie Echtzeit-Streams nahtlos verarbeiten, bevor Sie sie an mehrere Ziele innerhalb von Fabric weiterleiten. |
| Confluent Cloud Kafka | Confluent Cloud Kafka ist eine Streaming-Plattform, die leistungsstarkes Streaming und Verarbeitungsfunktionen mit Apache Kafka bietet. Durch die Integration von Confluent Cloud Kafka als Quelle in Ihren Eventstream können Sie Echtzeit-Streams nahtlos verarbeiten, bevor Sie sie an mehrere Ziele innerhalb von Fabric weiterleiten. |
| Apache Kafka | Apache Kafka ist eine Open-Source-, verteilte Plattform zum Erstellen skalierbarer Echtzeitdatensysteme. Durch die Integration von Apache Kafka als Quelle in Ihren Eventstream können Sie Echtzeitereignisse aus Ihrem Apache Kafka nahtlos mitbringen und verarbeiten, bevor Sie innerhalb von Fabric an mehrere Ziele weiterleiten. |
| Amazon MSK Kafka | Amazon MSK Kafka ist ein vollständig verwalteter Kafka-Dienst, der die Einrichtung, Skalierung und Verwaltung vereinfacht. Durch die Integration von Amazon MSK Kafka als Quelle in Ihren Eventstream können Sie die Echtzeitereignisse von Ihrem MSK Kafka nahtlos übertragen und verarbeiten, bevor Sie sie an mehrere Ziele innerhalb von Fabric weiterleiten. |
| Azure Blob Storage Events | Azure Blob Storage-Ereignisse werden ausgelöst, wenn ein Client einen Blob erstellt, ersetzt oder löscht. Mit dem Connector können Sie Blob Storage-Ereignisse mit Fabric-Ereignissen im Echtzeithub verknüpfen. Sie können diese Ereignisse in fortlaufende Streams konvertieren und sie transformieren, bevor Sie sie an verschiedene Ziele in Fabric weiterleiten. |
| Fabric-Arbeitsbereichselement-Ereignisse | Fabric-Arbeitsbereichselement-Ereignisse sind diskrete Fabric-Ereignisse, die auftreten, wenn Änderungen an Ihrem Fabric-Arbeitsbereich vorgenommen werden. Zu diesen Änderungen gehören das Erstellen, Aktualisieren oder Löschen eines Fabric-Artikels. Mit Fabric-Eventstreams können Sie diese Fabric-Arbeitsbereichsereignisse erfassen, transformieren und zur weiteren Analyse an verschiedene Ziele in Fabric weiterleiten. |
| Beispieldaten | Um beim Einrichten eines Ereignisstreams die Datenerfassung zu testen, können Sie Fahrräder, Yellow Taxi oder Börsenevents als Beispieldatenquelle auswählen. |
| Benutzerdefinierter Endpunkt (d. h. benutzerdefinierte App mit Standardfunktionalität) | Mit dem Feature für einen benutzerdefinierten Endpunkt können Ihre Anwendungen oder Kafka-Clients mithilfe einer Verbindungszeichenfolge eine Verbindung mit Eventstream herstellen – dies ermöglicht die reibungslose Erfassung von Streamingdaten in Eventstream. |
Verarbeiten von Ereignissen ohne Code-Erfahrung
Die Drag & Drop-Erfahrung bietet Ihnen eine intuitive und einfache Möglichkeit, Ihre Ereignisdatenverarbeitungs-, -transformations- und -routinglogik zu erstellen, ohne Code schreiben zu müssen. Ein End-to-End-Datenflussdiagramm in einem Ereignisstream kann Ihnen ein umfassendes Verständnis des Datenflusses und der Organisation bieten. Der Ereignisprozessor-Editor ist ein No-Code-Feature, das Ihnen das Ziehen und Ablegen ermöglicht, um die Ereignisdaten-Verarbeitungslogik zu entwerfen.
| Transformation | Beschreibung |
|---|---|
| Filtern | Verwenden Sie die Filter-Transformation, um Ereignisse basierend auf dem Wert eines Felds in der Eingabe zu filtern. Abhängig vom Datentyp (Zahl oder Text) werden bei der Transformation die Werte beibehalten, die der ausgewählten Bedingung entsprechen, wie beispielsweise is null oder is not null. |
| Verwalten von Feldern | Mit der Transformation Verwalten von Feldern können Sie Felder, die aus einer Eingabe oder einer anderen Transformation stammen, hinzufügen, entfernen oder umbenennen oder den Datentyp ändern. |
| Aggregieren | Mithilfe der Aggregattransformation können Sie jedes Mal, wenn in einem Zeitraum ein neues Ereignis eintritt, eine Aggregation (Summe, Minimum, Maximum oder Durchschnitt) berechnen. Diese Operation ermöglicht auch die Umbenennung dieser berechneten Spalten und das Filtern oder Slicing der Aggregation basierend auf anderen Dimensionen in Ihren Daten. Sie können in derselben Transformation eine oder mehrere Aggregationen verwenden. |
| Gruppieren nach | Verwenden Sie die Gruppieren nach-Transformation, um Aggregationen für alle Ereignisse innerhalb eines bestimmten Zeitfensters zu berechnen. Sie können die Ansicht nach den Werten in einem oder mehreren Feldern gruppieren. Sie ähnelt der Aggregattransformation und lässt die Umbenennung der Spalten zu, bietet jedoch mehr Optionen für die Aggregation und enthält komplexere Optionen für Zeitfenster. Wie bei Aggregat können Sie pro Transformation mehrere Aggregationen hinzufügen. |
| Union | Mithilfe von Union-Transformationen können Sie zwei oder mehr Knoten verbinden und Ereignisse mit gemeinsamen Feldern (mit dem gleichen Namen und Datentyp) in eine Tabelle einfügen. Felder, die nicht übereinstimmen, werden verworfen und sind nicht in der Ausgabe enthalten. |
| Erweitern | Verwenden Sie die Arraytransformationsoption Erweitern, um eine neue Zeile für jeden Wert innerhalb eines Arrays zu erstellen. |
| Join | Verwenden Sie die Verknüpfungstransformation, um Daten aus zwei Datenströmen basierend auf einer übereinstimmenden Bedingung zwischen ihnen zu kombinieren. |
Wenn Sie erweiterte Funktionen beim Erstellen eines Eventstream aktiviert haben, werden die Transformationsvorgänge für alle Ziele unterstützt (wobei abgeleiteter Stream als Zwischenbrücke für einige Ziele, z. B. benutzerdefinierter Endpunkt, Reflex, fungiert). Andernfalls sind die Transformationsvorgänge nur für die Ziele Lakehouse und Eventhouse (Ereignisverarbeitung vor Aufnahme) verfügbar.
Weiterleiten von Ereignissen an Ziele
Das Fabric-Ereignisstreams-Feature unterstützt das Senden von Daten an die folgenden unterstützten Ziele.
| Destination | Beschreibung |
|---|---|
| Benutzerdefinierter Endpunkt (d. h. benutzerdefinierte App mit Standardfunktionalität) | Mit diesem Ziel können Sie Ihre Echtzeitereignisse ganz einfach an eine benutzerdefinierte Anwendung weiterleiten. Damit können Sie Ihre eigenen Anwendungen mit dem Ereignisstream verbinden und die Ereignisdaten in Echtzeit nutzen. Es ist nützlich, wenn Sie Echtzeitdaten an ein externes System außerhalb von Microsoft Fabric ausgeben möchten. |
| Eventhouse | Mit diesem Ziel können Sie Ihre Echtzeitereignisdaten in ein Eventhouse aufnehmen, in dem Sie die leistungsstarken Kusto-Abfragesprache (KQL) verwenden können, um die Daten abzufragen und zu analysieren. Mit den Daten im Eventhouse können Sie tiefere Einblicke in Ihre Ereignisdaten gewinnen und umfangreiche Berichte und Dashboards erstellen. Sie können zwischen zwei Erfassungsmodi wählen: direkte Erfassung und Ereignisverarbeitung vor der Erfassung. |
| Lakehouse | Dieses Ziel bietet Ihnen die Möglichkeit, Ihre Echtzeitereignisse vor der Erfassung in Ihr Lakehouse zu transformieren. Echtzeitereignisse werden in das Delta Lake-Format konvertiert und dann in den angegebenen Lakehouse-Tabellen gespeichert. Dieses Ziel unterstützt Data Warehouse-Szenarien. |
| Reflex | Mit diesem Ziel können Sie Ihre Echtzeitereignisdaten direkt mit einem Reflex-Element verbinden. Ein Reflex-Element ist eine Art intelligenter Agent, der alle erforderlichen Informationen enthält, um eine Verbindung mit Daten herzustellen, auf Bedingungen zu überwachen und zu handeln. Wenn die Daten bestimmte Schwellenwerte erreichen oder mit anderen Mustern übereinstimmen, führt Reflex automatisch geeignete Maßnahmen aus und warnt beispielsweise Benutzer oder startet Power Automate-Workflows. |
| Abgeleiteter Stream | Abgeleiteter Datenstrom ist ein spezieller Zieltyp, den Sie nach dem Hinzufügen von Datenstromvorgängen erstellen können, z. B. "Felder filtern" oder "Felder verwalten", zu einem Ereignisstream. Der abgeleitete Datenstrom stellt den transformierten Standarddatenstrom nach der Datenstromverarbeitung dar. Sie können den abgeleiteten Datenstrom an mehrere Ziele in Fabric weiterleiten und den abgeleiteten Datenstrom im Echtzeithub anzeigen. |
Sie können mehrere Ziele in einem Ereignisstream anfügen, um gleichzeitig Daten von Ihren Ereignisstreams zu empfangen, ohne sich gegenseitig zu stören.
Hinweis
Wir empfehlen, dass Sie das Feature Microsoft Fabric-Ereignisstreams mit mindestens 4 Kapazitätseinheiten (SKU: F4) verwenden
Apache Kafka für Fabric-Ereignisstreams
Das Fabric-Ereignisstream-Feature bietet einen Apache Kafka-Endpunkt im Eventstream-Element, sodass Benutzer Streamingereignisse über das Kafka-Protokoll verbinden und nutzen können. Wenn Sie bereits über eine Anwendung verfügen, die das Apache Kafka-Protokoll zum Senden oder Nutzen von Streamingereignissen mit bestimmten Kafka-Themen verwendet, können Sie die gleiche Anwendung mühelos anpassen, um die Streamingereignisse innerhalb Ihres Eventstreams zu senden oder zu nutzen, indem Sie einfach Ihre Verbindungseinstellungen aktualisieren, um auf den in Ihrem Eventstream bereitgestellten Kafka-Endpunkt zu verweisen.
Das Feature "Fabric-Ereignisstreams" wird von Azure Event Hubs unterstützt, einem vollständig verwalteten cloudeigenen Dienst. Wenn ein Eventstream erstellt wird, wird automatisch ein Event Hub-Namespace bereitgestellt, und ein Event Hub wird dem Standarddatenstrom zugewiesen, ohne dass Bereitstellungskonfigurationen erforderlich sind. Weitere Informationen zu den kafka-kompatiblen Features im Azure Event Hubs-Dienst finden Sie unter Azure Event Hubs für Apache Kafka
Weitere Informationen zum Abrufen der Kafka-Endpunktdetails zum Senden von Ereignissen an eventstream finden Sie unter Hinzufügen einer benutzerdefinierten Endpunktquelle zu einem Eventstream und zum Verwenden von Ereignissen aus eventstream finden Sie unter Hinzufügen eines benutzerdefinierten Endpunktziels zu einem Eventstream
Erweiterte Funktionen (Vorschau)
Es stehen weitere Features, Quellen und Ziele zur Verfügung, wenn Sie beim Erstellen eines Eventstreams die Option "Erweiterte Funktionen (Vorschau)" aktivieren. Verwenden Sie die Registerkarten "Erweiterte Funktionen" (Vorschau) und "Standardfunktionen ", um mehr über zusätzliche Quellen und Ziele zu erfahren, die mit den erweiterten Funktionen unterstützt werden.
Hier sind einige weitere bemerkenswerte Features erweiterter Funktionen (Vorschau):
- Bearbeitungsmodus und Liveansicht. Erkunden Sie zwei unterschiedliche Modi zum Visualisieren und Entwerfen der Datenstromverarbeitung.
- Standard- und abgeleitete Datenströme. Erstellen Sie einen kontinuierlichen Fluss von Datenströmen mit dem Format, das Sie entwerfen, mit einem Ereignisprozessor, der später im Echtzeithub genutzt werden kann.
- Datenstromrouting basierend auf Inhalten. Transformieren und weiterleiten Sie Ihre Datenströme an beliebiger Stelle in Fabric basierend auf den Datenstrominhalten, die Sie mit dem Ereignisprozessor entworfen haben.