Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Sie können das Ereignisstreams-Feature in Microsoft Fabric Real-Time Intelligence verwenden, um Echtzeitereignisse in Fabric zu integrieren, sie zu transformieren und sie dann an verschiedene Ziele weiterzuleiten, ohne Code zu schreiben. Sie erstellen einen Eventstream, fügen dem Datenstrom Ereignisdatenquellen hinzu, fügen optional Transformationen hinzu, um die Ereignisdaten zu transformieren, und leiten die Daten dann an unterstützte Ziele weiter.
Außerdem können Sie mit Apache Kafka-Endpunkten, die für Eventstreams verfügbar sind, Mithilfe des Kafka-Protokolls Echtzeitereignisse senden oder nutzen.
Übertragen von Ereignissen in Fabric
Eventstreams bieten Ihnen Quellverbinder zum Abrufen von Ereignisdaten aus verschiedenen Quellen. Weitere Quellen sind verfügbar, wenn Sie zum Zeitpunkt der Erstellung eines Eventstreams erweiterte Funktionen aktivieren.
| Quelle | Beschreibung |
|---|---|
| Azure Data Explorer (Vorschau) | Wenn Sie über eine Azure Data Explorer-Datenbank und eine Tabelle verfügen, können Sie Daten aus der Tabelle mithilfe von Eventstream in Microsoft Fabric erfassen. |
| Azure Event Hubs | Wenn Sie über einen Azure Event Hub verfügen, können Sie Event Hub-Daten mithilfe von Eventstream in Microsoft Fabric erfassen. |
| Azure Event Grid (Vorschau) | Wenn Sie über einen Azure Event Grid-Namespace verfügen, können Sie MQTT- oder Nicht-MQTT-Ereignisdaten mithilfe von Eventstream in Microsoft Fabric erfassen. |
| Azure Service Bus (Vorschau) | Sie können Daten aus einer Azure Service Bus-Warteschlange oder dem Abonnement eines Themas mithilfe von Eventstream in Microsoft Fabric erfassen. |
| Azure IoT Hub | Wenn Sie über einen Azure IoT Hub verfügen, können Sie IoT-Daten mithilfe von Eventstream in Microsoft Fabric erfassen. |
| Benutzerdefinierter Endpunkt (d. h. benutzerdefinierte App mit Standardfunktionalität) | Mit dem Feature für einen benutzerdefinierten Endpunkt können Ihre Anwendungen oder Kafka-Clients mithilfe einer Verbindungszeichenfolge eine Verbindung mit Eventstream herstellen – dies ermöglicht die reibungslose Erfassung von Streamingdaten in Eventstream. |
| Azure IoT Einsatz | Konfigurieren Sie Azure IoT Operations so, dass Echtzeitdaten direkt an Microsoft Fabric Real-Time Intelligence gesendet werden, indem Sie einen benutzerdefinierten Eventstream-Endpunkt verwenden (unterstützt microsoft Entra ID oder SASL-Authentifizierung). |
| Beispieldaten | Sie können Fahrräder, Yellow Taxi, Stock Market, Busse, S&P 500-Unternehmen Aktien oder Semantikmodellprotokolle als Beispieldatenquelle auswählen, um die Datenaufnahme beim Einrichten eines Eventstreams zu testen. |
| Echtzeitwetter (Vorschau) | Sie können einem Eventstream eine Echtzeit-Wetterquelle hinzufügen, um Wetterdaten aus verschiedenen Standorten in Echtzeit zu streamen. |
| Azure SQL-Datenbank Änderungsdatenerfassung (CDC) | Der Azure SQL-Datenbank CDC Source Connector ermöglicht Ihnen das Erfassen einer Momentaufnahme der aktuellen Daten in einer Azure SQL-Datenbank. Künftige Änderungen an diesen Daten auf Zeilenebene werden dann vom Konnektor überwacht und aufgezeichnet. |
| PostgreSQL Datenbank CDC | Mit dem PostgreSQL-Datenbank Change Data Capture (CDC)-Quellconnector können Sie eine Momentaufnahme der aktuellen Daten in einer PostgreSQL-Datenbank erfassen. Künftige Änderungen an diesen Daten auf Zeilenebene werden dann vom Konnektor überwacht und aufgezeichnet. |
| MongoDB CDC (Vorschau) | Der MongoDB CDC-Quellconnector für Microsoft Fabric-Ereignisdatenströme erfasst eine anfängliche Momentaufnahme von Daten aus MongoDB. Sie können die zu überwachenden Sammlungen angeben, und der Eventstream verfolgt und zeichnet Echtzeitänderungen an Dokumenten in ausgewählten Datenbanken und Sammlungen auf. |
| MySQL Datenbank CDC | Mit dem Azure MySQL Database Change Data Capture (CDC)-Quellconnector können Sie eine Momentaufnahme der aktuellen Daten in einer Azure-Datenbank für MySQL-Datenbank erfassen. Sie können die zu überwachenden Tabellen angeben, und der Eventstream zeichnet alle zukünftigen Änderungen auf Zeilenebene in den Tabellen auf. |
| Azure Cosmos DB CDC | Mit dem Azure Cosmos DB Change Data Capture (CDC)-Quellen-Konnektor für Microsoft Fabric-Eventstreams können Sie eine Momentaufnahme der aktuellen Daten in einer Azure Cosmos DB-Datenbank erfassen. Künftige Änderungen an diesen Daten auf Zeilenebene werden dann vom Konnektor überwacht und aufgezeichnet. |
| SQL Server auf virtueller Maschine (VM) Datenbank (DB) CDC | Der Source Connector des SQL Server auf VM DB (CDC) für Fabric-Eventstreams ermöglicht es Ihnen, einen Snapshot der aktuellen Daten in einer SQL-Serverdatenbank auf einer VM zu erfassen. Künftige Änderungen an den Daten auf Zeilenebene werden dann vom Konnektor überwacht und erfasst. |
| Azure SQL Managed Instance CDC | Der CDC Source Connector der Azure SQL Managed Instance für Microsoft Fabric-Eventstreams ermöglicht es Ihnen, einen Snapshot der aktuellen Daten in einer SQL Managed Instance-Datenbank zu erfassen. Künftige Änderungen an diesen Daten auf Zeilenebene werden dann vom Konnektor überwacht und aufgezeichnet. |
| Fabric-Arbeitsbereichselement-Ereignisse | Fabric-Arbeitsbereichselement-Ereignisse sind diskrete Fabric-Ereignisse, die auftreten, wenn Änderungen an Ihrem Fabric-Arbeitsbereich vorgenommen werden. Zu diesen Änderungen gehören das Erstellen, Aktualisieren oder Löschen eines Fabric-Artikels. Mit Fabric-Eventstreams können Sie diese Fabric-Arbeitsbereichsereignisse erfassen, transformieren und zur weiteren Analyse an verschiedene Ziele in Fabric weiterleiten. |
| Fabric OneLake-Ereignisse | OneLake-Ereignissen ermöglichen es Ihnen, Änderungen an Dateien und Ordnern in OneLake zu abonnieren und dann in Echtzeit auf diese Änderungen zu reagieren. Mit Fabric-Eventstreams können Sie diese OneLake-Ereignisse erfassen, transformieren und zur weiteren Analyse an verschiedene Ziele in Fabric weiterleiten. Dank der nahtlosen Integration von OneLake-Ereignissen in Fabric-Ereignisstreams erhalten Sie eine größere Flexibilität, um Aktivitäten in Ihrem OneLake zu überwachen und zu analysieren. |
| Fabric Job-Ereignisse | Auftragsereignisse ermöglichen es Ihnen, Benachrichtigungen über Änderungen zu abonnieren, die erzeugt werden, wenn Fabric einen Auftrag ausführt. Sie können beispielsweise beim Aktualisieren eines Semantikmodells, beim Ausführen einer geplanten Pipeline oder beim Ausführen eines Notebooks auf Änderungen reagieren. Jede dieser Aktivitäten kann einen entsprechenden Auftrag generieren, der wiederum eine Reihe entsprechender Auftragsereignisse generiert. Mit den Ereignisstreams von Fabric können Sie diese Job-Ereignisse erfassen, transformieren und zur weiteren Analyse an verschiedene Ziele innerhalb von Fabric weiterleiten. Diese nahtlose Integration von Jobereignissen in Fabric-Ereignisstreams bietet Ihnen eine größere Flexibilität beim Überwachen und Analysieren von Aktivitäten in Ihrem Job. |
| Azure Blob Storage-Ereignisse | Azure Blob Storage-Ereignisse werden ausgelöst, wenn ein Client einen Blob erstellt, ersetzt oder löscht. Mit dem Connector können Sie Blob Storage-Ereignisse mit Fabric-Ereignissen im Echtzeithub verknüpfen. Sie können diese Ereignisse in fortlaufende Streams konvertieren und sie transformieren, bevor Sie sie an verschiedene Ziele in Fabric weiterleiten. |
| Google Cloud Pub/Sub | Google Pub/Sub ist ein Messaging-Dienst, mit dem Sie Datenströme von Ereignissen veröffentlichen und abonnieren können. Sie können Google Pub/Sub als Quelle zu Ihrem Eventstream hinzufügen, um Echtzeitereignisse zu erfassen, zu transformieren und zu verschiedenen Zielen in Fabric zu leiten. |
| Amazon Kinesis Data Streams | Amazon Kinesis Data Streams ist ein massiv skalierbarer, äußerst langlebiger Datenaufnahme- und Verarbeitungsdienst, der für Streamingdaten optimiert ist. Durch die Integration von Amazon Kinesis Data Streams als Quelle in Ihren Eventstream können Sie Echtzeit-Streams nahtlos verarbeiten, bevor Sie sie an mehrere Ziele innerhalb von Fabric weiterleiten. |
| Confluent Cloud für Apache Kafka | Confluent Cloud für Apache Kafka ist eine Streamingplattform, die leistungsstarke Datenstreaming- und Verarbeitungsfunktionen mit Apache Kafka bietet. Durch die Integration von Confluent Cloud für Apache Kafka als Quelle in Ihren Eventstream können Sie Datenströme in Echtzeit nahtlos verarbeiten, bevor Sie sie an mehrere Ziele innerhalb von Fabric weiterleiten. |
| Apache Kafka (Vorschau) | Apache Kafka ist eine verteilte Open-Source-Plattform zum Erstellen skalierbarer Systeme mit Echtzeitdaten. Durch die Integration von Apache Kafka als Quelle in Ihren Eventstream können Sie die Echtzeitereignisse von Apache Kafka nahtlos übertragen und verarbeiten, bevor Sie diese an mehrere Ziele innerhalb von Fabric weiterleiten. |
| Amazon MSK Kafka | Amazon MSK Kafka ist ein vollständig verwalteter Kafka-Dienst, der die Einrichtung, Skalierung und Verwaltung vereinfacht. Durch die Integration von Amazon MSK Kafka als Quelle in Ihren Eventstream können Sie die Echtzeitereignisse von MSK Kafka nahtlos übertragen und verarbeiten, bevor Sie diese an mehrere Ziele innerhalb von Fabric weiterleiten. |
| MQTT (Vorschau) | Mit Microsoft Fabric-Eventstreams können Sie eine Verbindung mit einem MQTT-Broker herstellen, bei dem Nachrichten im MQTT-Broker in Fabric Eventstream aufgenommen und an verschiedene Ziele innerhalb von Fabric weitergeleitet werden. |
| Solace PubSub+ (Vorschau) | Mit Microsoft Fabric-Eventstreams können Sie eine Verbindung mit Solace PubSub+ herstellen, sodass Nachrichten von Solace PubSub+ in Fabric Eventstream aufgenommen und an verschiedene Ziele in Fabric weitergeleitet werden können. |
Verarbeiten von Ereignissen mithilfe einer codefreien Oberfläche
Ein End-to-End-Datenflussdiagramm in einem Ereignisstream kann Ihnen ein umfassendes Verständnis des Datenflusses und der Organisation bieten.
Der Ereignisprozessor-Editor ist eine Drag-and-Drop-Erfahrung. Es ist eine intuitive Möglichkeit, Ihre Ereignisdatenverarbeitung, Transformation und Routinglogik zu erstellen, ohne Code zu schreiben.
| Umwandlung | Beschreibung |
|---|---|
| Filter | Verwenden Sie diese Transformation, um Ereignisse basierend auf dem Wert eines Felds in der Eingabe zu filtern. Abhängig vom Datentyp (Zahl oder Text) werden bei der Transformation die Werte beibehalten, die der ausgewählten Bedingung entsprechen, wie beispielsweise is null oder is not null. |
| Verwalten von Feldern | Verwenden Sie diese Transformation, um Felder aus einer Eingabe oder einer anderen Transformation hinzuzufügen, zu entfernen, zu ändern (Datentyp) oder umzubenennen. |
| Aggregat | Verwenden Sie diese Transformation, um eine Aggregation (Summe, Minimum, Maximum oder Mittelwert) jedes Mal zu berechnen, wenn ein neues Ereignis über einen Bestimmten Zeitraum erfolgt. Dieser Vorgang ermöglicht auch die Umbenennung dieser berechneten Spalten sowie das Filtern oder Slicing der Aggregation basierend auf anderen Dimensionen in Ihren Daten. Sie können in derselben Transformation eine oder mehrere Aggregationen verwenden. |
| Gruppieren nach | Verwenden Sie diese Transformation, um Aggregationen für alle Ereignisse innerhalb eines bestimmten Zeitfensters zu berechnen. Sie können nach den Werten in einem oder mehreren Feldern gruppieren. Ähnlich wie bei der Aggregattransformation, da es die Umbenennung von Spalten ermöglicht, bietet es jedoch weitere Optionen für die Aggregation und umfasst komplexere Möglichkeiten für Zeitfenster. Wie "Aggregat" können Sie pro Transformation mehrere Aggregationen hinzufügen. |
| Union | Verwenden Sie diese Transformation, um zwei oder mehr Knoten zu verbinden und Ereignisse mit gemeinsamen Feldern (mit demselben Namen und Datentyp) zu einer Tabelle hinzufügen. Felder, die nicht übereinstimmen, werden verworfen und sind nicht in der Ausgabe enthalten. |
| Erweitern | Verwenden Sie diese Transformation, um eine neue Zeile für jeden Wert innerhalb eines Arrays zu erstellen. |
| Verbinden | Verwenden Sie diese Transformation, um Daten aus zwei Datenströmen basierend auf einer übereinstimmenden Bedingung zwischen ihnen zu kombinieren. |
Wenn Sie beim Erstellen eines Ereignisstreams erweiterte Funktionen aktiviert haben, werden die Transformationsvorgänge für alle Ziele unterstützt. Der abgeleitete Datenstrom fungiert als Zwischenbrücke für einige Ziele, z. B. einen benutzerdefinierten Endpunkt oder einen Fabric-Aktivator). Wenn Sie die Erweiterten Funktionen nicht aktiviert haben, sind die Transformationsvorgänge nur für die Zielorte Lakehouse und Eventhouse (Eventverarbeitung vor der Einspeisung) verfügbar.
Ereignisse an Ziele weiterleiten
Das Fabric-Ereignisstreams-Feature unterstützt das Senden von Daten an die folgenden unterstützten Ziele.
| Ziel | Beschreibung |
|---|---|
| Benutzerdefinierter Endpunkt (benutzerdefinierte App in Standardfunktion) | Verwenden Sie dieses Ziel, um Ihre Echtzeitereignisse an einen benutzerdefinierten Endpunkt weiterzuleiten. Damit können Sie Ihre eigenen Anwendungen mit dem Ereignisstream verbinden und die Ereignisdaten in Echtzeit nutzen. Dieses Ziel ist nützlich, wenn Sie Echtzeitdaten an ein System außerhalb von Microsoft Fabric senden möchten. |
| Eventhouse | Mit diesem Zielort können Sie Ihre Ereignisdaten in ein Eventhouse importieren, in dem Sie die leistungsstarke Kusto Query Language (KQL) verwenden können, um die Daten abzufragen und zu analysieren. Mit den Daten im Eventhouse können Sie tiefere Einblicke in Ihre Ereignisdaten gewinnen und umfangreiche Berichte und Dashboards erstellen. Sie können zwischen zwei Erfassungsmodi wählen: direkte Erfassung und Ereignisverarbeitung vor der Erfassung. |
| Lakehouse | Dieses Ziel bietet Ihnen die Möglichkeit, Ihre Echtzeitereignisse vor der Erfassung in Ihr Lakehouse zu transformieren. Echtzeitereignisse werden in das Delta Lake-Format konvertiert und dann in den angegebenen Lakehouse-Tabellen gespeichert. Dieses Ziel unterstützt Data Warehousing-Szenarien. |
| Abgeleiteter Stream | Sie können diesen speziellen Zieltyp erstellen, nachdem Sie Datenstromvorgänge wie "Felder filtern" oder " Felder verwalten" zu einem Ereignisstream hinzufügen. Der abgeleitete Datenstrom stellt den transformierten Standarddatenstrom nach der Datenstromverarbeitung dar. Sie können den abgeleiteten Datenstrom an mehrere Ziele in Fabric weiterleiten und den abgeleiteten Datenstrom im Echtzeithub anzeigen. |
| Fabric Activator (Vorschau) | Sie können dieses Ziel verwenden, um Ihre Echtzeitereignisdaten direkt mit Fabric Activator zu verbinden. Aktivator ist eine Art intelligenter Agent, der alle Informationen enthält, die zum Herstellen einer Verbindung mit Daten, zur Überwachung auf Bedingungen und zum Handeln erforderlich sind. Wenn die Daten bestimmte Schwellenwerte erreichen oder mit anderen Mustern übereinstimmen, führt aktivator automatisch geeignete Maßnahmen aus, z. B. das Warnen von Benutzern oder das Starten von Power Automate-Workflows. |
Sie können mehrere Ziele in einem Ereignisstream anfügen, um gleichzeitig Daten aus Ihren Eventstreams zu empfangen, ohne dass die Ereignisstreams einander stören.
Hinweis
Wir empfehlen, die Fabric-Ereignisstreams-Funktion mit mindestens vier Kapazitätseinheiten (SKU: F4) zu verwenden.
Apache Kafka auf Fabric-Ereignisströmen
Das Fabric Eventstreams-Feature bietet einen Apache Kafka-Endpunkt, sodass Sie Streamingereignisse über das Kafka-Protokoll verbinden und nutzen können. Wenn Ihre Anwendung bereits das Apache Kafka-Protokoll zum Senden oder Empfangen von Streamingereignissen mit bestimmten Themen verwendet, können Sie sie ganz einfach mit Ihrem Eventstream verbinden. Aktualisieren Sie einfach Ihre Verbindungseinstellungen, um den in Ihrem Eventstream bereitgestellten Kafka-Endpunkt zu verwenden.
Das Fabric-Ereignisstreams-Feature ist Azure Event Hubs zugeordnet, einem vollständig verwalteten, cloudnativen Dienst. Wenn Sie einen Eventstream erstellen, wird automatisch ein Event Hub-Namespace bereitgestellt. Ein Ereignishub wird dem Standarddatenstrom zugewiesen, ohne dass Bereitstellungskonfigurationen erforderlich sind. Weitere Informationen zu den kafka-kompatiblen Features in Azure Event Hubs finden Sie unter Was ist Azure Event Hubs für Apache Kafka?.
Weitere Informationen zum Abrufen der Kafka-Endpunktdetails zum Senden von Ereignissen an einen Eventstream finden Sie unter Hinzufügen eines benutzerdefinierten Endpunkts oder einer benutzerdefinierten App-Quelle zu einem Eventstream. Informationen zum Konsumieren von Ereignissen aus einem Eventstream finden Sie unter Hinzufügen eines benutzerdefinierten Endpunkts oder benutzerdefinierten App-Ziels zu einem Eventstream.
Einschränkungen
Fabric-Ereignisstreams weisen die folgenden allgemeinen Einschränkungen auf. Bevor Sie mit Eventstreams arbeiten, überprüfen Sie diese Einschränkungen, um sicherzustellen, dass sie ihren Anforderungen entsprechen.
| Begrenzung | Wert |
|---|---|
| Maximale Nachrichtengröße | 1 MB |
| Maximale Aufbewahrungsdauer von Ereignisdaten | 90 Tage |
| Garantie für die Ereignisübermittlung | Mindestens einmal |