Azure Event Hubs – Eine Echtzeitdatenstreamingplattform mit nativer Apache Kafka-Unterstützung

Azure Event Hubs ist ein cloudnativer Datenstreamingdienst, der Millionen von Ereignissen pro Sekunde mit geringer Latenz von jeder Quelle zu jedem beliebigen Ziel streamen kann. Event Hubs ist mit Apache Kafka kompatibel und ermöglicht es Ihnen, vorhandene Kafka-Workloads ohne Codeänderungen auszuführen.

Mithilfe von Event Hubs zum Erfassen und Speichern von Streamingdaten können Unternehmen die Leistungsfähigkeit von Streamingdaten nutzen, um wertvolle Erkenntnisse zu gewinnen, Echtzeitanalysen zu fördern und auf Ereignisse zu reagieren, während sie geschehen, und so die Gesamteffizienz und die Kundenerfahrung zu verbessern.

Diagram that shows how Azure Event Hubs fits in an event streaming platform.

Azure Event Hubs ist die bevorzugte Ereigniserfassungsebene jeder Ereignisstreaminglösung, die Sie auf Azure erstellen. Es lässt sich nahtlos in Daten- und Analysedienste innerhalb und außerhalb von Azure integrieren, um Ihre vollständige Datenstreamingpipeline zu erstellen und so die folgenden Anwendungsfälle zu erfüllen.

Wichtige Funktionen

Apache Kafka auf Azure Event Hubs

Azure Event Hubs ist ein Multiprotokoll-Ereignisstreamingmodul, das nativ AMQP-, Apache Kafka- und HTTPs-Protokolle unterstützt. Da es Apache Kafka unterstützt, bringen Sie Kafka-Workloads ohne Codeänderung in Azure Event Hubs. Für Sie ist es nicht erforderlich, Ihre eigenen Kafka-Cluster einzurichten, zu konfigurieren und zu verwalten oder ein Kafka-as-a-Service-Angebot zu nutzen, das nicht ursprünglich von Azure stammt.

Event Hubs wurde von Grund auf als cloudnatives Brokermodul entwickelt. Daher können Sie Kafka-Workloads mit einer besseren Leistung, einer besseren Kosteneffizienz und ohne operativen Mehraufwand ausführen.

Weitere Informationen finden Sie unter Azure Event Hubs für Apache Kafka.

Azure-Schemaregistrierung in Azure Event Hubs

Azure Schema Registry in Event Hubs stellt ein zentrales Repository zum Verwalten von Schemas von Ereignisstreaminganwendungen bereit. Azure Schema Registry ist kostenlos für jeden Event Hubs-Namespace verfügbar und lässt sich nahtlos in Kafka-Anwendungen oder auf dem Event Hubs SDK basierende Anwendungen integrieren.

Diagram that shows Schema Registry and Azure Event Hubs integration.

Es stellt die Datenkompatibilität und Konsistenz zwischen Ereignisproduzenten und -consumern sicher. Die Schemaregistrierung ermöglicht eine nahtlose Schemaentwicklung, Validierung und Governance sowie effizienten Datenaustausch und Interoperabilität.

Die Schemaregistrierung lässt sich nahtlos in Ihre vorhandenen Kafka-Anwendungen integrieren und unterstützt mehrere Schemaformate, einschließlich Avro- und JSON-Schemas.

Weitere Informationen finden Sie unter Azure-Schema Registry in Azure Event Hubs.

Echtzeitverarbeitung von Streamingereignissen mit Azure Stream Analytics

Event Hubs lässt sich nahtlos in Azure Stream Analytics integrieren, um die Echtzeitdatenstromverarbeitung zu ermöglichen. Mit dem integrierten No-Code-Editor können Sie mühelos einen Stream Analytics-Auftrag mithilfe von Drag-and-Drop-Funktionen entwickeln, ohne eine einzige Zeile Code zu schreiben.

Screenshot showing the Process data page with Enable real time insights from events tile selected.

Alternativ können Entwickler die SQL-basierte Stream Analytics-Abfragesprache verwenden, um die Echtzeitdatenstromverarbeitung durchzuführen und eine vielzahl von Funktionen zum Analysieren von Streamingdaten zu nutzen.

Weitere Informationen finden Sie in den Artikeln im Abschnitt zur Integration von Azure Stream Analytics im Inhaltsverzeichnis.

Erkunden von Streamingdaten mit Azure Data Explorer

Azure Data Explorer ist eine vollständig verwaltete Plattform für Big Data Analytics, die hohe Leistung bietet und die Analyse großer Datenmengen in nahezu Echtzeit ermöglicht. Durch die Integration von Event Hubs in Azure Data Explorer können Sie ganz einfach Echtzeitanalysen durchführen und Streamingdaten durchsuchen.

Diagram that shows Azure Data explorer query and output.

Weitere Informationen finden Sie unter Erfassen von Daten aus einem Event Hub in Azure Data Explorer und in Artikeln im selben Abschnitt.

Umfassendes Ökosystem – Azure-Funktionen, SDKs und Kafka-Ökosystem

Erfassen, puffern, speichern und verarbeiten Sie Ihren Datenstrom in Echtzeit, um verwertbare Einblicke zu erhalten. Event Hubs verwendet ein partitioniertes Consumermodell, sodass mehrere Anwendungen den Datenstrom gleichzeitig verarbeiten und Sie die Verarbeitungsgeschwindigkeit steuern können. Azure Event Hubs lässt sich für serverlose Architekturen auch mit Azure Functions integrieren.

Mit einem umfassenden Ökosystem, das für das branchenübliche Standardprotokoll AMQP 1.0 und in verschiedenen Sprachen verfügbar ist (.NET, Java, Python, JavaScript), können Sie problemlos mit der Verarbeitung Ihrer Datenströme über Event Hubs beginnen. Mit allen unterstützten Clientsprachen wird tiefgreifende Integration gewährleistet.

Das Ökosystem bietet Ihnen auch eine nahtlose Integration von Azure Functions, Azure Spring Apps, Kafka Connectors und anderen Datenanalyseplattformen und -technologien wie Apache Spark und Apache Flink.

Flexibles und kostengünstiges Ereignisstreaming

Sie können flexibles und kostengünstiges Ereignisstreaming über die vielfältige Auswahl von Ebenen von Event Hubs erleben – darunter Standard, Premium und Dedicated. Diese Optionen erfüllen Datenstreaminganforderungen von einigen MB/s bis zu mehreren GB/s, sodass Sie die perfekte Übereinstimmung für Ihre Anforderungen auswählen können.

Skalierbar

Mit Event Hubs können Sie mit Datenströmen in Megabytes anfangen und zu Gigabytes oder Terabytes erweitern. Das Feature für die automatische Vergrößerung ist eine von vielen verfügbaren Optionen zum Skalieren der Anzahl von Durchsatzeinheiten oder Verarbeitungseinheiten, um Ihren Nutzungsanforderungen gerecht zu werden.

Erfassen von Streamingdaten für langfristige Aufbewahrung und Batchanalysen

Erfassen Sie Ihre Daten mit Capture nahezu in Echtzeit in Azure Blob Storage oder Azure Data Lake Storage für die Langzeitaufbewahrung oder die Microbatch-Verarbeitung. Sie können dieses Verhalten für den gleichen Datenstrom erreichen, den Sie zum Ableiten von Echtzeitanalysen verwenden. Das Einrichten der Erfassung von Ereignisdaten geht schnell.

Image showing capturing of Event Hubs data into Azure Storage or Azure Data Lake Storage using Managed Identity

Funktionsweise

Event Hubs bietet eine einheitliche Ereignisstreamingplattform mit einem Aufbewahrungspuffer, durch den die Ereignisersteller von den Ereignisconsumern entkoppelt werden. Die Produzenten und Consumeranwendungen können eine umfangreiche Datenerfassung über mehrere Protokolle durchführen.

Die folgende Abbildung zeigt die wichtigsten Komponenten der Event Hubs-Architektur:

Diagram that shows the main components of Event Hubs.

Zu den wichtigsten funktionalen Komponenten von Event Hubs gehören:

  • Produzentenanwendungen können Daten mithilfe von Event Hubs-SDKs oder einem beliebigen Kafka-Produzentenclient an einen Event Hub erfassen.
  • Namespace ist der Verwaltungscontainer für ein oder mehrere Event Hubs oder Kafka-Themen. Die Verwaltungsaufgaben wie das Zuordnen der Streamingkapazität, das Konfigurieren der Netzwerksicherheit, die Aktivierung der georedundanten Notfallwiederherstellung usw. werden auf Namespaceebene gehandhabt.
  • Event Hub/Kafka-Thema: In Event Hubs können Sie Ereignisse in einem Event Hub oder einem Kafka-Thema organisieren. Es handelt sich um ein verteiltes Protokoll, das nur Anfügevorgänge unterstützt und aus einer oder mehreren Partitionen bestehen kann.
  • Partitionen werden verwendet, um einen Event Hub zu skalieren. Sie sind wie Fahrspuren auf einer Autobahn. Wenn Sie mehr Streamingdurchsatz benötigen, müssen Sie weitere Partitionen hinzufügen.
  • Verbraucheranwendungen nutzen Daten, indem Sie über das Ereignisprotokoll suchen und den Consumeroffset beibehalten. Consumer können Kafka-Consumerclients oder Event Hubs SDK-Clients sein.
  • Eine Consumergruppe ist eine logische Gruppe von Consumer-Instanzen, die Daten aus einem Event Hub oder Kafka-Thema liest. Sie ermöglicht es mehreren Consumern, die gleichen Streamingdaten in einem Event Hub unabhängig in ihrem eigenen Tempo und mit ihren eigenen Offsets zu lesen.

Nächste Schritte

Informationen zu den ersten Schritten mit Event Hubs finden Sie in den folgenden Schnellstarthandbüchern.

Streamen von Daten mithilfe von Event Hubs SDK (AMQP)

Sie können eines der folgenden Beispiele verwenden, um Daten mithilfe von SDKs an Event Hubs zu streamen.

Streamen von Daten mit Apache Kafka

Sie können die folgenden Beispiele verwenden, um Daten aus Ihren Kafka-Anwendungen an Event Hubs zu streamen.

Schemaüberprüfung mit Schemaregistrierung

Sie können die Event Hubs-Schemaregistrierung verwenden, um Schemaüberprüfung für Ihre Ereignisstreaminganwendungen durchzuführen.