Apache Kafka-Entwicklerleitfaden für Azure Event Hubs
Dieser Artikel enthält Links zu Artikeln, in denen beschrieben wird, wie Sie Ihre Apache Kafka-Anwendungen in Azure Event Hubs integrieren können.
Übersicht
Event Hubs stellt einen Kafka-Endpunkt bereit, der von Ihren vorhandenen Kafka-basierten Anwendungen als Alternative zum Betreiben eines eigenen Kafka-Clusters verwendet werden kann. Event Hubs funktioniert mit vielen Ihrer vorhandenen Kafka-Anwendungen. Weitere Informationen finden Sie unter Event Hubs für Apache Kafka.
Schnellstarts
Sie finden Schnellstarts in GitHub und in diesen Ressourcen, mit denen Sie sich schnell über Event Hubs für Kafka informieren können.
Schnellstarts in GitHub
Sehen Sie sich die folgenden Schnellstarts im Repository azure-event-hubs-for-kafka an:
| Clientsprache/Framework | BESCHREIBUNG |
|---|---|
| .NET | In dieser Schnellstartanleitung erfahren Sie, wie Sie einen Event Hubs Kafka-Endpunkt erstellen und eine Verbindung mit diesem herstellen, indem Sie einen Beispielproducer und -consumer verwenden, der in C# mit .NET Core 2.0 geschrieben wurde. Dieses Beispiel basiert auf dem Apache Kafka .NET-Client von Confluent, der für die Verwendung mit Event Hubs für Kafka geändert wurde. |
| Java | In dieser Schnellstartanleitung erfahren Sie, wie Sie einen Event Hubs Kafka-Endpunkt erstellen und eine Verbindung mit diesem herstellen, indem Sie einen Beispielproducer und -consumer verwenden, der in Java geschrieben wurde. |
| Node.js | In dieser Schnellstartanleitung erfahren Sie, wie Sie einen Event Hubs Kafka-Endpunkt erstellen und eine Verbindung mit diesem herstellen, indem Sie einen Beispielproducer und -consumer verwenden, der in Node geschrieben wurde. In diesem Beispiel wird die node-rdkafka-Bibliothek verwendet. |
| Python | In dieser Schnellstartanleitung erfahren Sie, wie Sie einen Event Hubs Kafka-Endpunkt erstellen und eine Verbindung mit diesem herstellen, indem Sie einen Beispielproducer und -consumer verwenden, der in Python geschrieben wurde. Dieses Beispiel basiert auf dem Apache Kafka Python-Client von Confluent, der für die Verwendung mit Event Hubs für Kafka geändert wurde. |
| Go | In dieser Schnellstartanleitung erfahren Sie, wie Sie einen Event Hubs Kafka-Endpunkt erstellen und eine Verbindung mit diesem herstellen, indem Sie einen Beispielproducer und -consumer verwenden, der in Go geschrieben wurde. Dieses Beispiel basiert auf dem Apache Kafka Golang-Client von Confluent, der für die Verwendung mit Event Hubs für Kafka geändert wurde. |
| Sarama kafka Go | In dieser Schnellstartanleitung erfahren Sie, wie Sie einen Event Hubs Kafka-Endpunkt erstellen und eine Verbindung mit diesem herstellen, indem Sie einen Beispielproducer und -consumer verwenden, der mithilfe der Sarama Kafka-Clientbibliothek geschrieben wurde. |
| Kafka | In dieser Schnellstartanleitung erfahren Sie, wie Sie einen Event Hubs Kafka-Endpunkt mithilfe der CLI (die in der Apache Kafka-Distribution enthalten ist) erstellen und dann eine Verbindung mit diesem Endpunkt herstellen. |
| kcat | kcat ist ein Nicht-JVM-Befehlszeilenconsumer und -producer, der auf librdkafka basiert und aufgrund seiner Geschwindigkeit und seines geringen Speicherbedarfs beliebt ist. Dieser Schnellstart enthält eine Beispielkonfiguration und mehrere einfache kafkacat-Beispielbefehle. |
Schnellstarts in der Dokumentation
Weitere Informationen finden Sie im folgenden Schnellstart: Datenstreaming mit Event Hubs mithilfe des Kafka-Protokolls in dieser Dokumentation. Er stellt schrittweise Anleitungen zum Streamen von Daten in Event Hubs bereit. Sie lernen, wie Sie über Ihre Producer und Consumer mit Event Hubs kommunizieren – mit nur einer Konfigurationsänderung in Ihren Anwendungen.
Tutorials
Tutorials in GitHub
Arbeiten Sie die folgenden Tutorials in GitHub durch:
| Lernprogramm | BESCHREIBUNG |
|---|---|
| Akka | Dieses Tutorial veranschaulicht, wie Sie Akka Streams mit Kafka-fähigen Event Hubs verbinden können, ohne Ihre Protokollclients ändern oder Ihre eigenen Cluster ausführen zu müssen. Es gibt zwei separate Tutorials, in denen die Programmiersprachen Java und Scala verwendet werden. |
| Herstellen einer Verbindung | In diesem Tutorial wird die Vorgehensweise zum Integrieren von Kafka Connect in Azure Event Hubs und zum Bereitstellen von einfachen FileStreamSource- und FileStreamSink-Connectors beschrieben. Die Connectors sind zwar nicht für die Verwendung in der Produktion bestimmt, aber sie stellen ein End-to-End-Szenario für Kafka Connect dar, bei dem Azure Event Hubs als Kafka-Broker fungiert. |
| Filebeat | Dieses Dokument führt Sie schrittweise durch die Integration von Filebeat und Event Hubs über die Kafka-Ausgabe von Filebeat. |
| Flink | Dieses Tutorial veranschaulicht, wie Sie Apache Flink mit Kafka-fähigen Event Hubs verbinden können, ohne Ihre Protokollclients ändern oder Ihre eigenen Cluster ausführen zu müssen. |
| FluentD | Dieses Dokument führt Sie schrittweise durch die Integration von Fluentd und Event Hubs mithilfe des out_kafka-Ausgabe-Plug-Ins für Fluentd. |
| Interop | In diesem Tutorial wird gezeigt, wie Sie Ereignisse zwischen Consumern und Producer mithilfe verschiedener Protokolle austauschen können. |
| Logstash | Dieses Tutorial führt Sie schrittweise durch die Integration von Logstash in Kafka-fähige Event Hubs mithilfe von Logstash Kafka-Eingabe-/Ausgabe-Plug-Ins. |
| MirrorMaker | In diesem Tutorial erfahren Sie, wie Sie mit einem Event Hub und Kafka MirrorMaker eine vorhandene Kafka-Pipeline in Azure integrieren, indem Sie den Kafka-Eingabedatenstrom im Event Hubs-Dienst spiegeln. |
| NiFi | In diesem Tutorial wird gezeigt, wie Sie Apache NiFi mit einem Event Hubs-Namespace verbinden. |
| OAuth | In diesen Schnellstarts erfahren Sie, wie Sie einen Event Hubs Kafka-Endpunkt erstellen und eine Verbindung mit diesem herstellen, indem Sie einen Beispielproducer und -consumer verwenden, der in den Programmiersprachen Go und Java geschrieben wurde. |
| Schemaregistrierung von Confluent | Dieses Tutorial führt Sie schrittweise durch die Integration der Schemaregistrierung und Event Hubs für Kafka. |
| Spark | Dieses Tutorial veranschaulicht, wie Sie Ihre Spark-Anwendung mit einem Event Hub verbinden können, ohne Ihre Protokollclients ändern oder eigene Kafka-Cluster ausführen zu müssen. |
Tutorials in der Dokumentation
Weitere Informationen finden Sie auch in diesem Tutorial: Verarbeiten von Apache Kafka für Event Hubs-Ereignisse mithilfe von Stream Analytics. Es zeigt, wie Daten in Event Hubs gestreamt und mit Azure Stream Analytics verarbeitet werden.
Anleitungen
Weitere Informationen finden Sie in den folgenden Schrittanleitungen in unserer Dokumentation:
| Artikel | BESCHREIBUNG |
|---|---|
| Spiegeln eines Kafka-Brokers in einem Event Hub | Zeigt, wie Sie einen Kafka-Broker in einem Event Hub mit Kafka MirrorMaker spiegeln. |
| Verbinden von Apache Spark mit einem Event Hub | Beschreibt ausführlich, wie Sie zum Zweck des Echtzeitstreamings eine Verbindung zwischen Ihrer Spark-Anwendung und einer Event Hubs-Instanz herstellen. |
| Verbinden von Apache Flink mit einem Event Hub | Zeigt, wie Sie Apache Flink mit einem Event Hub verbinden können, ohne Ihre Protokollclients ändern oder Ihre eigenen Cluster ausführen zu müssen. |
| Integrieren von Apache Kafka Connect in einen Event Hub (Vorschau) | Führt Sie schrittweise durch die Vorgehensweise zum Integrieren von Kafka Connect in einen Event Hub und zum Bereitstellen von einfachen FileStreamSource- und FileStreamSink-Connectors. |
| Verbinden von Akka Streams mit einem Event Hub | Veranschaulicht, wie Sie Akka Streams mit einem Event Hub verbinden können, ohne Ihre Protokollclients ändern oder Ihre eigenen Cluster ausführen zu müssen. |
| Verwenden von Spring Boot Starter für Apache Kafka mit Azure Event Hubs | Beschreibt, wie Sie eine mit Spring Boot Initializer erstellte Java-basierte Spring Cloud Stream Binder-Anwendung zur Verwendung von Apache Kafka mit Azure Event Hubs konfigurieren. |
Nächste Schritte
Sehen Sie sich die Beispiele im GitHub-Repository azure-event-hubs-for-kafka unter den Schnellstart- und Tutorialordnern an.
Lesen Sie auch die folgenden Artikel: