Schnellstart: Datenstreaming mit Event Hubs mithilfe des Kafka-Protokolls

In dieser Schnellstartanleitung erfahren Sie, wie Daten an Event Hubs gestreamt werden, ohne dass Sie Protokollclients ändern oder eigene Cluster betreiben müssen. Sie lernen, wie Sie über Ihre Producer und Consumer mit Event Hubs kommunizieren – mit nur einer Konfigurationsänderung in Ihren Anwendungen.

Hinweis

Dieses Beispiel ist auf GitHub verfügbar.

Voraussetzungen

Für diese Schnellstartanleitung benötigen Sie Folgendes:

• Lesen Sie den Artikel Event Hubs für Apache Kafka.
• Ein Azure-Abonnement. Sollten Sie kein Abonnement besitzen, können Sie ein kostenloses Konto erstellen, bevor Sie beginnen.
• Erstellen Sie einen virtuellen Windows-Computer, und installieren Sie die folgenden Komponenten:
  • Java Development Kit (JDK) 1.7 oder höher
  • Ein binäres Maven-Archiv (Download/Installationsanleitung)
  • Git-Client

Erstellen eines Event Hubs-Namespace

Wenn Sie einen Event Hubs-Namespace erstellen, wird der Kafka-Endpunkt für den Namespace automatisch aktiviert. Sie können Ereignisse von Ihren Anwendungen streamen, die das Kafka-Protokoll in Event Hubs verwenden. Befolgen Sie die Schritt-für-Schritt-Anleitung unter Erstellen eines Event Hubs mithilfe des Azure-Portals, um einen Event Hubs-Namespace zu erstellen. Wenn Sie einen dedizierten Cluster verwenden, finden Sie weitere Informationen unter Erstellen eines Namespace und eines Event Hubs in einem dedizierten Cluster.

Hinweis

Event Hubs für Kafka wird im Basic-Tarif nicht unterstützt.

Senden und Empfangen von Nachrichten mit Kafka in Event Hubs

Verbindungszeichenfolge

1. Klonen Sie das Azure Event Hubs-Repository für Kafka.

2. Navigieren Sie zu azure-event-hubs-for-kafka/quickstart/java/producer.

3. Aktualisieren Sie die Konfigurationsdetails für den Producer in src/main/resources/producer.config folgendermaßen:

   bootstrap.servers=NAMESPACENAME.servicebus.windows.net:9093
   security.protocol=SASL_SSL
   sasl.mechanism=PLAIN
   sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.EVENTHUBS.CONNECTION.STRING}";
   

   Wichtig

   Ersetzen Sie {YOUR.EVENTHUBS.CONNECTION.STRING} durch die Verbindungszeichenfolge für Ihren Event Hubs-Namespace. Anweisungen zum Abrufen der Verbindungszeichenfolge finden Sie unter Abrufen einer Event Hubs-Verbindungszeichenfolge. Hier sehen Sie eine Beispielkonfiguration: sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="Endpoint=sb://mynamespace.servicebus.windows.net/;SharedAccessKeyName=RootManageSharedAccessKey;SharedAccessKey=XXXXXXXXXXXXXXXX";

4. Führen Sie den Producer-Code aus, und streamen Sie Ereignisse an Event Hubs:

   mvn clean package
   mvn exec:java -Dexec.mainClass="TestProducer"
   

5. Navigieren Sie zu azure-event-hubs-for-kafka/quickstart/java/consumer.

6. Aktualisieren Sie die Konfigurationsdetails für den Consumer in src/main/resources/consumer.config folgendermaßen:

   bootstrap.servers=NAMESPACENAME.servicebus.windows.net:9093
   security.protocol=SASL_SSL
   sasl.mechanism=PLAIN
   sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.EVENTHUBS.CONNECTION.STRING}";
   

   Wichtig

   Ersetzen Sie {YOUR.EVENTHUBS.CONNECTION.STRING} durch die Verbindungszeichenfolge für Ihren Event Hubs-Namespace. Anweisungen zum Abrufen der Verbindungszeichenfolge finden Sie unter Abrufen einer Event Hubs-Verbindungszeichenfolge. Hier sehen Sie eine Beispielkonfiguration: sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="Endpoint=sb://mynamespace.servicebus.windows.net/;SharedAccessKeyName=RootManageSharedAccessKey;SharedAccessKey=XXXXXXXXXXXXXXXX";

7. Führen Sie den Consumercode und die Prozessereignisse über Event Hubs unter Verwendung Ihrer Kafka-Clients aus:

   mvn clean package
   mvn exec:java -Dexec.mainClass="TestConsumer"
   

Wenn Ihr Kafka-Cluster in Event Hubs über Ereignisse verfügt, werden diese nun allmählich vom Consumer empfangen.

Kennwortlos (empfohlen)

1. Aktivieren Sie eine systemseitig zugewiesene verwaltete Identität für die VM. Weitere Informationen zum Konfigurieren einer verwalteten Identität auf einer VM finden Sie unter Konfigurieren von verwalteten Identitäten für Azure-Ressourcen auf einem virtuellen Computer über das Azure-Portal. Verwaltete Identitäten für Azure-Ressourcen stellen für Azure-Dienste eine automatisch verwaltete Identität in Azure Active Directory bereit. Sie können diese Identität für die Authentifizierung bei jedem Dienst verwenden, der die Azure AD-Authentifizierung unterstützt. Hierfür müssen keine Anmeldeinformationen im Code enthalten sein.

   

2. Weisen Sie der verwalteten Identität der VM mithilfe der Seite Zugriffssteuerung des Event Hubs-Namespace, den Sie erstellt haben, die Rolle Azure Event Hubs-Datenbesitzer zu. Azure Event Hubs unterstützt die Verwendung von Azure Active Directory (Azure AD) zum Autorisieren von Anforderungen an Event Hubs-Ressourcen. Mit Azure AD können Sie Azure RBAC (Azure Role-Based Access Control, rollenbasierte Zugriffssteuerung von Azure) zum Gewähren von Berechtigungen für einen Sicherheitsprinzipal verwenden, bei dem es sich um einen Benutzer oder einen Anwendungsdienstprinzipal handeln kann.

   1. Navigieren Sie im Azure-Portal zu Ihrem Event Hubs-Namespace. Wechseln Sie im linken Bereich zu „Zugriffssteuerung (IAM)“.

   2. Wählen Sie „+Hinzufügen“ und dann Add role assignment aus.

      

   3. Wählen Sie auf der Registerkarte „Rolle“ Azure Event Hubs-Datenbesitzer aus, und wählen Sie die Schaltfläche Weiter aus.

      

   4. Wählen Sie auf der Registerkarte Mitglieder die verwaltete Identität im Abschnitt Zugriff zuweisen aus.

   5. Wählen Sie den Link +Mitglieder auswählen aus.

   6. Führen Sie auf der Seite Verwaltete Identitäten auswählen die folgenden Schritte aus:

      1. Wählen Sie das Azure-Abonnement aus, das über den virtuellen Computer verfügt.

      2. Wählen Sie für die verwaltete Identität die Option Virtueller Computer aus.

      3. Wählen Sie die verwaltete Identität Ihres virtuellen Computers aus.

      4. Klicken Sie unten auf der Seite auf Auswählen.

         

   7. Wählen Sie Überprüfen und zuweisen aus.

      

3. Starten Sie den virtuellen Computer neu, und melden Sie sich wieder bei der VM an, für die Sie die verwaltete Identität konfiguriert haben.

4. Klonen Sie das Azure Event Hubs-Repository für Kafka.

5. Navigieren Sie zu azure-event-hubs-for-kafka/tutorials/oauth/java/managedidentity/consumer.

6. Wechseln Sie zum Ordner src/main/resources/, und öffnen Sie consumer.config. Ersetzen Sie namespacename durch den Namen Ihres Event Hubs-Namespace.

   bootstrap.servers=NAMESPACENAME.servicebus.windows.net:9093
   security.protocol=SASL_SSL
   sasl.mechanism=OAUTHBEARER
   sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required;
   sasl.login.callback.handler.class=CustomAuthenticateCallbackHandler;
   

   Hinweis

   Alle OAuth-Beispiele für Event Hubs für Kafka finden Sie hier.

7. Wechseln Sie zurück zum Ordner Consumer, in dem sich die Datei „pom.xml“ befindet, führen Sie den Consumercode aus, und verarbeiten Sie Ereignisse vom Event Hub mithilfe Ihrer Kafka-Clients:

   mvn clean package
   mvn exec:java -Dexec.mainClass="TestConsumer"                                    
   

8. Starten Sie ein weiteres Eingabeaufforderungsfenster, und navigieren Sie zu azure-event-hubs-for-kafka/tutorials/oauth/java/managedidentity/producer.

9. Wechseln Sie zum Ordner src/main/resources/, und öffnen Sie producer.config. Ersetzen Sie mynamespace durch den Namen Ihres Event Hubs-Namespace.

10. Wechseln Sie zurück zum Ordner Producer, in dem sich die Datei pom.xml befindet, führen Sie den Producercode aus, und streamen Sie Ereignisse in Event Hubs:

    mvn clean package
    mvn exec:java -Dexec.mainClass="TestProducer"                                    
    

    Sie sollten Nachrichten zu Ereignissen sehen, die ins Producerfenster gesendet wurden. Überprüfen Sie nun das Consumer-App-Fenster, um die Nachrichten anzuzeigen, die es vom Event Hub empfängt.

    

Nächste Schritte

In diesem Artikel haben Sie erfahren, wie Daten an Event Hubs gestreamt werden, ohne dass Sie Protokollclients ändern oder eigene Cluster ausführen müssen. Weitere Informationen finden Sie unter Apache Kafka-Entwicklerleitfaden für Azure Event Hubs.