Teilen über

Verwenden von Spring Kafka mit Azure Event Hubs für Kafka-API

  • Artikel

In diesem Lernprogramm erfahren Sie, wie Sie einen javabasierten Spring Cloud Stream Binder so konfigurieren, dass Azure Event Hubs für Kafka zum Senden und Empfangen von Nachrichten mit Azure Event Hubs verwendet werden. Weitere Informationen finden Sie unter Verwenden von Azure Event Hubs aus Apache Kafka-Anwendungen

In diesem Tutorial werden zwei Authentifizierungsmethoden beschrieben: Microsoft Entra Authentifizierung und SAS-Authentifizierung (Shared Access Signatures). Auf der Registerkarte Kennwortlos wird die Microsoft Entra Authentifizierung und auf der Registerkarte Verbindungszeichenfolge die SAS-Authentifizierung angezeigt.

Die Microsoft Entra-Authentifizierung ist ein Mechanismus zur Verbindung mit Azure Event Hubs für Kafka unter Verwendung der in Microsoft Entra ID definierten Identitäten. Mit der Microsoft Entra-Authentifizierung können Sie Datenbankbenutzeridentitäten und andere Microsoft-Dienste an einem zentralen Ort verwalten, wodurch die Berechtigungsverwaltung vereinfacht wird.

Die SAS-Authentifizierung verwendet die Verbindungszeichenfolge Ihres Azure Event Hubs-Namespace für den delegierten Zugriff auf Event Hubs für Kafka. Wenn Sie sich dafür entscheiden, Signaturen für den freigegebenen Zugriff als Anmeldeinformationen zu verwenden, müssen Sie die Verbindungszeichenfolge selbst verwalten.

Voraussetzungen

Wichtig

Für die Schritte in diesem Tutorial wird mindestens die Spring Boot-Version 2.5 benötigt.

Vorbereiten von Anmeldeinformationen

Azure Event Hubs unterstützt die Verwendung von Microsoft Entra ID zum Autorisieren von Anforderungen an Event Hubs-Ressourcen. Mit Microsoft Entra ID können Sie die rollenbasierte Zugriffssteuerung von Azure (Azure RBAC) zum Gewähren von Berechtigungen für einen Sicherheitsprinzipal verwenden, bei dem es sich um einen Benutzer oder einen Anwendungsdienstprinzipal handeln kann.

Wenn Sie dieses Beispiel lokal mit der Microsoft Entra-Authentifizierung ausführen möchten, stellen Sie sicher, dass sich Ihr Benutzerkonto über das Azure Toolkit für IntelliJ, das Visual Studio Code Azure-Konto-Plug-In oder die Azure CLI authentifiziert hat. Stellen Sie außerdem sicher, dass dem Konto ausreichende Berechtigungen erteilt wurden.

Hinweis

Wenn Sie kennwortlose Verbindungen verwenden, müssen Sie Ihrem Konto Zugriff auf Ressourcen gewähren. Weisen Sie in Azure Event Hubs dem Microsoft Entra-Konto, das Sie derzeit verwenden, die Rolle Azure Event Hubs Data Receiver und die Rolle Azure Event Hubs Data Sender zu. Weitere Informationen zum Gewähren von Zugriffsrollen finden Sie unter Zuweisen von Azure-Rollen mithilfe der Azure-Portal und Autorisieren des Zugriffs auf Event Hubs-Ressourcen mithilfe der Microsoft Entra-ID.

Senden und Empfangen von Nachrichten von Azure Event Hubs

Mit einem Azure Event Hub können Sie Nachrichten mithilfe von Spring Cloud Azure senden und empfangen.

Um das Spring Cloud Azure-Startermodul zu installieren, fügen Sie Ihrer pom.xml-Datei die folgenden Abhängigkeiten hinzu:

  • Die Spring Cloud Azure Bill of Materials (BOM):

    <dependencyManagement>
  <dependencies>
    <dependency>
      <groupId>com.azure.spring</groupId>
      <artifactId>spring-cloud-azure-dependencies</artifactId>
      <version>5.18.0</version>
      <type>pom</type>
      <scope>import</scope>
    </dependency>
  </dependencies>
</dependencyManagement>

    Hinweis

    Wenn Sie Spring Boot 2.x verwenden, stellen Sie sicher, dass Sie die spring-cloud-azure-dependencies Version auf 4.19.0 festlegen. Diese Stückliste (Bill of Material, BOM) sollte im <dependencyManagement> Abschnitt Ihrer pom.xml Datei konfiguriert werden. Dadurch wird sichergestellt, dass alle Spring Cloud Azure-Abhängigkeiten dieselbe Version verwenden. Weitere Informationen zu der Version, die für diese BOM verwendet wird, finden Sie unter Welche Version von Spring Cloud Azure sollte ich verwenden.

  • Das Spring Cloud Azure Starter-Artefakt:

    <dependency>
   <groupId>com.azure.spring</groupId>
   <artifactId>spring-cloud-azure-starter</artifactId>
</dependency>

Codieren der Anwendung

Führen Sie die folgenden Schritte aus, um Ihre Anwendung so zu konfigurieren, dass Nachrichten mithilfe von Azure Event Hubs erstellt und genutzt werden.

  1. Konfigurieren Sie die Event Hub-Anmeldeinformationen, indem Sie der Datei application.properties die folgenden Eigenschaften hinzufügen.

    spring.cloud.stream.kafka.binder.brokers=${AZ_EVENTHUBS_NAMESPACE_NAME}.servicebus.windows.net:9093
spring.cloud.function.definition=consume;supply
spring.cloud.stream.bindings.consume-in-0.destination=${AZ_EVENTHUB_NAME}
spring.cloud.stream.bindings.consume-in-0.group=$Default
spring.cloud.stream.bindings.supply-out-0.destination=${AZ_EVENTHUB_NAME}

    Tipp

    Wenn Sie Version spring-cloud-azure-dependencies:4.3.0 verwenden, sollten Sie die Eigenschaft spring.cloud.stream.binders.<kafka-binder-name>.environment.spring.main.sources mit dem Wert com.azure.spring.cloud.autoconfigure.kafka.AzureKafkaSpringCloudStreamConfiguration hinzufügen.

    Da 4.4.0diese Eigenschaft automatisch hinzugefügt wird, müssen Sie sie nicht manuell hinzufügen.

    In der folgenden Tabelle werden die Felder der Konfiguration beschrieben:

    Feld Beschreibung
    spring.cloud.stream.kafka.binder.brokers Gibt den Azure Event Hubs-Endpunkt an.
    spring.cloud.stream.bindings.consume-in-0.destination Gibt den Ziel-Event-Hub für die Eingabe an, der in diesem Tutorial der Hub ist, den Sie zuvor erstellt haben.
    spring.cloud.stream.bindings.consume-in-0.group Gibt eine Consumergruppe von Azure Event Hubs an, die Sie auf $Default festlegen können, um die grundlegende Consumergruppe zu verwenden, die beim Erstellen Ihrer Azure Event Hubs-Instanz erstellt wurde.
    spring.cloud.stream.bindings.supply-out-0.destination Gibt den Ziel-Ereignis-Hub an, der in diesem Tutorial derselbe ist wie der Ziel-Eingang.

    Hinweis

    Achten Sie beim Aktivieren der automatischen Themenerstellung darauf, dass Sie das Konfigurationselement spring.cloud.stream.kafka.binder.replicationFactor hinzufügen und der Wert dafür mindestens auf 1 festgelegt ist. Weitere Informationen finden Sie im Referenzhandbuch zum Spring Cloud Stream Kafka Binder.

  2. Bearbeiten Sie die Startklassendatei, um den folgenden Inhalt anzuzeigen.

    import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.CommandLineRunner;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.context.annotation.Bean;
import org.springframework.messaging.Message;
import org.springframework.messaging.support.GenericMessage;
import reactor.core.publisher.Flux;
import reactor.core.publisher.Sinks;
import java.util.function.Consumer;
import java.util.function.Supplier;

@SpringBootApplication
public class EventHubKafkaBinderApplication implements CommandLineRunner {

    private static final Logger LOGGER = LoggerFactory.getLogger(EventHubKafkaBinderApplication.class);

    private static final Sinks.Many<Message<String>> many = Sinks.many().unicast().onBackpressureBuffer();

    public static void main(String[] args) {
        SpringApplication.run(EventHubKafkaBinderApplication.class, args);
    }

    @Bean
    public Supplier<Flux<Message<String>>> supply() {
        return ()->many.asFlux()
                       .doOnNext(m->LOGGER.info("Manually sending message {}", m))
                       .doOnError(t->LOGGER.error("Error encountered", t));
    }

    @Bean
    public Consumer<Message<String>> consume() {
        return message->LOGGER.info("New message received: '{}'", message.getPayload());
    }

    @Override
    public void run(String... args) {
        many.emitNext(new GenericMessage<>("Hello World"), Sinks.EmitFailureHandler.FAIL_FAST);
    }

}

    Tipp

    In diesem Lernprogramm gibt es keine Authentifizierungsvorgänge in den Konfigurationen oder im Code. Für die Verbindung mit dem Azure-Diensten ist jedoch eine Authentifizierung erforderlich. Um die Authentifizierung abzuschließen, müssen Sie Azure Identity verwenden. Spring Cloud Azure verwendet DefaultAzureCredential, was die Azure Identity-Bibliothek bereitstellt, um Sie beim Abrufen von Anmeldeinformationen ohne Codeänderungen zu unterstützen.

    „DefaultAzureCredential“ unterstützt mehrere Authentifizierungsmethoden und bestimmt, welche Methode zur Laufzeit verwendet wird. Mit diesem Ansatz kann Ihre Anwendung verschiedene Authentifizierungsmethoden in unterschiedlichen Umgebungen verwenden (z. B. in lokalen oder Produktionsumgebungen), ohne dass umgebungsspezifischer Code implementiert werden muss. Weitere Informationen finden Sie unter DefaultAzureCredential.

    Um die Authentifizierung in lokalen Entwicklungsumgebungen abzuschließen, können Sie Azure CLI, Visual Studio Code, PowerShell oder andere Methoden verwenden. Weitere Informationen finden Sie unter Azure-Authentifizierung in Java-Entwicklungsumgebungen. Um die Authentifizierung in Azure-Hostingumgebungen abzuschließen, empfehlen wir die Verwendung einer benutzerzugewiesenen verwalteten Identität. Weitere Informationen finden Sie unter Was sind verwaltete Identitäten für Azure-Ressourcen?.

  3. Starten Sie die Anwendung. Nachrichten wie das folgende Beispiel werden in Ihrem Anwendungsprotokoll gepostet:

    Kafka version: 3.0.1
Kafka commitId: 62abe01bee039651
Kafka startTimeMs: 1622616433956
New message received: 'Hello World'

Bereitstellen in Azure Spring Apps

Nachdem Sie nun die Spring Boot-Anwendung lokal ausgeführt haben, ist es an der Zeit, sie in die Produktion zu verschieben. Mit Azure Spring Apps lassen sich Spring Boot-Anwendungen ganz einfach und ohne Codeänderungen in Azure bereitstellen. Der Dienst verwaltet die Infrastruktur von Spring-Anwendungen und ermöglicht es Entwicklern dadurch, sich auf ihren Code zu konzentrieren. Azure Spring Apps bietet eine Lebenszyklusverwaltung mit umfassender Überwachung und Diagnose, Konfigurationsverwaltung, Dienstermittlung, CI/CD-Integration, Blau/Grün-Bereitstellungen und mehr. Informationen zum Bereitstellen Ihrer Anwendung in Azure Spring Apps finden Sie unter Bereitstellen Ihrer ersten Anwendung in Azure Spring Apps.

Nächste Schritte

Azure für Spring EntwicklerBeispiele für Spring Cloud Azure Stream Binder Event Hubs Kafka