Udostępnij przez

Przewodnik dla deweloperów platformy Apache Kafka dotyczący usługi Azure Event Hubs

Ten przewodnik ułatwia deweloperom platformy Kafka tworzenie i migrowanie aplikacji do usługi Azure Event Hubs. Niezależnie od tego, czy łączysz istniejącą aplikację Kafka, czy budujesz nowe rozwiązanie do przesyłania strumieniowego, znajdziesz Quickstarts, samouczki i wzorce integracji zorganizowane według etapu Twojej ścieżki rozwoju.

Wymagania wstępne

Przed rozpoczęciem tworzenia upewnij się, że masz:

  • Przestrzeń nazw usługi Azure Event Hubs z włączoną obsługą Kafka (poziom Standardowy lub wyższy)
  • Zainstalowano preferowaną bibliotekę klienta platformy Kafka
  • Parametry połączenia lub poświadczenia Microsoft Entra do uwierzytelniania

Aby zapoznać się z omówieniem sposobu działania usługi Event Hubs z platformą Kafka, zobacz Event Hubs for Apache Kafka (Usługa Event Hubs dla platformy Apache Kafka).

Rozpocznij w 5 minut

Najszybszym sposobem nawiązywania połączenia z usługą Event Hubs jest zmodyfikowanie istniejącej konfiguracji klienta platformy Kafka. Brak wymaganych zmian kodu — wystarczy zaktualizować ustawienia połączenia.

Szybki start: przesyłanie strumieniowe danych z Event Hubs przy użyciu protokołu Kafka przeprowadzi Cię przez łączenie producentów i konsumentów, wystarczy zmienić konfigurację.

Przewodniki szybkiego startu dostosowane do języka

Wybierz swój język, aby uzyskać działający przykład producenta i konsumenta:

Język Przykład Biblioteka kliencka
Java Szybki start Klient Apache Kafka
C# / .NET Szybki start Klient Confluent .NET
Python Szybki start Klient platformy Confluent w języku Python
Node.js Szybki start node-rdkafka
Przejdź Szybki start Klient Go dla Confluent
Go (Sarama) Szybki start Klient Sarama

Narzędzia wiersza polecenia

Do testowania i debugowania użyj następujących narzędzi interfejsu wiersza polecenia:

Tool Przykład Przypadek użycia
Interfejs wiersza polecenia platformy Kafka Szybki start Dołączone do dystrybucji Apache Kafka
kcat Szybki start Lekki, szybki CLI oparty na librdkafka

Tworzenie potoków streamingowych

Po połączeniu aplikacji możesz tworzyć bardziej zaawansowane strumieniowe potoki przetwarzania. W tej sekcji omówiono integracje z popularnymi platformami przetwarzania strumieniowego i narzędziami do integracji danych.

Struktury przetwarzania strumieniowego

Łączenie aplikacji przetwarzania strumieniowego z usługą Event Hubs:

Framework Samouczek opis
Apache Spark Tutorial Przesyłanie strumieniowe w czasie rzeczywistym za pomocą strukturalnego przesyłania strumieniowego Spark.
Apache Flink Tutorial Przetwarzanie strumienia stanowego z semantyką exactly-once
Akka Streams Tutorial Reaktywne przetwarzanie strumieni dla języków Scala i Java
Azure Stream Analytics Tutorial Przetwarzanie strumienia bez kodu przy użyciu zapytań przypominających język SQL
Spring Cloud Stream Tutorial Integracja Spring Boot przy użyciu wiązania Kafka

Integracja danych z platformą Kafka Connect

Platforma Kafka Connect umożliwia przesyłanie strumieniowe danych między usługą Event Hubs i systemami zewnętrznymi przy użyciu wstępnie utworzonych łączników:

Resource opis
Integracja z platformą Kafka Connect Wdrażanie i konfigurowanie programu Kafka Connect za pomocą usługi Event Hubs
Samouczek platformy Kafka Connect (GitHub) Przykład pełnego użycia z FileStreamSource i FileStreamSink

Agregacja dzienników i możliwość obserwacji

Scentralizuj dzienniki z infrastruktury w Event Hubs.

Tool Samouczek opis
Usługa Logstash Tutorial Potok logów Elastic Stack
Plikbeat Tutorial Lekki przesyłacz logów
Fluentd Tutorial Ujednolicona warstwa rejestrowania
Apache NiFi Tutorial Wizualne zarządzanie przepływem danych

Migrowanie istniejących obciążeń platformy Kafka

W przypadku migracji z istniejącego klastra platformy Kafka usługa Event Hubs obsługuje scenariusze replikacji i hybrydowe.

Replikowanie danych za pomocą narzędzia MirrorMaker

Użyj narzędzia Kafka MirrorMaker, aby replikować dane z istniejącego klastra Platformy Kafka do usługi Event Hubs:

Resource opis
Odwzorowanie brokera platformy Kafka do usługi Event Hubs Przewodnik krok po kroku dotyczący konfiguracji programu MirrorMaker
Poradnik MirrorMaker (GitHub) Przykładowe konfiguracje i skrypty

Planowanie migracji

Aby uzyskać kompletny przewodnik migracji, w tym mapowanie konfiguracji i różnice funkcji, zobacz Przewodnik po migracji platformy Apache Kafka dla usługi Event Hubs.

Scenariusze zaawansowane

Zarządzanie schematami

Zarządzanie schematami dla aplikacji platformy Kafka:

Resource opis
Rejestr schematów platformy Azure Natywny rejestr schematów wbudowany w usługę Event Hubs
Integracja rejestru schematów platformy Confluent Używanie rejestru schematów Confluent z usługą Event Hubs

Uwierzytelnianie przy użyciu protokołu OAuth/identyfikatora entra firmy Microsoft

W przypadku obciążeń produkcyjnych użyj identyfikatora Entra firmy Microsoft zamiast parametrów połączenia:

Resource opis
Samouczek OAuth (GitHub) Przykłady języka Java i Go na potrzeby uwierzytelniania OAuth

Współdziałanie protokołu

Usługa Event Hubs obsługuje wiele protokołów. Dowiedz się, jak wymieniać zdarzenia między klientami platformy Kafka i serwerem AMQP:

Resource opis
Samouczek międzyoperacyjny (GitHub) Wymiana zdarzeń między różnymi protokołami

Dokumentacja konfiguracji

Aby uzyskać zalecane konfiguracje klienta platformy Kafka podczas korzystania z usługi Event Hubs, zobacz Konfiguracje klienta platformy Apache Kafka. Ten przewodnik obejmuje:

  • Wymagane ustawienia połączenia
  • Konfiguracje różniące się od domyślnych platformy Kafka
  • Ograniczenia specyficzne dla usługi Event Hubs
  • Rozwiązywanie typowych problemów z konfiguracją

Uzyskaj pomoc

  • Last updated on