Sdílet prostřednictvím

Příručka pro vývojáře Apache Kafka pro Službu Azure Event Hubs

Tato příručka pomáhá vývojářům Kafka sestavovat a migrovat aplikace do služby Azure Event Hubs. Bez ohledu na to, jestli připojujete existující aplikaci Kafka nebo vytváříte nové řešení streamování, najdete rychlé starty, kurzy a vzory integrace uspořádané na vaší cestě vývoje.

Požadavky

Než začnete vyvíjet, ujistěte se, že máte:

  • Jmenný prostor služby Azure Event Hubs s aktivovanou podporou pro Kafka (úroveň Standard nebo vyšší)
  • Nainstalovaná upřednostňovaná klientská knihovna Kafka
  • Připojovací řetězec nebo přihlašovací údaje Microsoft Entra pro ověřování

Přehled toho, jak služba Event Hubs funguje se systémem Kafka, najdete v tématu Event Hubs pro Apache Kafka.

Začínáme během 5 minut

Nejrychlejší způsob, jak se připojit ke službě Event Hubs, je upravit stávající konfiguraci klienta Kafka. Nevyžaduje se žádné změny kódu – stačí aktualizovat nastavení připojení.

Rychlý start: Streamování dat se službou Event Hubs pomocí protokolu Kafka vás provede propojením producentů a příjemců pouze se změnou konfigurace.

Rychlé starty pro konkrétní jazyk

Zvolte jazyk, ve které chcete získat funkčního producenta a ukázku pro spotřebitele:

Jazyk Sample Klientská knihovna
Java Rychlý start Klient Apache Kafka
C# / .NET Rychlý start Klient Confluent .NET
Python Rychlý start Klient Confluent Python
Node.js Rychlý start node-rdkafka
Přejít Rychlý start Klient Confluent Go
Go (Sarama) Rychlý start Klient Sarama

Nástroje příkazového řádku

K testování a ladění použijte tyto nástroje rozhraní příkazového řádku:

Tool Sample Případ použití
Rozhraní příkazového řádku Kafka Rychlý start Sbalené s distribucí Apache Kafka
kcat Rychlý start Jednoduché a rychlé rozhraní příkazového řádku založené na knihovně librdkafka

Budování streamovacích datových toků

Po připojení aplikace můžete vytvářet sofistikovanější kanály streamování. Tato část popisuje integrace s oblíbenými architekturami zpracování datových proudů a nástroji pro integraci dat.

Architektury zpracování datových proudů

Připojte své aplikace pro zpracování datových proudů ke službě Event Hubs:

.NET Framework Kurz Popis
Apache Spark Tutoriál Streamování v reálném čase se strukturovaným streamováním Sparku
Apache Flink Tutoriál Zpracování stavového datového proudu s přesně jednou sémantikou
Akka Streams Tutoriál Reaktivní zpracování datových proudů pro Scala a Javu
Azure Stream Analytics Tutoriál Zpracování datových proudů bez kódu s využitím dotazů podobných SQL
Spring Cloud Stream Tutoriál Integrace Spring Bootu s využitím binderu Kafka

Integrace dat se systémem Kafka Connect

Služba Kafka Connect umožňuje streamovat data mezi službou Event Hubs a externími systémy pomocí předem připravených konektorů:

Resource Popis
Integrace služby Kafka Connect Nasazení a konfigurace připojení Kafka se službou Event Hubs
Kurz Kafka Connect (GitHub) Kompletní příklad s FileStreamSource a FileStreamSinkem

Agregace protokolů a pozorovatelnost

Centralizace protokolů z vaší infrastruktury do služby Event Hubs:

Tool Kurz Popis
Logstash Tutoriál Elastic Stack potrubí protokolu
Filebeat Tutoriál Odlehčený odesílatel protokolů
FluentD Tutoriál Sjednocená vrstva protokolování
Apache NiFi Tutoriál Vizualizace správy toku dat

Migrace existujících úloh Kafka

Pokud migrujete z existujícího clusteru Kafka, služba Event Hubs podporuje replikaci a hybridní scénáře.

Replikace dat pomocí MirrorMakeru

Pomocí nástroje Kafka MirrorMaker můžete replikovat data z existujícího clusteru Kafka do služby Event Hubs:

Resource Popis
Zrcadlení brokeru Kafka do Event Hubs Podrobný průvodce nastavením MirrorMakeru
Tutoriál MirrorMaker (GitHub) Ukázkové konfigurace a skripty

Plánování migrace

Kompletní průvodce migrací, včetně mapování konfigurace a rozdílů mezi funkcemi, najdete v průvodci migrací Apache Kafka pro službu Event Hubs.

Pokročilé scénáře

Správa schématu

Správa schémat pro aplikace Kafka:

Resource Popis
Azure Schema Registry Registr nativního schématu integrovaný do služby Event Hubs
Integrace registru schématu Confluent Použití registru schématu Confluent se službou Event Hubs

Ověřování pomocí OAuth / Microsoft Entra ID

Pro produkční úlohy místo připojovacích řetězců použijte ID Microsoft Entra:

Resource Popis
Návod OAuth (GitHub) Ukázky Javy a Go pro ověřování OAuth

Interoperabilita protokolů

Event Hubs podporuje více protokolů. Zjistěte, jak vyměňovat události mezi klienty Kafka a AMQP:

Resource Popis
Kurz spolupráce (GitHub) Výměna událostí mezi různými protokoly

Referenční informace ke konfiguraci

Doporučené konfigurace klientů Kafka při používání služby Event Hubs najdete v tématu Konfigurace klienta Apache Kafka. Tento průvodce popisuje:

  • Požadovaná nastavení připojení
  • Konfigurace, které se liší od výchozích hodnot Kafka
  • Omezení specifická pro službu Event Hubs
  • Řešení běžných potíží s konfigurací

Získání pomoci

  • Last updated on