Aracılığıyla paylaş

Azure Event Hubs için Apache Kafka geliştirici kılavuzu

Bu kılavuz, Kafka geliştiricilerinin uygulamaları derlemesine ve Azure Event Hubs'a geçirmesine yardımcı olur. İster mevcut bir Kafka uygulamasını bağlarken ister yeni bir akış çözümü oluştururken geliştirme yolculuğunuza göre düzenlenmiş hızlı başlangıçlar, öğreticiler ve tümleştirme desenleri bulabilirsiniz.

Önkoşullar

Geliştirmeye başlamadan önce şunların olduğundan emin olun:

  • Kafka etkin bir Azure Event Hubs ad alanı (Standart katman veya üzeri)
  • Tercih ettiğiniz Kafka istemci kitaplığı yüklü
  • Kimlik doğrulaması için bağlantı dizesi veya Microsoft Entra kimlik bilgileri

Event Hubs'ın Kafka ile nasıl çalıştığına genel bakış için bkz. Apache Kafka için Event Hubs.

5 adımda kullanmaya başlayın

Event Hubs'a bağlanmanın en hızlı yolu, mevcut Kafka istemci yapılandırmanızı değiştirmektir. Kod değişikliği gerekmez; yalnızca bağlantı ayarlarınızı güncelleştirin.

Hızlı başlangıç: Kafka protokolunu kullanarak Event Hubs ile veri akışı , üreticileri ve tüketicileri yalnızca bir yapılandırma değişikliğiyle bağlama konusunda size yol gösterir.

Dile özgü hızlı başlangıçlar

Çalışan bir üretici ve tüketici örneği almak için dilinizi seçin:

Language Sample Müşteri kütüphanesi
Java Hızlı Başlangıç Apache Kafka istemcisi
C# / .NET Hızlı Başlangıç Confluent .NET istemcisi
Python Hızlı Başlangıç Confluent Python istemcisi
Node.js Hızlı Başlangıç node-rdkafka
Git Hızlı Başlangıç Confluent Go istemcisi
Go (Sarama) Hızlı Başlangıç Sarama istemcisi

Komut satırı araçları

Test ve hata ayıklama için şu CLI araçlarını kullanın:

Tool Sample Kullanım örneği
Kafka CLI Hızlı Başlangıç Apache Kafka paketiyle birlikte
kcat Hızlı Başlangıç Librdkafka tabanlı hafif, hızlı CLI

Akış boru hatları oluşturma

Uygulamanızı bağladıktan sonra daha gelişmiş akış işlem hatları oluşturabilirsiniz. Bu bölüm popüler akış işleme çerçeveleri ve veri tümleştirme araçlarıyla tümleştirmeleri kapsar.

Akış işleme çerçeveleri

Akış işleme uygulamalarınızı Event Hubs'a bağlayın:

Çerçeve Öğretici Açıklama
Apache Spark Kılavuz Spark Yapılandırılmış Akış ile gerçek zamanlı akış
Apache Flink Kılavuz Kesinlikle bir kez semantiği olan durumlu akış işleme
Akka Akarsuları Kılavuz Scala ve Java için reaktif akış işleme
Azure Stream Analytics Kılavuz SQL benzeri sorgularla kod içermeyen akış işleme
Spring Cloud Stream Kılavuz Kafka bağlayıcı kullanarak Spring Boot tümleştirmesi

Kafka Connect ile veri tümleştirmesi

Kafka Connect, önceden oluşturulmuş bağlayıcıları kullanarak Event Hubs ile dış sistemler arasında veri akışı oluşturmanıza olanak tanır:

Resource Açıklama
Kafka Connect tümleştirmesi Event Hubs ile Kafka Connect'i dağıtma ve yapılandırma
Kafka Connect öğreticisi (GitHub) FileStreamSource ve FileStreamSink ile uçtan uca örnek

Günlük toplama ve gözlemlenebilirlik

Altyapınızdaki günlükleri Event Hubs'a merkezileştirin:

Tool Öğretici Açıklama
Logstash Kılavuz Elastik Yığın günlük işlem hattı
Dosya Beat Kılavuz Hafif log gönderici
Fluentd Kılavuz Birleşik günlük katmanı
Apache NiFi Kılavuz Görsel veri akışı yönetimi

Mevcut Kafka iş yüklerini taşıma

Mevcut bir Kafka kümesinden geçiş gerçekleştiriyorsanız, Event Hubs çoğaltma ve karma senaryoları destekler.

MirrorMaker ile verileri çoğaltma

Mevcut bir Kafka kümesindeki verileri Event Hubs'a çoğaltmak için Kafka MirrorMaker'ı kullanın:

Resource Açıklama
Bir Kafka broker'ını Event Hubs'a kopyalama MirrorMaker kurulumu için adım adım kılavuz
MirrorMaker öğreticisi (GitHub) Örnek yapılandırmalar ve betikler

Geçiş planlaması

Yapılandırma eşlemesi ve özellik farklılıkları da dahil olmak üzere eksiksiz bir geçiş kılavuzu için bkz. Event Hubs için Apache Kafka geçiş kılavuzu.

Gelişmiş senaryolar

Şema yönetimi

Kafka uygulamalarınız için şemaları yönetme:

Resource Açıklama
Azure Schema Registry Event Hubs'da yerleşik yerel şema kayıt defteri
Confluent Schema Registry tümleştirmesi Event Hubs ile Confluent Şema Kayıt Defteri'ni kullanma

OAuth / Microsoft Entra Id ile kimlik doğrulaması

Üretim iş yükleri için bağlantı dizeleri yerine Microsoft Entra Id kullanın:

Resource Açıklama
OAuth öğreticisi (GitHub) OAuth kimlik doğrulaması için Java ve Go örnekleri

Protokol birlikte çalışabilirliği

Event Hubs birden çok protokolü destekler. Kafka ve AMQP istemcileri arasında olayları nasıl değiştireceğinizi öğrenin:

Resource Açıklama
Enteroperabilite öğreticisi (GitHub) Farklı protokoller arasında olayları değiştirme

Yapılandırma referansı

Event Hubs kullanırken önerilen Kafka istemci yapılandırmaları için bkz. Apache Kafka istemci yapılandırmaları. Bu kılavuz aşağıdakileri kapsar:

  • Gerekli bağlantı ayarları
  • Kafka varsayılanlarından farklı yapılandırmalar
  • Event Hubs'a özgü kısıtlamalar
  • Yaygın yapılandırma sorunlarını giderme

Yardım alın

  • Last updated on