Aracılığıyla paylaş

Apache Kafka iş yüklerini Azure HDInsight 4.0'a geçirme

Azure HDInsight 4.0 performans, bağlantı ve güvenlik açısından önemli geliştirmelerle en son açık kaynak bileşenlerini sunar. Bu belgede, HDInsight 3.6'da Apache Kafka iş yüklerinin HDInsight 4.0'a nasıl geçirilme adımları açıklanmaktadır. İş yüklerinizi HDInsight 4.0'a geçirdikten sonra, HDInsight 3.6'da bulunmayan yeni özelliklerin çoğunu kullanabilirsiniz.

HDInsight 3.6 Kafka geçiş yolları

HDInsight 3.6, Kafka'nın iki sürümünü destekler: 1.0.0 ve 1.1.0. HDInsight 4.0, 1.1.0 ve 2.1.0 sürümlerini destekler. Kafka'nın hangi sürümünü ve hangi HDInsight sürümünü çalıştırmak istediğinize bağlı olarak, desteklenen birden çok geçiş yolu vardır. Bu yollar aşağıda açıklanmıştır ve aşağıdaki diyagramda gösterilmiştir.

  • Hem Kafka hem de HDInsight'ı en son sürümlerde çalıştırın (önerilir):Bir HDInsight 3.6 ve Kafka 1.0.0 veya 1.1.0 uygulamasını Kafka 2.1.0 ile HDInsight 4.0'a geçirin (aşağıdaki D ve E yolları).
  • HDInsight'ı en son sürümde, Kafka'yı ise yalnızca daha yeni bir sürümde çalıştırın: HDInsight 3.6 ve Kafka 1.0.0 uygulamalarını Kafka 1.1.0 ile HDInsight 4.0'a geçirin (aşağıdaki B yolu).
  • HDInsight'ı en son sürümde çalıştırın, Kafka sürümünü koruyun: HDInsight 3.6 ve Kafka 1.1.0 uygulamalarını Kafka 1.1.0 ile HDInsight 4.0'a geçirin (aşağıdaki C yolu).
  • Kafka'yı daha yeni bir sürümde çalıştırın, HDInsight sürümünü koruyun: Kafka 1.0.0 uygulamasını 1.1.0'a geçirin ve HDInsight 3.6'da kalın (aşağıdaki A yolu). Bu seçeneğin yine de yeni bir küme dağıtılması gerekeceğini unutmayın. Mevcut bir kümede Kafka sürümünün yükseltilmesi desteklenmez. İstediğiniz sürüme sahip bir küme oluşturduktan sonra Kafka istemcilerinizi yeni kümeyi kullanacak şekilde geçirin.

Apache Kafka'nın yollarını 3.6'da yükseltin.

Apache Kafka sürümleri

Kafka 1.1.0

Kafka 1.0.0'dan 1.1.0'a geçiş yaparsanız aşağıdaki yeni özelliklerden yararlanabilirsiniz:

  • Kafka denetleyicisinde yapılan iyileştirmeler denetimli kapatmayı hızlandırır, böylece aracıları yeniden başlatabilir ve sorunlardan daha hızlı kurtarabilirsiniz.
  • Kümede daha fazla bölüme (ve dolayısıyla daha fazla konuya) sahip olmanıza olanak tanıyan FetchRequests mantığındaki geliştirmeler.
  • Kafka Connect, konular için kayıt üst bilgilerini ve normal ifadeleri destekler.

Güncelleştirmelerin tam listesi için bkz. Apache Kafka 1.1 sürüm notları.

Apache Kafka 2.1.0

Kafka 2.1'e geçiş yaparsanız aşağıdaki özelliklerden yararlanabilirsiniz:

  • Geliştirilmiş bir çoğaltma protokolü nedeniyle geliştirilmiş komisyoncu dayanıklılığı.
  • KafkaAdminClient API'sindeki yeni işlevsellik.
  • Yapılandırılabilir kota yönetimi.
  • Zstandard sıkıştırma desteği.

Güncelleştirmelerin tam listesi için bkz. Apache Kafka 2.0 sürüm notları ve Apache Kafka 2.1 sürüm notları.

Kafka istemci uyumluluğu

Yeni Kafka aracıları eski istemcileri destekler. KIP-35 - Protokol sürümünün alınması, bir Kafka aracısının işlevselliğini dinamik olarak belirlemek için bir mekanizma sundu ve KIP-97: Geliştirilmiş Kafka İstemcisi RPC Uyumluluk İlkesi, Java istemcisi için yeni bir uyumluluk politikası ve garanti sundu. Daha önce, Kafka istemcisinin aynı sürümdeki veya daha yeni bir sürümdeki bir aracıyla çalışmak zorundaydı. Artık Java istemcilerinin ve KIP-35'i destekleyen librdkafka gibi diğer istemcilerin daha yeni sürümleri, işlevselliğin mevcut olmadığı durumlarda eski istek türlerine dönebilir veya uygun hatalar üretebilir.

Kafka istemci uyumluluğunu yükseltin.

Dikkat edin ki istemcinin önceki aracıları desteklediği anlamına gelmez. Daha fazla bilgi için bkz . Uyumluluk Matrisi.

Genel geçiş işlemi

Aşağıdaki geçiş kılavuzunda, tek bir sanal ağda HDInsight 3.6 üzerinde dağıtılan bir Apache Kafka 1.0.0 veya 1.1.0 kümesi varsayılır. Mevcut aracı bazı konulara sahiptir ve üreticiler ve tüketiciler tarafından etkin bir şekilde kullanılmaktadır.

Mevcut Kafka varsayılan ortamı.

Geçişi tamamlamak için aşağıdaki adımları uygulayın:

  1. Test için yeni bir HDInsight 4.0 kümesi ve istemcileri dağıtın. Yeni bir HDInsight 4.0 Kafka kümesi dağıtın. Birden çok Kafka kümesi sürümü seçilebilirse en son sürümü seçmeniz önerilir. Dağıtımdan sonra, bazı parametreleri gerektiği gibi ayarlayın ve mevcut ortamınızla aynı ada sahip bir konu oluşturun. Ayrıca TLS ve kendi anahtarını getir (BYOK) şifrelemesini gerektiği gibi ayarlayın. Ardından yeni kümede düzgün çalışıp çalışmadığını denetleyin.

    Yeni HDInsight 4.0 kümelerini dağıtın.

  2. Üretici uygulaması için kümeyi değiştirin ve mevcut tüketicilerin bütün kuyruk verilerini tüketmesini bekleyin. Yeni HDInsight 4.0 Kafka kümesi hazır olduğunda, mevcut üretici hedefini yeni kümeye geçirin. Mevcut Tüketici uygulaması mevcut kümedeki tüm verileri tüketene kadar olduğu gibi bırakın.

    Üretici uygulaması için kümeyi değiştirme.

  3. Tüketici uygulamasında kümeyi değiştirin. Mevcut tüketici uygulamasının mevcut kümedeki tüm verileri tüketmeyi tamamladığını onayladıktan sonra bağlantıyı yeni kümeye geçirin.

    Tüketici uygulamasında kümeyi değiştirme.

  4. Eski kümeyi kaldırın ve gerektiğinde uygulamaları test edin. Geçiş tamamlandıktan ve düzgün çalışmaya başladığında, testte kullanılan üreticiler ve tüketiciler dahil olmak üzere, gerekirse eski HDInsight 3.6 Kafka kümesini kaldırın.

Sonraki adımlar

  • Last updated on