Apache Kafka iş yüklerini Azure HDInsight 4.0'a geçirme

Makale
06/15/2024

Azure HDInsight 4.0 performans, bağlantı ve güvenlik alanlarında önemli iyileştirmelerle en son açık kaynak bileşenlerini sunar. Bu belgede, HDInsight 3.6'da Apache Kafka iş yüklerinin HDInsight 4.0'a nasıl geçirilme adımları açıklanmaktadır. İş yüklerinizi HDInsight 4.0'a geçirdikten sonra, HDInsight 3.6'da bulunmayan yeni özelliklerin çoğunu kullanabilirsiniz.

HDInsight 3.6 Kafka geçiş yolları

HDInsight 3.6, Kafka'nın iki sürümünü destekler: 1.0.0 ve 1.1.0. HDInsight 4.0, 1.1.0 ve 2.1.0 sürümlerini destekler. Kafka'nın hangi sürümünü ve hangi HDInsight sürümünü çalıştırmak istediğinize bağlı olarak, desteklenen birden çok geçiş yolu vardır. Bu yollar aşağıda açıklanmıştır ve aşağıdaki diyagramda gösterilmiştir.

Hem Kafka hem de HDInsight'ı en son sürümlerde çalıştırın (önerilir):Bir HDInsight 3.6 ve Kafka 1.0.0 veya 1.1.0 uygulamasını Kafka 2.1.0 ile HDInsight 4.0'a geçirin (aşağıdaki D ve E yolları).
HDInsight'ı en son sürümde, Kafka'yı ise yalnızca daha yeni bir sürümde çalıştırın: HDInsight 3.6 ve Kafka 1.0.0 uygulamalarını Kafka 1.1.0 ile HDInsight 4.0'a geçirin (aşağıdaki B yolu).
HDInsight'ı en son sürümde çalıştırın, Kafka sürümünü koruyun: HDInsight 3.6 ve Kafka 1.1.0 uygulamalarını Kafka 1.1.0 ile HDInsight 4.0'a geçirin (aşağıdaki C yolu).
Kafka'yı daha yeni bir sürümde çalıştırın, HDInsight sürümünü koruyun: Kafka 1.0.0 uygulamasını 1.1.0'a geçirin ve HDInsight 3.6'da kalın (aşağıdaki A yolu). Bu seçeneğin yine de yeni bir küme dağıtılması gerekeceğini unutmayın. Mevcut bir kümede Kafka sürümünün yükseltilmesi desteklenmez. İstediğiniz sürüme sahip bir küme oluşturduktan sonra Kafka istemcilerinizi yeni kümeyi kullanacak şekilde geçirin.

Upgrade paths for Apache Kafka on 3.6.

Apache Kafka sürümleri

Kafka 1.1.0

Kafka 1.0.0'dan 1.1.0'a geçiş yaparsanız aşağıdaki yeni özelliklerden yararlanabilirsiniz:

Kafka denetleyicisinde yapılan iyileştirmeler denetimli kapatmayı hızlandırır, böylece aracıları yeniden başlatabilir ve sorunlardan daha hızlı kurtarabilirsiniz.
Kümede daha fazla bölüme (ve dolayısıyla daha fazla konuya) sahip olmanıza olanak tanıyan FetchRequests mantığındaki geliştirmeler.
Kafka Bağlan, konular için kayıt üst bilgilerini ve normal ifadeleri destekler.

Güncelleştirmelerin tam listesi için bkz . Apache Kafka 1.1 sürüm notları.

Apache Kafka 2.1.0

Kafka 2.1'e geçiş yaparsanız aşağıdaki özelliklerden yararlanabilirsiniz:

Geliştirilmiş bir çoğaltma protokolü nedeniyle daha iyi aracı dayanıklılığı.
Kafka Yönetici Client API'sindeki yeni işlevler.
Yapılandırılabilir kota yönetimi.
Zstandard sıkıştırma desteği.

Güncelleştirmelerin tam listesi için bkz . Apache Kafka 2.0 sürüm notları ve Apache Kafka 2.1 sürüm notları.

Kafka istemci uyumluluğu

Yeni Kafka aracıları eski istemcileri destekler. KIP-35 - Protokol sürümü alınırken, Kafka aracısı ve KIP-97'nin işlevselliğini dinamik olarak belirlemeye yönelik bir mekanizma kullanıma sunulmuştur: Geliştirilmiş Kafka İstemcisi RPC Uyumluluk İlkesi , Java istemcisi için yeni bir uyumluluk ilkesi ve garantiler sunar. Daha önce, kafka istemcisinin aynı sürümdeki veya daha yeni bir sürümdeki bir aracıyla etkileşime geçmek zorunda kaldı. Artık Java istemcilerinin ve KIP-35'i librdkafka destekleyen diğer istemcilerin daha yeni sürümleri eski istek türlerine geri dönebilir veya işlevsellik yoksa uygun hatalar oluşturabilir.

Upgrade Kafka client compatibility.

İstemcinin eski aracıları desteklediği anlamına gelmez. Daha fazla bilgi için bkz . Uyumluluk Matrisi.

Genel geçiş işlemi

Aşağıdaki geçiş kılavuzunda, tek bir sanal ağda HDInsight 3.6 üzerinde dağıtılan bir Apache Kafka 1.0.0 veya 1.1.0 kümesi varsayılır. Mevcut aracı bazı konulara sahiptir ve üreticiler ve tüketiciler tarafından etkin bir şekilde kullanılmaktadır.

Current Kafka presumed environment.

Geçişi tamamlamak için aşağıdaki adımları uygulayın:

Test için yeni bir HDInsight 4.0 kümesi ve istemcileri dağıtın. Yeni bir HDInsight 4.0 Kafka kümesi dağıtın. Birden çok Kafka kümesi sürümü seçilebilirse en son sürümü seçmeniz önerilir. Dağıtımdan sonra, bazı parametreleri gerektiği gibi ayarlayın ve mevcut ortamınızla aynı ada sahip bir konu oluşturun. Ayrıca TLS ve kendi anahtarını getir (BYOK) şifrelemesini gerektiği gibi ayarlayın. Ardından yeni kümede düzgün çalışıp çalışmadığını denetleyin.
Üretici uygulaması için kümeyi değiştirin ve tüm kuyruk verilerinin geçerli tüketiciler tarafından tüketilene kadar bekleyin. Yeni HDInsight 4.0 Kafka kümesi hazır olduğunda, mevcut üretici hedefini yeni kümeye geçirin. Mevcut Tüketici uygulaması mevcut kümedeki tüm verileri tüketene kadar olduğu gibi bırakın.
Tüketici uygulamasında kümeyi değiştirin. Mevcut tüketici uygulamasının mevcut kümedeki tüm verileri tüketmeyi tamamladığını onayladıktan sonra bağlantıyı yeni kümeye geçirin.
Eski kümeyi kaldırın ve gerektiğinde uygulamaları test edin. Anahtar tamamlandıktan ve düzgün çalıştığında, eski HDInsight 3.6 Kafka kümesini ve testte kullanılan üreticileri ve tüketicileri gerektiği gibi kaldırın.

Aracılığıyla paylaş