Sdílet prostřednictvím

Migrace úloh Apache Kafka do služby Azure HDInsight 4.0

  • Článek

Azure HDInsight 4.0 nabízí nejnovější opensourcové komponenty s významnými vylepšeními v oblasti výkonu, možností připojení a zabezpečení. Tento dokument vysvětluje, jak migrovat úlohy Apache Kafka ve službě HDInsight 3.6 do HDInsight 4.0. Po migraci úloh do HDInsight 4.0 můžete použít řadu nových funkcí, které nejsou dostupné ve službě HDInsight 3.6.

Cesty migrace Kafka pro HDInsight 3.6

HDInsight 3.6 podporuje dvě verze Kafka: 1.0.0 a 1.1.0. HDInsight 4.0 podporuje verze 1.1.0 a 2.1.0. V závislosti na tom, jakou verzi Kafka a kterou verzi SLUŽBY HDInsight chcete spustit, existuje několik podporovaných cest migrace. Tyto cesty jsou vysvětleny níže a znázorněny v následujícím diagramu.

  • Spusťte Kafka i HDInsight v nejnovějších verzích (doporučeno):: Migrace aplikace HDInsight 3.6 a Kafka 1.0.0 nebo 1.1.0 do HDInsight 4.0 se systémem Kafka 2.1.0 (cesty D a E níže).
  • Spusťte HDInsight v nejnovější verzi, ale Kafka pouze na novější verzi: Migrujte aplikaci HDInsight 3.6 a Kafka 1.0.0 do HDInsight 4.0 s Kafka 1.1.0 (cesta B níže).
  • Spusťte HDInsight v nejnovější verzi a zachovejte si verzi Kafka: Migrujte aplikaci HDInsight 3.6 a Kafka 1.1.0 do HDInsight 4.0 se systémem Kafka 1.1.0 (cesta C níže).
  • Spusťte Kafka v novější verzi a zachovejte si verzi HDInsight: Migrujte aplikaci Kafka 1.0.0 na verzi 1.1.0 a zůstaňte v HDInsight 3.6 (cesta A níže). Upozorňujeme, že tato možnost bude i nadále vyžadovat nasazení nového clusteru. Upgrade verze Kafka v existujícím clusteru se nepodporuje. Po vytvoření clusteru s požadovanou verzí migrujte klienty Kafka, aby používali nový cluster.

Upgrade paths for Apache Kafka on 3.6.

Verze Apache Kafka

Kafka 1.1.0

Pokud migrujete ze systému Kafka 1.0.0 na verzi 1.1.0, můžete využít následující nové funkce:

  • Vylepšení kontroleru Kafka urychlí řízené vypnutí, abyste mohli zprostředkovatele restartovat a rychleji se zotavit z problémů.
  • Vylepšení logiky FetchRequests, která umožňují mít v clusteru více oddílů (a proto více témat).
  • Kafka Připojení podporuje hlavičky záznamů a regulární výrazy pro témata.

Úplný seznam aktualizací najdete v poznámkách k verzi Apache Kafka 1.1.

Apache Kafka 2.1.0

Pokud migrujete na Kafka 2.1, můžete využít následující funkce:

  • Lepší odolnost zprostředkovatele kvůli vylepšenému protokolu replikace.
  • Nové funkce v rozhraní Kafka Správa Client API
  • Konfigurovatelná správa kvót
  • Podpora komprese Zstandard.

Úplný seznam aktualizací najdete v poznámkách k verzi Apache Kafka 2.0 a poznámky k verzi Apache Kafka 2.1.

Kompatibilita klientů Kafka

Noví zprostředkovatelé Kafka podporují starší klienty. KIP-35 – Načítání verze protokolu zavedla mechanismus pro dynamické určování funkčnosti zprostředkovatele Kafka a KIP-97: Vylepšené zásady kompatibility rpc klienta Kafka zavedly nové zásady kompatibility a záruky pro klienta Java. Dříve musel klient Kafka pracovat s zprostředkovatelem stejné verze nebo novější verzí. Novější verze klientů Java a dalších klientů podporujících KIP-35, jako librdkafka je například návrat ke starším typům požadavků nebo vyvolání vhodných chyb v případě, že funkce nejsou k dispozici.

Upgrade Kafka client compatibility.

Upozorňujeme, že to neznamená, že klient podporuje starší zprostředkovatele. Další informace naleznete v tématu Matice kompatibility.

Obecný proces migrace

Následující pokyny k migraci předpokládají, že cluster Apache Kafka 1.0.0 nebo 1.1.0 nasazený v HDInsight 3.6 v jedné virtuální síti. Stávající zprostředkovatel má některá témata a aktivně ji používají producenti a spotřebitelé.

Current Kafka presumed environment.

Migraci dokončíte provedením následujících kroků:

  1. Nasaďte nový cluster HDInsight 4.0 a klienty pro testování. Nasaďte nový cluster HDInsight 4.0 Kafka. Pokud je možné vybrat více verzí clusteru Kafka, doporučujeme vybrat nejnovější verzi. Po nasazení nastavte některé parametry podle potřeby a vytvořte téma se stejným názvem jako vaše stávající prostředí. Podle potřeby také nastavte šifrování TLS a přineste si vlastní klíč (BYOK). Pak zkontrolujte, jestli funguje správně s novým clusterem.

    Deploy new HDInsight 4.0 clusters.

  2. Přepněte cluster pro aplikaci producenta a počkejte, až aktuální příjemci spotřebovávají všechna data fronty. Až bude nový cluster HDInsight 4.0 Kafka připravený, přepněte existující cíl producenta na nový cluster. Ponechte ji tak dlouho, dokud existující aplikace příjemce nespotřebovala všechna data z existujícího clusteru.

    Switch cluster for producer app.

  3. Přepněte cluster v aplikaci příjemce. Po potvrzení, že existující aplikace příjemce dokončila využívání všech dat z existujícího clusteru, přepněte připojení k novému clusteru.

    Switch cluster on consumer app.

  4. Podle potřeby odeberte starý cluster a otestujte aplikace. Po dokončení a správném fungování přepínače odeberte starý cluster HDInsight 3.6 Kafka a producenty a uživatele použité v testu podle potřeby.

Další kroky