Vysoká dostupnost dat s využitím Apache Kafka ve službě HDInsight

  • Článek

Zjistěte, jak nakonfigurovat repliky oddílů pro témata Apache Kafka, abyste mohli využít základní konfiguraci hardwarového racku. Tato konfigurace zajišťuje dostupnost dat uložených v Apache Kafka ve službě HDInsight.

Domény selhání a aktualizační domény s využitím Apache Kafka

Doména selhání je logické seskupení základního hardwaru v datovém centru Azure. Všechny domény selhání sdílí společný zdroje napájení a síťový přepínač. Virtuální počítače a spravované disky, které implementují uzly v clusteru služby HDInsight, jsou distribuované napříč těmito doménami selhání. Tato architektura omezuje potenciální dopad selhání fyzického hardwaru.

Každá oblast Azure má určitý počet domén selhání. Seznam domén a počet domén selhání, které obsahují, najdete v dokumentaci Skupiny dostupnosti.

Důležité

Kafka nemá o doménách selhání žádné informace. Když vytvoříte téma v Kafka, může uložit všechny repliky oddílů ve stejné doméně selhání. K vyřešení tohoto problému služba HDInsight poskytuje nástroj pro obnovení rovnováhy oddílů Kafka.

Kdy obnovit rovnováhu replik oddílů

K zajištění nejvyšší dostupnost dat Kafka byste měli obnovit rovnováhu replik oddílů pro vaše téma v těchto situacích:

  • Při vytvoření nového tématu nebo oddílu

  • Při vertikálním navýšení kapacity clusteru

Faktor replikace

Důležité

Doporučujeme použít oblast Azure, která obsahuje tři domény selhání, a použít faktor replikace 3.

Pokud musíte použít oblast, která obsahuje jenom dvě domény selhání, použijte faktor replikace 4, abyste zajistili rovnoměrné rozložení replik napříč těmito dvěma doménami selhání.

Příklad vytváření témat a nastavení faktoru replikace najdete v dokumentu Začínáme s Apache Kafka ve službě HDInsight .

Jak obnovit rovnováhu replik oddílů

K obnovení rovnováhy vybraných témat použijte nástroj pro vyrovnávání oddílů Apache Kafka . Tento nástroj se musí spustit z relace SSH na hlavní uzel clusteru Kafka.

Další informace o připojení ke službě HDInsight pomocí SSH najdete v dokumentu Použití SSH s HDInsightem.

Další kroky