Magas rendelkezésre állású adatok a HDInsightban futó Apache Kafka platformmal
Megtudhatja, hogyan konfigurálhatja az Apache Kafka-témakörök partícióreplikáit a mögöttes hardverállvány-konfiguráció előnyeinek kihasználásához. Ez a konfiguráció biztosítja a HDInsighton az Apache Kafka platformon tárolt adatok rendelkezésre állását.
Hiba- és frissítési tartományok az Apache Kafkával
A tartalék tartomány az alapul szolgáló hardver logikai csoportosítása egy Azure-adatközpontban. Mindegyik tartalék tartomány közös áramforrással és hálózati kapcsolóval rendelkezik. A HDInsight-fürtön belül a csomópontokat implementáló virtuális gépek és felügyelt lemezek ezek között a tartalék tartományok között vannak elosztva. Ez az architektúra csökkenti a fizikai hardverhibák lehetséges hatását.
Mindegyik Azure-régió meghatározott számú tartalék tartománnyal rendelkezik. A tartományok listáját és a bennük található tartalék tartományok számát a Rendelkezésre állási készletek dokumentációjában találja.
Fontos
A Kafka nem kezeli a tartalék tartományokat. Amikor létrehoz egy témakört a Kafkában, az lehet hogy minden partícióreplikát ugyanabban a tartalék tartományban tárol. Ennek a problémának a megoldásához a HDInsight a Kafka partíció-újraegyensúlyozó eszközt biztosítja.
Mikor van szükség a partícióreplikák újraegyensúlyozására?
A Kafka-adatok lehető legmagasabb rendelkezésre állásának biztosításához a következő időpontokban kell újra egyensúlyoznia a partícióreplikákat a témaköréhez:
Új témakör vagy partíció létrehozásakor
Fürt vertikális felskálázásakor
Replikációs tényező
Fontos
Javasoljuk, hogy olyan Azure-régiót használjon, amely három tartalék tartományt tartalmaz, és használjon 3-as replikációs tényezőt.
Ha kénytelen olyan régiót használni, amely csak két tartalék tartomány tartalmaz, használjon 4-es replikációs tényezőt, hogy egyenletesen ossza el a replikákat a két tartalék tartományban.
A témakörök létrehozására és a replikációs tényező beállítására példaként tekintse meg a HDInsighton futó Apache Kafka indítása című dokumentumot.
A partícióreplikák újraegyensúlyozása
A kiválasztott témakörök újraegyensúlyozásához használja az Apache Kafka partíció-újraegyensúlyozási eszközét . Ezt az eszközt egy SSH-munkamenetből kell futtatni a Kafka-fürt főcsomópontjához.
A HDInsight-hoz SSH-val való kapcsolódásról további információért lásd az SSH használata a HDInsighttal dokumentumot.