Megosztás a következőn keresztül:

Magas rendelkezésre állású adatok a HDInsightban futó Apache Kafka platformmal

  • Cikk

Megtudhatja, hogyan konfigurálhat partícióreplikákat az Apache Kafka-témakörökhöz a mögöttes hardverállvány-konfiguráció előnyeinek kihasználásához. Ez a konfiguráció biztosítja a HDInsighton az Apache Kafka platformon tárolt adatok rendelkezésre állását.

Tartalék és frissítési tartományok az Apache Kafkával

A tartalék tartomány az alapul szolgáló hardver logikai csoportosítása egy Azure-adatközpontban. Mindegyik tartalék tartomány közös áramforrással és hálózati kapcsolóval rendelkezik. A HDInsight-fürtön belül a csomópontokat implementáló virtuális gépek és felügyelt lemezek ezek között a tartalék tartományok között vannak elosztva. Ez az architektúra csökkenti a fizikai hardverhibák lehetséges hatását.

Mindegyik Azure-régió meghatározott számú tartalék tartománnyal rendelkezik. A tartományok listáját és a bennük található tartalék tartományok számát a Rendelkezésre állási készletek dokumentációjában találja.

Fontos

A Kafka nem kezeli a tartalék tartományokat. Amikor létrehoz egy témakört a Kafkában, az lehet hogy minden partícióreplikát ugyanabban a tartalék tartományban tárol. Ennek a problémának a megoldásához a HDInsight a Kafka partíció-újraegyensúlyozó eszközt biztosítja.

Mikor van szükség a partícióreplikák újraegyensúlyozására?

A Kafka-adatok lehető legmagasabb rendelkezésre állásának biztosításához a következő időpontokban kell újra egyensúlyoznia a partícióreplikákat a témaköréhez:

  • Új témakör vagy partíció létrehozásakor

  • Fürt vertikális felskálázásakor

Replikációs tényező

Fontos

Javasoljuk, hogy olyan Azure-régiót használjon, amely három tartalék tartományt tartalmaz, és használjon 3-as replikációs tényezőt.

Ha kénytelen olyan régiót használni, amely csak két tartalék tartomány tartalmaz, használjon 4-es replikációs tényezőt, hogy egyenletesen ossza el a replikákat a két tartalék tartományban.

A témakörök létrehozására és a replikációs tényező beállítására példaként tekintse meg a Start with Apache Kafka on HDInsight (Indítás az Apache Kafkával a HDInsighton ) című dokumentumot.

A partícióreplikák újraegyensúlyozása

Az Apache Kafka partíció-újraegyensúlyozási eszközével kiegyensúlyozhatja a kiválasztott témaköröket. Ezt az eszközt egy SSH-munkamenetből kell futtatni a Kafka-fürt főcsomópontjához.

A HDInsight-hoz SSH-val való kapcsolódásról további információért lásd az SSH használata a HDInsighttal dokumentumot.

Következő lépések