Hög tillgänglighet för dina data med Apache Kafka på HDInsight
Lär dig hur du konfigurerar partitionsrepliker för Apache Kafka-ämnen för att dra nytta av den underliggande maskinvarurackkonfigurationen. Den här konfigurationen garanterar tillgängligheten för data som lagras i Apache Kafka på HDInsight.
Fel- och uppdateringsdomäner med Apache Kafka
En feldomän är en logisk gruppering av underliggande maskinvara i ett Azure-datacenter. Varje feldomän delar en gemensam strömkälla och nätverksbrytare. De virtuella datorer och hanterade diskar som implementerar noderna i ett HDInsight-kluster är fördelade mellan dessa feldomäner. Den här arkitekturen begränsar de potentiella problemen vid fysiska maskinvarufel.
Varje Azure-region har ett visst antal feldomäner. En lista med domäner och antalet feldomäner de innehåller finns i dokumentationen av tillgänglighetsuppsättningar.
Viktigt!
Kafka har ingen information om feldomäner. När du skapar ett ämne i Kafka kan det lagra alla partitionsrepliker i samma feldomän. HDInsight har verktyget för ombalansering av Kafka-partitioner som lösning på det här problemet.
När ska du balansera om partitionsrepliker
Du får bästa möjliga tillgänglighet för dina Kafka-data om du balanserar om partitionsreplikerna för ditt ämne vid följande tidpunkter:
När du skapar ett nytt ämne eller en ny partition
När du skalar upp ett kluster
Replikeringsfaktor
Viktigt!
Vi rekommenderar att du använder en Azure-region som innehåller tre feldomäner, och använder replikeringsfaktorn 3.
Om du måste använda en region som bara har två feldomäner ska du använda replikeringsfaktorn 4, så att replikerna fördelas jämnt mellan de två feldomänerna.
Ett exempel på hur du skapar ämnen och anger replikeringsfaktorn finns i dokumentet Börja med Apache Kafka i HDInsight .
Så balanserar du om partitionsrepliker
Använd verktyget för ombalansering av Apache Kafka-partitioner för att balansera om valda ämnen. Du måste köra det här verktyget från en SSH-session till huvudnoden för ditt Kafka-kluster.
Mer information om hur du ansluter till HDInsight via SSH finns i dokumentet Use SSH with HDInsight (Använda SSH med HDInsight).