Replikace dat do sekundárního clusteru

  • 3 min

Kafka se často nasazuje ve více prostředích pro zotavení po havárii, vysokou dostupnost a místní hybridní scénáře. Tyto scénáře vyžadují replikaci dat z jedné instance Kafka do druhé pomocí funkce zrcadlení Apache Kafka. Zrcadlení může být spuštěno jako průběžný proces nebo se přerušovaně používá jako metoda migrace dat z jednoho clusteru do druhého.

Zrcadlení by nemělo být považováno za prostředek pro dosažení odolnosti proti chybám. Posun k položkám v rámci tématu se liší mezi primárním a sekundárním clusterem, takže klienti nemůžou tyto dva zaměnitelně používat.

Jak funguje zrcadlení?

Zrcadlení funguje pomocí nástroje MirrorMaker (součást Apache Kafka) ke zpracování záznamů z témat v primárním clusteru a následné vytvoření místní kopie v sekundárním clusteru. MirrorMaker používá jednoho nebo více příjemců, kteří čtou z primárního clusteru, a producenta, který zapisuje do místního sekundárního clusteru.

Nejužitečnější nastavení zrcadlení pro zotavení po havárii využívá clustery Kafka v různých oblastech Azure. Abyste toho dosáhli, virtuální sítě, ve kterých se nacházejí clustery, jsou vzájemně propojeny.

Následující diagram znázorňuje proces zrcadlení a způsob toku komunikace mezi clustery:

Mirroring Apache Kafka architecture

Primární a sekundární clustery se můžou lišit v počtu uzlů a oddílů a posuny v rámci témat jsou také odlišné. Zrcadlení udržuje hodnotu klíče, která se používá k dělení, takže pořadí záznamů je zachováno na základě klíče.

Zrcadlení přes hranice sítě

Pokud potřebujete zrcadlit mezi clustery Kafka v různých sítích, existují následující další aspekty:

  • Brány: Sítě musí být schopné komunikovat na úrovni PROTOKOLU TCP/IP.
  • Adresování serverů: Můžete se rozhodnout adresovat uzly clusteru pomocí jejich IP adres nebo plně kvalifikovaných názvů domén.
    • IP adresy: Pokud clustery Kafka nakonfigurujete tak, aby používaly inzerci IP adres, můžete pokračovat v nastavení zrcadlení pomocí IP adres zprostředkovaných uzlů a uzlů zookeeper.
    • Názvy domén: Pokud clustery Kafka nenakonfigurujete pro inzerci IP adres, musí se clustery vzájemně připojit pomocí plně kvalifikovaných názvů domén (FQDN). To vyžaduje server DNS (Domain Name System) v každé síti, která je nakonfigurovaná tak, aby předávala požadavky do ostatních sítí. Při vytváření virtuální sítě Azure místo použití automatického DNS poskytovaného se sítí musíte zadat vlastní server DNS a IP adresu serveru. Po vytvoření virtuální sítě musíte vytvořit virtuální počítač Azure, který tuto IP adresu používá, a pak na něj nainstalovat a nakonfigurovat software DNS.

Upozorňující

Před instalací služby HDInsight do virtuální sítě vytvořte a nakonfigurujte vlastní server DNS. Pro HDInsight není nutná žádná další konfigurace, aby používal server DNS nakonfigurovaný pro virtuální síť.