Skapa ett HDInsight-kluster som använder Tillgänglighetszoner

Ett Azure HDInsight-kluster består av flera noder (huvudnoder, arbetsnoder, gatewaynoder och zookeeper-noder). I en region som stöder Tillgänglighetszoner har användaren som standard ingen kontroll över vilka klusternoder som etableras i vilken tillgänglighetszon.

Med den här nya funktionen för tillgänglighetszoner kan användaren nu ange vilken tillgänglighetszon som ska vara värd för alla noder i HDInsight-klustret. Klusternoderna är fysiskt åtskilda från en annan tillgänglighetszon och är isolerade från fel i andra Tillgänglighetszoner i samma region. Den här distributionsmodellen ger också billig nätverksanslutning med låg svarstid i klustret.

Att replikera den här distributionsmodellen till flera Tillgänglighetszoner kan ge en högre tillgänglighetsnivå för att skydda mot maskinvarufel.

Den här artikeln visar hur du skapar ett HDInsight-kluster i en tillgänglighetszon och hur du använder den här funktionen för att uppnå högre tillgänglighet.

Innan du börjar

Funktionen Tillgänglighetszon stöds endast för kluster som skapats efter den 15 juni. Inställningar för tillgänglighetszoner kan inte uppdateras när klustret har skapats. Du kan inte heller uppdatera ett befintligt, icke-tillgänglighetszonkluster för att använda tillgänglighetszoner.

Krav och regiontillgänglighet

Förutsättningar:

• Kluster måste skapas under ett anpassat virtuellt nätverk.
• Du måste ta med din egen SQL DB för Ambari DB och externt metaarkiv (till exempel Hive-metaarkiv) så att du kan konfigurera dessa DATABASER i samma tillgänglighetszon.

HDInsight-kluster kan för närvarande skapas med hjälp av tillgänglighetszoner i följande regioner:

• Australien, östra
• Brasilien, södra
• Kanada, centrala
• Central US
• East US
• USA, östra 2
• Frankrike, centrala
• Tyskland, västra centrala
• Japan, östra
• Sydkorea, centrala
• Europa, norra
• Sydostasien
• USA, södra centrala
• Södra Storbritannien
• US Gov, Virginia
• Västeuropa
• Västra USA 2

Översikt över tillgänglighetszoner för HDInsight-kluster

Tillgänglighetszoner är unika fysiska platser i en region. Varje zon utgörs av ett eller flera datacenter som är utrustade med oberoende kraft, kylning och nätverk. I Azure innehåller en region en eller flera Tillgänglighetszoner. Den här fysiska uppdelningen av tillgänglighetszoner i en region skyddar program och data från datacenterfel. Mer information finns i Vad är tillgänglighetszoner i Azure.

Azure HDInsight-kluster kan konfigureras för distribution inom en tillgänglighetszon. Alla noder i det här HDInsight-klustret, inklusive de två huvudnoderna, tre zookeeper-noder, två gatewaynoder och arbetsnoderna placeras i den angivna tillgänglighetszonen. Det finns till exempel tre tillgänglighetszoner i USA, östra. Ett HDInsight-kluster i USA, östra kan skapas med alla noder i tillgänglighetszon 1.

Användning av tillgänglighetszoner med HDInsight-kluster på det här sättet kan ge både prestanda- och kostnadsfördelar:

• Bättre prestanda på grund av nätverksanslutning med låg svarstid
• Lägre kostnad: Dataöverföring inom samma tillgänglighetszon är kostnadsfri. Dataöverföring i tillgänglighetszonen medför ytterligare nätverkskostnader.

Om programmet kräver hög tillgänglighet i flera tillgänglighetszoner kan du skapa ett primärt HDInsight-kluster i en tillgänglighetszon och skapa ett sekundärt HDInsight-kluster i en annan tillgänglighetszon med minsta storlek för att spara kostnader. Med den här designen påverkas inte hdInsight-klustret om någon av de andra tillgänglighetszonerna slutar fungera. Om den här tillgänglighetszonen slutar fungera måste kunderna växla de sekundära klustren i en annan tillgänglighetszon till den primära, dirigera arbetsbelastningen till det nya primära klustret och snabbt skala upp klusterstorleken för att hämta databehandlingen.

Skapa ett HDInsight-kluster med hjälp av tillgänglighetszonen

Du kan använda EN ARM-mall (Azure Resource Manager) för att starta ett HDInsight-kluster i en angiven tillgänglighetszon.

I avsnittet Resurser måste du lägga till ett avsnitt av "zoner" och ange vilken tillgänglighetszon som du vill att klustret ska distribueras till.

   "resources": [
        {
            "type": "Microsoft.HDInsight/clusters",
            "apiVersion": "2021-06-01",
            "name": "[parameters('cluster name')]",
            "location": "East US 2",
            "zones": [
                "1"
            ],

Verifiera noder i en tillgänglighetszon mellan zoner

När HDInsight-klustret är klart kan du kontrollera platsen för att se vilken tillgänglighetszon de distribueras i.

Hämta API-svar:

 [
        {
            "location": "East US 2",
            "zones": [
                "1"
            ],

Skala upp klustret

Du kan skala upp ett HDInsight-kluster med fler arbetsnoder. De nyligen tillagda arbetsnoderna placeras i samma tillgänglighetszon i det här klustret.

Bästa praxis

• Säkerhetskopiera regelbundet konfigurationerna i Ambari DB.
• Implementera logik för att enkelt dirigera arbetsbelastningen till ett sekundärt kluster.

När AZ går ner, vad du kan förvänta dig

• Du kan inte ssh till det här klustret
• Du kan inte ta bort eller skala upp eller skala ned det här klustret
• Du kan inte skicka jobb eller se jobbhistorik
• Du kan fortfarande skicka en begäran om att skapa ett nytt kluster i en annan region