Konfigurera HDInsight-kluster med en anpassad Ambari DB

  • Artikel

Apache Ambari förenklar hanteringen och övervakningen av ett Apache Hadoop-kluster. Ambari tillhandahåller ett enkelt webbgränssnitt och REST API. Ambari ingår i HDInsight-kluster och används för att övervaka klustret och göra konfigurationsändringar.

Vid normalt klusterskapande, enligt beskrivningen i andra artiklar, till exempel Konfigurera kluster i HDInsight, distribueras Ambari i en S0 Azure SQL Database som hanteras av HDInsight och inte är tillgänglig för användare.

Med den anpassade Ambari DB-funktionen kan du distribuera ett nytt kluster och konfigurera Ambari i en extern databas som du hanterar. Distributionen görs med en Azure Resource Manager-mall. Den här funktionen har följande fördelar:

  • Anpassning – du väljer databasens storlek och bearbetningskapacitet. Om du har stora kluster som bearbetar intensiva arbetsbelastningar kan en Ambari-databas med lägre specifikationer bli en flaskhals för hanteringsåtgärder.
  • Flexibilitet – du kan skala databasen efter behov för att passa dina behov.
  • Kontroll – du kan hantera säkerhetskopior och säkerhet för databasen på ett sätt som passar organisationens krav.

Resten av den här artikeln beskriver följande punkter:

  • krav för att använda den anpassade Ambari DB-funktionen
  • de steg som krävs för att etablera HDInsight-kluster med din egen externa databas för Apache Ambari

Anpassade Ambari DB-krav

Du kan distribuera en anpassad Ambari DB med alla klustertyper och versioner. Flera kluster kan inte använda samma Ambari DB.

Den anpassade Ambari DB har följande andra krav:

  • Namnet på databasen får inte innehålla bindestreck eller blanksteg
  • Du måste ha en befintlig Azure SQL DB-server och databas.
  • Databasen som du anger för Ambari-installationen måste vara tom. Det får inte finnas några tabeller i standardschemat för dbo.
  • Användaren som används för att ansluta till databasen ska ha behörigheterna SELECT, CREATE TABLE, INSERT, UPDATE, DELETE, ALTER ON SCHEMA och REFERENCES ON SCHEMA on the database.
GRANT CREATE TABLE TO newuser;
GRANT INSERT TO newuser;
GRANT SELECT TO newuser;
GRANT UPDATE TO newuser;
GRANT DELETE TO newuser;
GRANT ALTER ON SCHEMA::dbo TO newuser;
GRANT REFERENCES ON SCHEMA::dbo TO newuser;
  • Aktivera alternativet Tillåt åtkomst till Azure-tjänster på den server där du är värd för Ambari.
  • Hanterings-IP-adresser från HDInsight-tjänsten måste tillåtas i brandväggsregeln. Se IP-adresser för HDInsight-hantering för en lista över IP-adresser som måste läggas till i brandväggsregeln på servernivå.

Kom ihåg följande när du är värd för Apache Ambari DB i en extern databas:

  • Du ansvarar för de extra kostnaderna för Azure SQL DB som innehåller Ambari.
  • Säkerhetskopiera din anpassade Ambari DB med jämna mellanrum. Azure SQL Database genererar säkerhetskopieringar automatiskt, men tidsramen för kvarhållning av säkerhetskopior varierar. Mer information finns i Läs mer om automatisk säkerhetskopiering av SQL databaser.
  • Ändra inte det anpassade Ambari DB-lösenordet när HDInsight-klustret har nått tillståndet Körs . Det stöds inte.

Distribuera kluster med en anpassad Ambari DB

Om du vill skapa ett HDInsight-kluster som använder din egen externa Ambari-databas använder du den anpassade snabbstartsmallen för Ambari DB.

Redigera parametrarna i azuredeploy.parameters.json för att ange information om det nya klustret och databasen som innehåller Ambari.

Du kan börja distributionen med hjälp av Azure CLI. Ersätt <RESOURCEGROUPNAME> med den resursgrupp där du vill distribuera klustret.

az deployment group create --name HDInsightAmbariDBDeployment \
    --resource-group <RESOURCEGROUPNAME> \
    --template-file azuredeploy.json \
    --parameters azuredeploy.parameters.json

Varning

Använd följande rekommenderade virtuella SQL DB- och Headnode-dator för ditt HDInsight-kluster. Använd inte standard-Ambari DB (S0) för någon produktionsmiljö.

Storleksändring för databas och huvudnod

Följande tabell innehåller riktlinjer för vilken Azure SQL DB-nivå du ska välja baserat på storleken på ditt HDInsight-kluster.

Antal arbetsnoder Obligatorisk DB-nivå Nödvändig virtuell headnode-dator
<=4 S0 4 kärnor/28 GB RAM-minne eller högre
>4 & <=8 S1 4 kärnor/28 GB RAM-minne eller högre
>8 && <= 16 S2 4 kärnor/28 GB RAM-minne eller högre
>16 &&& <=32 S3 8 kärnor/56 GB RAM-minne eller högre
>32 &&& <=64 S4 8 kärnor/56 GB RAM-minne eller högre
>64 & <=128 P2 16 kärnor/112 GB RAM-minne eller högre
>128 Kontakta supporten Kontakta supporten

Nästa steg