Nastavení clusterů HDInsight s vlastní databází Ambari

  • Článek

Apache Ambari zjednodušuje správu a monitorování clusteru Apache Hadoop. Ambari poskytuje snadné použití webového uživatelského rozhraní a rozhraní REST API. Ambari je součástí clusterů HDInsight a používá se k monitorování clusteru a provádění změn konfigurace.

V normálním vytváření clusteru, jak je popsáno v dalších článcích, jako je Nastavení clusterů ve službě HDInsight, se Ambari nasadí ve službě S0 Azure SQL Database , která je spravovaná službou HDInsight a není přístupná uživatelům.

Vlastní funkce databáze Ambari umožňuje nasadit nový cluster a nastavit Ambari v externí databázi, kterou spravujete. Nasazení se provádí pomocí šablony Azure Resource Manageru. Takto funkce má následující výhody:

  • Přizpůsobení – zvolíte velikost a kapacitu zpracování databáze. Pokud máte velké clustery zpracovávající úlohy náročné na zpracování, může se stát kritickým bodem pro operace správy databáze Ambari s nižšími specifikacemi.
  • Flexibilita – databázi můžete podle potřeby škálovat tak, aby vyhovovala vašim požadavkům.
  • Řízení – můžete spravovat zálohy a zabezpečení databáze způsobem, který odpovídá požadavkům vaší organizace.

Zbývající část tohoto článku popisuje následující body:

  • požadavky na použití vlastní funkce databáze Ambari
  • kroky potřebné ke zřízení clusteru HDInsight pomocí vlastní externí databáze pro Apache Ambari

Požadavky na vlastní databázi Ambari

Vlastní databázi Ambari můžete nasadit se všemi typy a verzemi clusteru. Více clusterů nemůže používat stejnou databázi Ambari.

Vlastní databáze Ambari má následující další požadavky:

  • Název databáze nesmí obsahovat pomlčky ani mezery.
  • Musíte mít existující server a databázi Azure SQL DB.
  • Databáze, kterou zadáte pro instalaci Ambari, musí být prázdná. Ve výchozím schématu dbo by neměly být žádné tabulky.
  • Uživatel použitý k připojení k databázi by měl mít oprávnění SELECT, CREATE TABLE, INSERT, UPDATE, DELETE, ALTER ON SCHEMA a REFERENCES ON SCHEMA .
GRANT CREATE TABLE TO newuser;
GRANT INSERT TO newuser;
GRANT SELECT TO newuser;
GRANT UPDATE TO newuser;
GRANT DELETE TO newuser;
GRANT ALTER ON SCHEMA::dbo TO newuser;
GRANT REFERENCES ON SCHEMA::dbo TO newuser;
  • Zapněte možnost Povolit přístup ke službám Azure na serveru, na kterém hostujete Ambari.
  • IP adresy pro správu ze služby HDInsight musí být povolené v pravidle brány firewall. Seznam IP adres IP, které je potřeba přidat do pravidla brány firewall na úrovni serveru, najdete v tématu IP adresy pro správu SLUŽBY HDInsight.

Při hostování databáze Apache Ambari v externí databázi mějte na paměti následující body:

  • Zodpovídáte za dodatečné náklady na databázi Azure SQL, která obsahuje Ambari.
  • Pravidelně zálohujte vlastní databázi Ambari. Azure SQL Database generuje zálohy automaticky, ale časový rámec uchovávání záloh se liší. Další informace naleznete v tématu Další informace týkající se automatické zálohy databáze SQL.
  • Po dosažení spuštěného stavu clusteru HDInsight neměňte vlastní heslo databáze Ambari. Nepodporuje se.

Nasazení clusterů s vlastní databází Ambari

Pokud chcete vytvořit cluster HDInsight, který používá vlastní externí databázi Ambari, použijte vlastní šablonu rychlého startu pro Ambari DB.

Upravte parametry v azuredeploy.parameters.json sadě a určete informace o novém clusteru a databázi, která obsahuje Ambari.

Nasazení můžete zahájit pomocí Azure CLI. Nahraďte <RESOURCEGROUPNAME> skupinou prostředků, do které chcete cluster nasadit.

az deployment group create --name HDInsightAmbariDBDeployment \
    --resource-group <RESOURCEGROUPNAME> \
    --template-file azuredeploy.json \
    --parameters azuredeploy.parameters.json

Upozorňující

Pro váš cluster HDInsight použijte následující doporučený virtuální počítač s databází SQL a hlavním uzlem. Pro žádné produkční prostředí nepoužívejte výchozí databázi Ambari (S0).

Nastavení velikosti databáze a hlavního uzlu

Následující tabulka obsahuje pokyny pro výběr úrovně Azure SQL DB na základě velikosti clusteru HDInsight.

Počet pracovních uzlů Požadovaná úroveň databáze Požadovaný virtuální počítač s hlavním uzlem
<=4 S0 4 jádra / 28 GB RAM nebo vyšší
>4 && = <8 S1 4 jádra / 28 GB RAM nebo vyšší
>8 && = <16 S2 4 jádra / 28 GB RAM nebo vyšší
>16 && = <32 S3 8 jader/56 GB paměti RAM nebo vyšší
>32 &&& <=64 S4 8 jader/56 GB paměti RAM nebo vyšší
>64 && = <128 P2 16 jader / 112 GB RAM nebo vyšší
>128 Kontaktujte podporu Kontaktujte podporu

Další kroky