使用自訂 Ambari DB 設定 HDInsight 叢集
Apache Ambari 可簡化 Apache Hadoop 叢集的管理和監視。 Ambari 提供了易於使用的 Web UI 和 REST API。 Ambari 包含於 HDInsight 叢集中,可用來監視叢集及進行設定變更。
在一般叢集建立中,如在 HDInsight 中設定叢集等其他文章所述,Ambari 部署於 HDInsight 所管理的S0 Azure SQL Database,且無法供使用者存取。
自訂 Ambari DB 功能可讓您在您所管理的外部資料庫中部署新的叢集並設定 Ambari。 部署是使用 Azure Resource Manager 範本來完成。 本功能具有下列優勢:
- 自訂 - 您可選擇資料庫的大小和處理容量。 若有處理密集工作負載的大量叢集,則規格較低的 Ambari 資料庫可能會成為管理作業的瓶頸。
- 彈性 - 您可視需要調整資料庫,以符合您的需求。
- 控制 - 您可使用符合組織需求的方式,以管理資料庫的備份和安全性。
本文其餘部分將討論下列幾點:
- 使用自訂 Ambari DB 功能的需求
- 使用自己的 Apache Ambari 外部資料庫,佈建 HDInsight 叢集所需的步驟
自訂 Ambari DB 需求
您可部署所有叢集類型和版本的自訂 Ambari DB。 多個叢集無法使用相同的 Ambari DB。
自訂 Ambari DB 有下列其他需求:
- 資料庫名稱不可包含連字號或空格
- 您必須具備現有的 Azure SQL DB 伺服器和資料庫。
- 您為 Ambari 安裝提供的資料庫必須空白。 預設 dbo 結構描述中不應有資料表。
- 先前連線至資料庫的使用者應有資料庫的 SELECT、CREATE TABLE、INSERT、UPDATE、DELETE、ALTER ON SCHEMA 和 REFERENCES 權限。
GRANT CREATE TABLE TO newuser;
GRANT INSERT TO newuser;
GRANT SELECT TO newuser;
GRANT UPDATE TO newuser;
GRANT DELETE TO newuser;
GRANT ALTER ON SCHEMA::dbo TO newuser;
GRANT REFERENCES ON SCHEMA::dbo TO newuser;
- 在裝載 Ambari 的伺服器上,開啟 [允許存取 Azure 服務] 選項。
- 防火牆規則必須允許 HDInsight 服務的管理 IP 位址。 如需伺服器層級防火牆規則必須新增的 IP 位址清單,請參閱 HDInsight 管理 IP 位址。
在外部資料庫中裝載 Apache Ambari DB 時,請記住下列幾點:
- 您須負擔裝載 Ambari 的 Azure SQL DB 額外成本。
- 定期備份您的自訂 Ambari DB。 Azure SQL Database 會自動產生備份,但備份保留時間範圍有所不同。 如需詳細資訊,請參閱了解自動 SQL Database 備份。
- 在 HDInsight 叢集達到執行中狀態後,請勿變更自訂的 Ambari DB 密碼。 其不受支援。
使用自訂 Ambari DB 部署叢集
若要建立使用自己的外部 Ambari 資料庫 HDInsight 叢集,請使用自訂 Ambari DB 快速入門範本。
編輯 azuredeploy.parameters.json
中的參數,以指定新叢集及要裝載 Ambari 的資料庫相關資訊。
您可使用 Azure CLI 開始部署。 將 <RESOURCEGROUPNAME>
取代為要部署叢集的資源群組。
az deployment group create --name HDInsightAmbariDBDeployment \
--resource-group <RESOURCEGROUPNAME> \
--template-file azuredeploy.json \
--parameters azuredeploy.parameters.json
警告
針對 HDInsight 叢集,請使用建議的下列 SQL DB 和前端節點 VM。 實際執行環境請勿使用預設 Ambari DB (S0)。
調整資料庫及前端節點大小
下表提供依 HDInsight 叢集大小選取的 Azure SQL DB 層指導方針。
背景工作角色節點的數目 | 必要的 DB 層 | 必要的前端節點 VM |
---|---|---|
<=4 | S0 | 4 核心/28 GB RAM 或更高版本 |
>4 && <=8 | S1 | 4 核心/28 GB RAM 或更高版本 |
>8 && <=16 | S2 | 4 核心/28 GB RAM 或更高版本 |
>16 && <=32 | S3 | 8 核心/56 GB RAM 或更高版本 |
>32 && <=64 | S4 | 8 核心/56 GB RAM 或更高版本 |
>64 && <=128 | P2 | 16 核心/112 GB RAM 或更高版本 |
>128 | 請連絡支援人員 | 請連絡支援人員 |