分享方式:


使用自訂 Ambari DB 設定 HDInsight 叢集

Apache Ambari 可簡化 Apache Hadoop 叢集的管理和監視。 Ambari 提供了易於使用的 Web UI 和 REST API。 Ambari 包含於 HDInsight 叢集中,可用來監視叢集及進行設定變更。

在一般叢集建立中,如在 HDInsight 中設定叢集等其他文章所述,Ambari 部署於 HDInsight 所管理的S0 Azure SQL Database,且無法供使用者存取。

自訂 Ambari DB 功能可讓您在您所管理的外部資料庫中部署新的叢集並設定 Ambari。 部署是使用 Azure Resource Manager 範本來完成。 本功能具有下列優勢:

  • 自訂 - 您可選擇資料庫的大小和處理容量。 若有處理密集工作負載的大量叢集,則規格較低的 Ambari 資料庫可能會成為管理作業的瓶頸。
  • 彈性 - 您可視需要調整資料庫,以符合您的需求。
  • 控制 - 您可使用符合組織需求的方式,以管理資料庫的備份和安全性。

本文其餘部分將討論下列幾點:

  • 使用自訂 Ambari DB 功能的需求
  • 使用自己的 Apache Ambari 外部資料庫,佈建 HDInsight 叢集所需的步驟

自訂 Ambari DB 需求

您可部署所有叢集類型和版本的自訂 Ambari DB。 多個叢集無法使用相同的 Ambari DB。

自訂 Ambari DB 有下列其他需求:

  • 資料庫名稱不可包含連字號或空格
  • 您必須具備現有的 Azure SQL DB 伺服器和資料庫。
  • 您為 Ambari 安裝提供的資料庫必須空白。 預設 dbo 結構描述中不應有資料表。
  • 先前連線至資料庫的使用者應有資料庫的 SELECT、CREATE TABLE、INSERT、UPDATE、DELETE、ALTER ON SCHEMA 和 REFERENCES 權限。
GRANT CREATE TABLE TO newuser;
GRANT INSERT TO newuser;
GRANT SELECT TO newuser;
GRANT UPDATE TO newuser;
GRANT DELETE TO newuser;
GRANT ALTER ON SCHEMA::dbo TO newuser;
GRANT REFERENCES ON SCHEMA::dbo TO newuser;
  • 在裝載 Ambari 的伺服器上,開啟 [允許存取 Azure 服務] 選項。
  • 防火牆規則必須允許 HDInsight 服務的管理 IP 位址。 如需伺服器層級防火牆規則必須新增的 IP 位址清單,請參閱 HDInsight 管理 IP 位址

在外部資料庫中裝載 Apache Ambari DB 時,請記住下列幾點:

  • 您須負擔裝載 Ambari 的 Azure SQL DB 額外成本。
  • 定期備份您的自訂 Ambari DB。 Azure SQL Database 會自動產生備份,但備份保留時間範圍有所不同。 如需詳細資訊,請參閱了解自動 SQL Database 備份
  • 在 HDInsight 叢集達到執行中狀態後,請勿變更自訂的 Ambari DB 密碼。 其不受支援。

使用自訂 Ambari DB 部署叢集

若要建立使用自己的外部 Ambari 資料庫 HDInsight 叢集,請使用自訂 Ambari DB 快速入門範本

編輯 azuredeploy.parameters.json 中的參數,以指定新叢集及要裝載 Ambari 的資料庫相關資訊。

您可使用 Azure CLI 開始部署。 將 <RESOURCEGROUPNAME> 取代為要部署叢集的資源群組。

az deployment group create --name HDInsightAmbariDBDeployment \
    --resource-group <RESOURCEGROUPNAME> \
    --template-file azuredeploy.json \
    --parameters azuredeploy.parameters.json

警告

針對 HDInsight 叢集,請使用建議的下列 SQL DB 和前端節點 VM。 實際執行環境請勿使用預設 Ambari DB (S0)。

調整資料庫及前端節點大小

下表提供依 HDInsight 叢集大小選取的 Azure SQL DB 層指導方針。

背景工作角色節點的數目 必要的 DB 層 必要的前端節點 VM
<=4 S0 4 核心/28 GB RAM 或更高版本
>4 && <=8 S1 4 核心/28 GB RAM 或更高版本
>8 && <=16 S2 4 核心/28 GB RAM 或更高版本
>16 && <=32 S3 8 核心/56 GB RAM 或更高版本
>32 && <=64 S4 8 核心/56 GB RAM 或更高版本
>64 && <=128 P2 16 核心/112 GB RAM 或更高版本
>128 請連絡支援人員 請連絡支援人員

下一步