在 AKS 上 HDInsight 中建立 Spark 叢集 (預覽)
重要
此功能目前為預覽功能。 適用於 Microsoft Azure 預覽版的補充使用規定包含適用於 Beta 版、預覽版或尚未發行至正式運作之 Azure 功能的更合法條款。 如需此特定預覽的相關信息,請參閱 AKS 預覽資訊的 Azure HDInsight。 如需問題或功能建議,請在 AskHDInsight 上提交要求,並提供詳細數據,並遵循我們在 Azure HDInsight 社群上取得更多更新。
一旦 訂用帳戶必要條件 和 資源必要條件 步驟完成,而且您已部署叢集集區,請繼續使用 Azure 入口網站來建立 Spark 叢集。 您可以使用 Azure 入口網站在叢集集區中建立 Apache Spark 叢集。 接著,您可以建立 Jupyter Notebook,並將其用於對 Apache Hive 資料表執行 Spark SQL 查詢。
在 Azure 入口網站中,輸入叢集集區,然後選取 [叢集集區] 以移至 [叢集集區] 頁面。 在 [叢集集區] 頁面上選取您可以在其中新增Spark 叢集的叢集集區。
在特定的叢集集區頁面上,按一下 [+ 新叢集]。
此步驟會開啟叢集建立頁面。
屬性 描述 訂用帳戶 在必要條件區段中註冊以用於 AKS 上的 HDInsight 的 Azure 訂用帳戶已預先填入 資源群組 與叢集集區相同的資源群組將會預先填入 區域 與叢集集區和虛擬相同的區域將會預先填入 叢集集區 叢集集區的名稱將會預先填入 HDInsight 集區版本 會從集區建立選取範圍預先填入叢集集區版本 HDInsight on AKS 版本 在 AKS 版本上指定 HDI 叢集類型 從下拉式清單中選取 [Spark] 叢集版本 選取要使用的映像版本之版本 叢集名稱 輸入新叢集的名稱 使用者指派的受控識別 選取使用者指派的受控識別,以作為儲存體的連接字串 儲存體帳戶 選取要作為叢集主要儲存體的預先建立儲存體帳戶 容器名稱 如果預先建立或建立新的容器,請選取容器名稱(唯一) Hive 目錄 (選擇性) 選取預先建立的 Hive 中繼存放區 (Azure SQL DB) Hive 的 SQL Database 從下拉式清單中,選取要在其中新增 hive-metastore 資料表的 SQL Database。 SQL 管理員使用者名稱 輸入 SQL 系統管理員使用者名稱 金鑰保存庫 從下拉式清單中,選取 Key Vault,其中包含 SQL 系統管理員使用者名稱密碼的秘密 SQL 密碼秘密名稱 輸入儲存 SQL DB 密碼的 Key Vault 秘密名稱 注意
- HDInsight 目前僅支援 MS SQL Server 資料庫。
- 由於 Hive 的限制,不支援中繼存放區資料庫名稱中有「-」(連字號)。
選取 [下一步: 設定 + 價格] 以繼續。
屬性 說明 節點大小 選取要用於 Spark 節點的節點大小 背景工作角色節點的數目 選取 Spark 叢集的節點數目。 在這些節點中,有三個節點會保留給協調器和系統服務,其餘節點則專用於 Spark 背景工作角色,每個節點一個背景工作角色。 例如,五節點叢集中會有兩個背景工作角色 Autoscale 按一下切換按鈕以啟用自動調整 自動調整類型 選取負載型或以排程型自動調整 非失誤性解除委任逾時 指定非失誤性解除委任逾時 預設背景工作節點的數量 選取自動調整節點的數量 時區 選取時區 自動調整規則 選取日期、開始時間、結束時間、背景工作節點的數量 啟用 SSH 如果已啟用,可讓您定義 SSH 節點的前置詞和數量 按一下 [下一步 : 整合] 來啟用並選取 [進行記錄的 Log Analytics]。
您可以在建立叢集後啟用用於監視和計量的 Azure Prometheus。
按一下 [下一步: 標籤] 以繼續下一頁。
在 [標籤] 頁面上,輸入您想要新增至資源的任何標籤。
屬性 描述 Name 選擇性。 在 AKS 私人預覽版上輸入 HDInsight 之類的名稱,以輕鬆識別與您的資源相關聯的所有資源 值 將此選項保留空白 資源 選取 [所有選取的資源] 按一下 [下一步:檢閱 + 建立]。
在 [檢閱 + 建立] 頁面上,尋找頁面頂端的 [驗證成功] 訊息,然後按一下 [建立]。
建立叢集時會顯示 [部署正在處理中] 頁面。 建立叢集需要 5-10 分鐘的時間。 建立叢集之後,您的部署完成 訊息隨即顯示。 如果您離開頁面,您可以檢查 [通知] 以了解狀態。
移至 [叢集概觀] 頁面,您可以在該處看到端點連結。
意見反映
https://aka.ms/ContentUserFeedback。
即將推出:我們會在 2024 年淘汰 GitHub 問題,並以全新的意見反應系統取代並作為內容意見反應的渠道。 如需更多資訊,請參閱:提交及檢視以下的意見反映: