共用方式為

在 AKS 上 HDInsight 中建立 Spark 叢集 (預覽)

  • 發行項

注意

AKS 上的 Azure HDInsight 將於 2025 年 1 月 31 日退場。 請於 2025 年 1 月 31 日之前，將工作負載移轉至 Microsoft Fabric 或對等的 Azure 產品，以免工作負載突然終止。 訂用帳戶中剩餘的叢集將會停止，並會從主機移除。

在淘汰日期之前，只有基本支援可用。

重要

此功能目前為預覽功能。 Microsoft Azure 預覽版增補使用規定包含適用於 Azure 功能 (搶鮮版 (Beta)、預覽版，或尚未正式發行的版本) 的更多法律條款。 若需此特定預覽版的相關資訊，請參閱 Azure HDInsight on AKS 預覽版資訊。 如有問題或功能建議，請在 AskHDInsight 上提交要求並附上詳細資料，並且在 Azure HDInsight 社群上追蹤我們以獲得更多更新資訊。

一旦 訂用帳戶必要條件 和 資源必要條件 步驟完成，而且您已部署叢集集區，請繼續使用 Azure 入口網站來建立 Spark 叢集。 您可以使用 Azure 入口網站在叢集集區中建立 Apache Spark 叢集。 接著，您可以建立 Jupyter Notebook，並將其用於對 Apache Hive 資料表執行 Spark SQL 查詢。

  1. 在 Azure 入口網站中，輸入叢集集區，然後選取 [叢集集區] 以移至 [叢集集區] 頁面。 在 [叢集集區] 頁面上選取您可以在其中新增Spark 叢集的叢集集區。

  2. 在特定的叢集集區頁面上，按一下 [+ 新叢集]。

    顯示如何建立新 Spark 叢集的螢幕擷取畫面。

    此步驟會開啟叢集建立頁面。

    顯示建立叢集基本頁面的螢幕擷取畫面。

    屬性 描述
    訂用帳戶 在必要條件區段中註冊以用於 AKS 上的 HDInsight 的 Azure 訂用帳戶已預先填入
    資源群組 與叢集集區相同的資源群組將會預先填入
    區域 與叢集集區和虛擬相同的區域將會預先填入
    叢集集區 叢集集區的名稱將會預先填入
    HDInsight 集區版本 會從集區建立選取範圍預先填入叢集集區版本
    HDInsight on AKS 版本 在 AKS 版本上指定 HDI
    叢集類型 從下拉式清單中選取 [Spark]
    叢集版本 選取要使用的映像版本之版本
    叢集名稱 輸入新叢集的名稱
    使用者指派的受控識別 選取使用者指派的受控識別，以作為儲存體的連接字串
    儲存體帳戶 選取要作為叢集主要儲存體的預先建立儲存體帳戶
    容器名稱 如果預先建立或建立新的容器，請選取容器名稱(唯一)
    Hive 目錄 (選擇性) 選取預先建立的 Hive 中繼存放區 (Azure SQL DB)
    Hive 的 SQL Database 從下拉式清單中，選取要在其中新增 hive-metastore 資料表的 SQL Database。
    SQL 管理員使用者名稱 輸入 SQL 系統管理員使用者名稱
    金鑰保存庫 從下拉式清單中，選取 Key Vault，其中包含 SQL 系統管理員使用者名稱密碼的秘密
    SQL 密碼秘密名稱 輸入儲存 SQL DB 密碼的 Key Vault 秘密名稱

    注意

    • HDInsight 目前僅支援 MS SQL Server 資料庫。
    • 由於 Hive 的限制，不支援中繼存放區資料庫名稱中有「-」(連字號)。

  3. 選取 [下一步: 設定 + 價格] 以繼續。

    顯示價格索引標籤 1 的螢幕擷取畫面。

    顯示價格索引標籤 2 的螢幕擷取畫面。

    顯示 ssh 索引標籤的螢幕擷取畫面。

    屬性 說明
    節點大小 選取要用於 Spark 節點的節點大小
    背景工作角色節點的數目 選取 Spark 叢集的節點數目。 在這些節點中，有三個節點會保留給協調器和系統服務，其餘節點則專用於 Spark 背景工作角色，每個節點一個背景工作角色。 例如，五節點叢集中會有兩個背景工作角色
    Autoscale 按一下切換按鈕以啟用自動調整
    自動調整類型 選取負載型或以排程型自動調整
    非失誤性解除委任逾時 指定非失誤性解除委任逾時
    預設背景工作節點的數量 選取自動調整節點的數量
    時區 選取時區
    自動調整規則 選取日期、開始時間、結束時間、背景工作節點的數量
    啟用 SSH 如果已啟用，可讓您定義 SSH 節點的前置詞和數量

  4. 按一下 [下一步 : 整合] 來啟用並選取 [進行記錄的 Log Analytics]。

    您可以在建立叢集後啟用用於監視和計量的 Azure Prometheus。

    顯示整合索引標籤的螢幕擷取畫面。

  5. 按一下 [下一步: 標籤] 以繼續下一頁。

    顯示標籤索引標籤的螢幕擷取畫面。

  6. 在 [標籤] 頁面上，輸入您想要新增至資源的任何標籤。

    屬性 描述
    Name 選擇性。 在 AKS 私人預覽版上輸入 HDInsight 之類的名稱，以輕鬆識別與您的資源相關聯的所有資源
    值 將此選項保留空白
    資源 選取 [所有選取的資源]

  7. 按一下 [下一步：檢閱 + 建立]。

  8. 在 [檢閱 + 建立] 頁面上，尋找頁面頂端的 [驗證成功] 訊息，然後按一下 [建立]。

  9. 建立叢集時會顯示 [部署正在處理中] 頁面。 建立叢集需要 5-10 分鐘的時間。 建立叢集之後，您的部署完成 訊息隨即顯示。 如果您離開頁面，您可以檢查 [通知] 以了解狀態。

  10. 移至 [叢集概觀] 頁面，您可以在該處看到端點連結。

    顯示叢集概觀頁面的螢幕擷取畫面。