分享方式：

資源必要條件

  • 文章

注意

AKS 上的 Azure HDInsight 將於 2025 年 1 月 31 日退場。 請於 2025 年 1 月 31 日之前，將工作負載移轉至 Microsoft Fabric 或對等的 Azure 產品，以免工作負載突然終止。 訂用帳戶中剩餘的叢集將會停止，並會從主機移除。

在淘汰日期之前，只有基本支援可用。

重要

此功能目前為預覽功能。 Microsoft Azure 預覽版增補使用規定包含適用於 Azure 功能 (搶鮮版 (Beta)、預覽版，或尚未正式發行的版本) 的更多法律條款。 若需此特定預覽版的相關資訊，請參閱 Azure HDInsight on AKS 預覽版資訊。 如有問題或功能建議，請在 AskHDInsight 上提交要求並附上詳細資料，並且在 Azure HDInsight 社群上追蹤我們以獲得更多更新資訊。

本文詳細說明開始使用 HDInsight on AKS 所需的資源。 其涵蓋必要和選用的資源，以及如何建立它們。

必要資源

下表描述根據叢集類型建立叢集所需的必要資源。

工作負載 受控服務識別 (MSI) 儲存體 SQL Server - SQL Database Key Vault
Trino ✅
Flink ✅ ✅
Spark ✅ ✅
Trino、Flink 或 Spark 與 Hive 中繼存放區 (HMS) ✅ ✅ ✅ ✅

注意

MSI 會作為跨資源驗證和授權的安全性標準，但 SQL Database 除外。 角色指派會在部署以對儲存體授權 MSI 之前發生，而袐密會儲存在 SQL Database 的金鑰保存庫中。 儲存體支援隨著 ADLS Gen2 提供，並可作為計算引擎的資料存放區，而 SQL Database 則用於 Hive 中繼存放區上的資料表管理。

選擇性資源

注意

  • VNet 需要子網路，而不需要任何與其相關聯的現有路由表。
  • HDInsight on AKS 可讓您使用自己的 VNet 和子網路，讓您自訂網路需求，以符合企業的需求。
  • Log Analytics 工作區是選用的，且在您想要使用 Azure Log Analytics 等 Azure 監視器功能時，必須事先建立。

您可以透過兩個方式建立必要的資源：

使用 ARM 範本

下列 ARM 範本可讓您建立指定的必要資源，只要按一下即可使用資源前置詞，並視需要取得更多詳細資料。

例如，如果您提供資源前置詞為 “demo”，則根據您選取的範本，會在您的資源群組中建立下列資源 -

  • 使用名稱 demoMSI 建立 MSI。
  • 使用名稱 demostore 建立儲存體，以及容器為 democontainer。
  • 金鑰保存庫會使用名稱 demoKeyVault 建立，以及袐密則會作為範本中的參數提供。
  • 使用名稱 demoSqlDB 建立 Azure SQL 資料庫，以及名稱為 demoSqlServer 的 SQL Server。
工作負載 必要條件
Trino 建立所述的資源，如下所示：
1.受控服務識別 (MSI)：使用者指派的受控識別。

將 Trino 部署至 Azure
Flink 建立所述的資源，如下所示：
1.受控服務識別 (MSI)：使用者指派的受控識別。
2.ADLS Gen2 儲存體帳戶和容器。

角色指派：
1.將「儲存體 Blob 資料擁有者」角色指派給儲存體帳戶上的使用者指派 MSI。

將 Apache Flink 部署至 Azure
Spark 建立所述的資源，如下所示：
1.受控服務識別 (MSI)：使用者指派的受控識別。
2.ADLS Gen2 儲存體帳戶和容器。

角色指派：
1.將「儲存體 Blob 資料擁有者」角色指派給儲存體帳戶上的使用者指派 MSI。

將 Spark 部署至 Azure
Trino、Flink 或 Spark 與 Hive 中繼存放區 (HMS) 建立所述的資源，如下所示：
1.受控服務識別 (MSI)：使用者指派的受控識別。
2.ADLS Gen2 儲存體帳戶和容器。
3.Azure SQL Database 和 SQL Server 2022。
4.Azure Key Vault 和用來儲存 SQL Server 管理員認證的袐密。

角色指派：
1.將「儲存體 Blob 資料擁有者」角色指派給儲存體帳戶上的使用者指派 MSI。
2.將「Key Vault 袐密使用者」角色指派給 Key Vault 上的使用者指派 MSI。

將 Trino HMS 部署至 Azure

注意

使用這些 ARM 範本時，使用者必須具備建立新資源的權限，並將角色指派給訂用帳戶中的資源。

使用 Azure 入口網站

建立使用者指派的受控識別 (MSI)

受控識別是在認證由 Azure 管理的 Microsoft Entra ID (Microsoft Entra ID) 中註冊的身分識別。 使用受控識別時，您不需要在 Microsoft Entra ID 中註冊服務主體，即可維護憑證等認證。

HDInsight on AKS 依賴於使用者指派的 MSI，以在不同元件之間通訊。

建立儲存體帳戶 - ADLS Gen 2

儲存體帳戶會作為叢集記錄和其他輸出的預設位置。 在儲存體帳戶建立期間啟用階層命名空間，以作為 ADLS Gen2 儲存體使用。

  1. 指派角色：將「儲存體 Blob 資料擁有者」角色指派給為此儲存體帳戶建立的使用者指派 MSI。

  2. 建立容器：建立儲存體帳戶之後，請在儲存體帳戶中建立容器。

注意

您也可以選擇在叢集建立期間建立容器。

建立 Azure SQL Database

建立 Azure SQL Database，以在叢集建立期間用做外部中繼存放區，或者您可以使用現有的 SQL Database。 不過，請確保已設定下列屬性。

要針對 SQL Server 和 SQL Database 啟用的必要屬性-

資源類型 屬性 說明
SQL Server 驗證方法 建立 SQL Server 時，請使用 [驗證方法] 為
顯示如何選取驗證方法的螢幕擷取畫面。
SQL Database 允許 Azure 服務和資源存取此伺服器 在 Azure 入口網站中 SQL 資料庫的 [網路] 刀鋒視窗底下啟用此屬性。

注意

  • 目前，我們僅支援 Azure SQL Database 作為內建中繼存放區。
  • 由於 Hive 的限制，不支援中繼存放區資料庫名稱中有 "-" (連字號)。
  • Azure SQL Database 應該位於與叢集相同的區域中。
  • 您也可以選擇在叢集建立期間建立 SQL Database。 不過，您必須重新整理叢集建立頁面，以讓新建立的資料庫出現在下拉式清單中。

建立 Azure Key Vault

Key Vault 可讓您在 SQL Database 建立期間儲存 SQL Server 管理員密碼集。 HDInsight on AKS 平台不會直接處理認證。 因此，您必須將重要認證儲存在 Key Vault 中。

  1. 指派角色：將「Key Vault 袐密使用者」角色指派給隨著此 Key Vault 必要資源建立的使用者指派 MSI。

  2. 建立袐密：此步驟可讓您將 SQL Server 管理員密碼保留為 Azure Key Vault 中的袐密。 建立袐密時，在 [值] 欄位中新增密碼。

注意

  • 請務必記下袐密名稱，因為叢集建立期間需要此項目。
  • 您必須有指派給您的身分識別或帳戶的「Key Vault 管理員」角色，才能使用 Azure 入口網站在 Key Vault 中新增袐密。 瀏覽至 Key Vault，並遵循如何指派角色的步驟。