叢集儲存體簡介
注意
AKS 上的 Azure HDInsight 將於 2025 年 1 月 31 日退場。 請於 2025 年 1 月 31 日之前,將工作負載移轉至 Microsoft Fabric 或對等的 Azure 產品,以免工作負載突然終止。 訂用帳戶中剩餘的叢集將會停止,並會從主機移除。
在淘汰日期之前,只有基本支援可用。
重要
此功能目前為預覽功能。 Microsoft Azure 預覽版增補使用規定包含適用於 Azure 功能 (搶鮮版 (Beta)、預覽版,或尚未正式發行的版本) 的更多法律條款。 若需此特定預覽版的相關資訊,請參閱 Azure HDInsight on AKS 預覽版資訊。 如有問題或功能建議,請在 AskHDInsight 上提交要求並附上詳細資料,並且在 Azure HDInsight 社群上追蹤我們以獲得更多更新資訊。
AKS 上的 Azure HDInsight 可以順暢地與 Azure 儲存體整合,這是可與許多其他 Azure 服務搭配運作的一般用途儲存體解決方案。 Azure Data Lake Storage Gen2 (ADLS Gen 2) 是叢集的預設檔案系統。
儲存體帳戶可以做為叢集作業期間所產生的資料、叢集記錄和其他輸出的預設位置。 其也可能是根據叢集類型 Hive 目錄的預設儲存體。
如需詳細資訊,請參閱 Azure Data Lake Storage Gen2 簡介 (機器翻譯)。
用於安全存取檔案的受控識別
AKS 上的 Azure HDInsight 會使用受控識別 (MSI) 來保護叢集對 Azure Data Lake Storage Gen2 中檔案的存取。 受控識別是一項 Microsoft Entra ID 的功能,可提供一組自動受控的認證給 Azure 服務。 這些認證可用來向任何支援 Active Directory 驗證的服務進行驗證。 此外,受控識別不需要將認證儲存在程式碼或設定檔中。
在 AKS 上的 Azure HDInsight 中,一旦您在叢集建立期間選取受控識別和儲存體,受控識別就可以順暢地使用儲存體進行資料管理,前提是儲存體 Blob 資料擁有者角色會指派給使用者指派的 MSI。
下表概述 AKS 上 Azure HDInsight 支援的儲存體選項 (公開預覽):
叢集類型 | 支援的儲存體 | 連線 | 儲存體上的角色 |
---|---|---|---|
Trino、Apache Flink 和 Apache Spark | ADLS Gen2 | 使用者指派的受控識別 (MSI) | 使用者指派的 MSI 必須在儲存體帳戶上具有 [儲存體 Blob 資料擁有者] 角色。 |
注意
若要跨多個叢集共用儲存體帳戶,您可以直接在共用儲存體帳戶上指派對應的叢集使用者指派 MSI「儲存體 Blob 資料擁有者」。 了解如何指派角色。
之後,您可以使用完整的儲存體 abfs://
路徑,透過您的應用程式存取資料。
如需詳細資訊,請參閱適用於 Azure 資源的受控識別。
了解如何建立 ADLS Gen2 帳戶。
AKS 儲存體架構上的 Azure HDInsight
下圖提供 Azure 儲存體在 AKS 上的 Azure HDInsight 架構摘要檢視。
儲存空間管理
目前,AKS 上的 Azure HDInsight 不支援已啟用虛刪除的儲存體帳戶,請確定您停用儲存體帳戶的虛刪除。