AKS 上的 Azure HDInsight 發行備註

文章
04/19/2024

本文提供有關最新 AKS 上 Azure HDInsight 版本更新的資訊。如需有關較早版本的詳細資訊，請參閱 AKS 上 Azure HDInsight 封存的發行備註。如果您要訂閱版本資訊，請在此 GitHub 存放庫上觀看發行版本。

摘要

HDInsight on AKS 是一項新式、可靠、安全且完全受控的平台即服務 (PaaS)，可在 Azure Kubernetes Service (AKS) 上執行。 HDInsight on AKS 可讓您部署熱門的開放原始碼分析工作負載，例如 Apache Spark™、Apache Flink®️ 和 Trino，沒有管理及監視容器的負擔。

您可以使用Apache Spark和 Trino 的強大查詢引擎，建置端對端、PB 規模的巨量資料應用程式，跨越透過Apache Flink、資料工程和機器學習進行串流處理。

這些功能與 AKS 強大開發人員焦點上的 HDInsight 結合，可讓具有深入技術專長的企業和數位原生企業和數位原生來建置及操作符合其需求的應用程式。 HDInsight on AKS 可讓開發人員存取開放原始碼軟體所提供的所有豐富組態，所具備的擴充性可順暢地包含其他生態系統的供應項目。此供應項目使開發人員能夠測試及調整其應用程式，以最佳成本擷取最佳效能。

注意

若要了解 AKS 上的 HDInsight 版本設定與支援，請參閱版本設定結構描述。

如需目前在此版本公開預覽中功能的所有詳細資料，請參閱新功能頁面。

重要

AKS 上的 HDInsight 使用安全部署做法，這牽涉到漸進式區域部署。最多可能需要 10 個工作天，才能在所有區域中使用新發行或新版本。

版本資訊

發行日期：2024 年 3 月 20 日

此版本適用於下列項目

叢集集區版本：1.1
叢集版本：1.1.1
AKS 版本：1.27

新功能

Apache Flink 應用程式模式叢集

應用程式模式叢集的設計是為了支援大型和長時間執行作業的專用資源。當您有大量資源或廣泛的數據處理工作時，您可以使用應用程式模式叢集。此模式可讓您為特定的 Apache Flink 應用程式配置專用資源，確保它們具有必要的運算能力和記憶體，以有效處理大型工作負載。

如需詳細資訊，請參閱 AKS 上的 HDInsight 上的 Apache Flink 應用程式模式叢集。

AKS 上的 HDInsight 私人叢集

使用私人叢集和輸出叢集設定，您現在可以控制 AKS 叢集區和叢集上 HDInsight 的輸入和輸出流量。

當您選擇搭配負載平衡器使用輸出叢集集區時，請使用 Azure 防火牆或網路安全組（NSG）來控制輸出流量。
使用輸出叢集集區搭配使用者定義的路由來控制子網層級的輸出流量。
使用私人 AKS 叢集功能 - 確保 AKS 控制平面或 API 伺服器具有內部 IP 位址。 AKS 控制平面/API 伺服器與 AKS 節點集區（叢集）上的 HDInsight 之間的網路流量只會保留在專用網路上。
避免為叢集建立公用IP。在您的叢集上使用私人輸入功能。

如需詳細資訊，請參閱在 AKS 叢集集區和叢集上控制來自 HDInsight 的網路流量。

就地升級

使用最新的軟體更新升級您的叢集和叢集集區。這表示您可以享受最新的叢集套件 Hotfix、安全性更新和 AKS 修補程式，而不需要重新建立叢集。如需詳細資訊，請參閱在 AKS 叢集和叢集集區上升級 HDInsight。

重要

若要充分利用所有這些 最新功能，您必須建立具有 1.1 和叢集 1.1.1 版的新叢集集區。

已知問題

工作負載身分識別限制：
- 轉換至工作負載身分識別時有已知的限制。這項限制是因為 FIC 作業的許可權敏感性本質所造成。使用者無法藉由刪除資源群組來執行叢集刪除。叢集刪除要求必須由具有 FIC/刪除權限的應用程式/使用者/主體進行觸發。如果 FIC 刪除失敗，高階叢集刪除也會失敗。
- 使用者指派的受控識別（UAMI） 支援 – 每個 UAMI 有 20 個 FIC 的限制。您只能在身分識別上建立 20 個同盟認證。在 AKS 叢集的 HDInsight 中，FIC（同盟身分識別認證）和 SA 具有一對一對應，而且只能針對 MSI 建立 20 個 SA。如果您想要建立更多叢集，則必須提供不同的 MSIS 來克服限制。
- 在這些區域中建立的使用者指派受控識別上，目前不支援建立同盟身分識別認證

作業系統版本

Mariner OS 2.0

工作負載版本

工作負載	版本
Trino	426
Flink	1.17.0
Apache Spark	3.3.1

支援的 Java 和 Scala 版本

工作負載	Java	Scala
Trino	Open JDK 17.0.7	-
Flink	Open JDK 11.0.21	2.12.7
Spark	Open JDK 1.8.0_345	2.12.15

下列區域中提供預覽功能。

如果您有更多問題，請連絡 Azure 支援，或參閱 [支援選項] 頁面。如果您有產品特定的意見反應，請在 aka.ms/askhdinsight 上向我們反映。

分享方式：