AKS 上的 HDInsight 新功能？ (預覽)
重要
此功能目前為預覽功能。 適用於 Microsoft Azure 預覽版的補充使用規定包含適用於 Beta 版、預覽版或尚未發行至正式運作之 Azure 功能的更合法條款。 如需此特定預覽的相關信息，請參閱 AKS 預覽資訊的 Azure HDInsight。 如需問題或功能建議，請在 AskHDInsight 上提交要求，並提供詳細數據，並遵循我們在 Azure HDInsight 社群上取得更多更新。
在 AKS 上的 HDInsight 中，所有叢集管理和作業都原生支援個別叢集的 Azure 入口網站上的服務管理。
在 AKS 上的 HDInsight 中，引進了兩個新的概念：
- 叢集集區可用來分組和管理叢集。
- 叢集用於開放原始碼計算，它們裝載在叢集集區內。
叢集集區
AKS 上的 HDInsight 會在 Azure Kubernetes Service (AKS) 上執行。 最上層資源是叢集集區，並管理在相同 AKS 叢集上執行的所有叢集。 當您建立叢集集區時，會同時建立基礎 AKS 叢集，以裝載集區中的所有叢集。 叢集集區是叢集的邏輯群組，可協助跨多個叢集類型建立穩固的互通性，並允許企業在相同的虛擬網路中擁有叢集。 叢集集區可提供快速且符合成本效益地存取，存取隨選和大規模建立的所有叢集類型。在 AKS 基礎結構中，一個叢集集區對應至一個叢集。
叢集
叢集是個別的開放原始碼計算工作負載，例如 Apache Spark、Apache Flink 和 Trino，其可透過預先設定組態和幾次點擊，在幾分鐘內快速建立。 雖然在相同的叢集集區上執行，但每個叢集都可以有自己的設定，例如叢集類型、版本、節點 VM 大小、節點計數。 叢集會以自己的 DNS 和端點，在個別的計算資源上執行。
功能目前處於預覽狀態
下表列出目前為預覽狀態的 AKS 上的 HDInsight 功能。 預覽功能依字母順序排序。
| 區域 | 功能 |
|---|---|
| 基本項目 | 使用入口網站建立集區和叢集、Web 安全殼層 (ssh) 支援、在叢集建立期間選擇背景工作角色節點數目的能力 |
| 儲存體 | ADLS Gen2 儲存體支援 |
| Metastore | Trino、Spark 和 Flink 的外部中繼存放區支援，與 HDInsight 整合 |
| 安全性 | 支援 ARM RBAC、支援 MSI 型驗證、提供叢集存取權給其他使用者的選項 |
| 記錄和監視 | Azure 記錄分析中的記錄彙總，適用於透過受控 Prometheus 和 Grafana 的伺服器記錄、叢集和服務計量、支援 Azure 監視器中的伺服器計量、監視服務健康情況的服務狀態頁面 |
| 自動擴充 | 基於負載的自動調整，以及基於排程的自動調整 |
| 自訂和設定叢集 | 在叢集建立期間支援指令碼動作、支援程式庫管理、叢集建立後的服務組態設定 |
| Trino | 支援 Trino 目錄、Trino CLI 支援、DBeaver 支援查詢提交、新增或移除外掛程式和連接器、支援記錄查詢事件、支援 Trino 儀錶板中任何連接器的掃描查詢統計資料、支援 Trino 儀錶板來監視查詢、查詢快取、與 Power BI 整合、與 Apache Superset 整合、Redash、支援多個 連接器 |
| Flink | 支援 Flink 原生 Web UI、支援 HMS for DStream、使用 REST API 將作業提交至叢集，以及 Azure 入口網站、透過 Flink CLI 封裝為 JAR 檔案的程式、持續儲存點支援、支援更新作業執行時的組態選項、將作業 連線 至多個 Azure 服務：Azure Cosmos DB、Azure Databricks、 Azure 數據總管、Azure 事件中樞、Azure IoT 中樞、Azure Pipelines、Azure Data Factory 工作流程協調流程管理員、HDInsight Kafka、使用 Flink CLI 和 CDC 搭配 Flink 將作業提交至叢集 |
| Spark | Jupyter Notebook、支援 Delta Lake 2.0、Zeppelin 支援、支援 ATS、支援 Yarn 歷程記錄伺服器介面、使用 SSH 提交作業、使用 SDK 和 Machine Learning Notebook 提交作業 |
功能藍圖
| 功能 | 預估發行時間表 | 狀態 |
|---|---|---|
| 自動調整 - 以負載為基礎的 - Trino | Q1 2024 | 已完成 |
| Spark 基於隨機感知負載的自動調整 | Q2 2024 | 進行中 |
| 就地升級 | Q2 2024 | 已完成 |
| 保留執行個體支援 | Q2 2024 | 進行中 |
| 中繼存放區的 MSI 型驗證 (SQL) | Q1 2024 | 進行中 |
| Spark 3.4 | Q2 2024 | 進行中 |
| Trino 426 | Q1 2024 | 已完成 |
| RBAC 的 Ranger | Q2 2024 | 進行中 |
| Flink 的應用程式模式支援 | Q1 2024 | 已完成 |
| Flink 1.17 | Q1 2024 | 已完成 |
| Spark ACID 支援 | Q1 2024 | 進行中 |
| Headnode、SSH 的可設定 SKU | Q2 2024 | 進行中 |
| Flink SQL 閘道支援 | Q1 2024 | 已完成 |
| AKS 上的 HDInsight 私人叢集 | Q1 2024 | 已完成 |
| Spark SQL 的 Ranger 支援 | Q4 2024 | 進行中 |
| 儲存層上的 Ranger ACL | Q4 2024 | 進行中 |
| 支援 One Lake 作為主要容器 | Q2 2024 | 進行中 |