HDInsight on AKS - 常見問題集
本文說明關於 Azure HDInsight on AKS 的一些常見問題。
注意
AKS 上的 Azure HDInsight 將於 2025 年 1 月 31 日退場。 請於 2025 年 1 月 31 日之前,將工作負載移轉至 Microsoft Fabric 或對等的 Azure 產品,以免工作負載突然終止。 訂用帳戶中剩餘的叢集將會停止,並會從主機移除。
在淘汰日期之前,只有基本支援可用。
重要
此功能目前為預覽功能。 Microsoft Azure 預覽版增補使用規定包含適用於 Azure 功能 (搶鮮版 (Beta)、預覽版,或尚未正式發行的版本) 的更多法律條款。 若需此特定預覽版的相關資訊,請參閱 Azure HDInsight on AKS 預覽版資訊。 如有問題或功能建議,請在 AskHDInsight 上提交要求並附上詳細資料,並且在 Azure HDInsight 社群上追蹤我們以獲得更多更新資訊。
一般
什麼是 HDInsight on AKS?
HDInsight on AKS 是新的 HDInsight 版本,可為企業就緒的受控叢集服務提供新興的開放原始碼分析專案,例如 Apache Flink (適用於串流)、Trino (適用於臨機操作分析和 BI),以及 Apache Spark。 如需詳細資訊,請參閱概觀。
HDInsight on AKS 支援哪些叢集圖形?
HDInsight on AKS 支援從 Trino、Apache Flink 和 Apache Spark 開始著手。 不過,Kafka、Hive 等其他叢集圖形正在規劃中。
如何開始使用 HDInsight on AKS?
首先,請瀏覽 Azure Marketplace 並搜尋 Azure HDInsight on AKS 服務,然後參閱使用者入門。
VM 和我目前執行的叢集上現有的 HDInsight 會發生什麼情況?
現有的 HDInsight (VM 上的 HDInsight) 沒有變更。 所有現有的叢集都會繼續執行,且您可以繼續建立及調整新的 HDInsight 叢集。
HDInsight on AKS 支援哪個作業系統?
HDInsight on AKS 以 Mariner OS 為基礎。 如需詳細資訊,請參閱作業系統版本。
哪些區域可以使用 HDInsight on AKS?
如需支援的區域清單,請參閱區域可用性。
部署 AKS 上的 HDInsight 叢集的成本為何?
如需價格的詳細資訊,請參閱「HDInsight on AKS 價格」。
叢集管理
我是否可同時執行多個叢集?
是,您可以就個別叢集集區同時執行您所需數量的叢集。 但請確定您並未受限於訂用帳戶的配額。 叢集集區中允許的節點數目上限為 250 (公開預覽版)。
我是否可在叢集上安裝或新增更多外掛程式/程式庫?
是,您可以根據叢集圖形安裝自訂外掛程式和程式庫。
- 針對 Trino,請參閱安裝自訂外掛程式。
- 針對 Spark,請參閱 Spark 中的程式庫管理。
我是否可透過 SSH 連線到叢集?
是,您可以透過 webssh 經由 SSH 連線到叢集,然後直接從該處執行查詢並提交作業。
Metastore
我是否可使用外部中繼存放區連線至叢集?
是,您可以使用外部中繼存放區。 不過,僅支援以 Azure SQL Database 作為外部自訂中繼存放區。
我可以在多個叢集之間共用中繼存放區嗎?
是,您可以在 AKS 的多個 HDInsight 之間共用中繼存放區。
支援哪個版本的 Hive 中繼存放區?
Hive 中繼存放區 3.1.2 版
工作負載
Trino
什麼是 Trino?
Trino 是一個開放原始碼同盟和分散式 SQL 查詢引擎,可讓您直接查詢位於不同資料來源的資料,而無須移至中央資料倉儲。 您可以使用 ANSI SQL 查詢資料,而無須學習新語言。 如需詳細資訊,請參閱 Trino 概觀。
您支援哪些連接器?
HDInsight on AKS Trino 支援多個連接器。 如需詳細資訊,請參閱此 Trino 連接器清單。 我們會持續在開放原始碼版本提供新的連接器時新增連接器。
是否可將目錄新增至現有的叢集?
是,您可以將支援的目錄新增至現有的叢集。 如需詳細資訊,請參閱將目錄新增至現有叢集。
Apache Flink
什麼是 Apache Flink?
Apache Flink 是一流的開放原始碼分析引擎,可用於串流處理,以及對無限制和限定資料流執行具狀態計算。 它可按記憶體內速度以任何規模執行計算。 HDInsight on AKS 上的 Flink 提供受控開放原始碼 Apache Flink。 如需詳細資訊,請參閱 Flink 概觀。
Apache Flink 是否同時支援工作階段和應用程式模式?
在 HDInsight on AKS 中,Flink 目前支援工作階段模式叢集。
什麼是狀態後端管理?如何在 HDInsight on AKS 中進行此管理?
後端會決定狀態的儲存位置。 檢查點啟用時,狀態會保存在檢查點上,以防止資料遺失,並確保復原的一致性。 狀態在內部呈現的方式,以及檢查點上保存狀態的方式和位置,取決於所選的狀態後端。 如需詳細資訊,請參閱 Flink 概觀
Apache Spark
Apache Spark 是什麼?
Apache Spark 是一個資料處理架構,可對大型資料集快速執行處理工作,也可將資料處理工作分散到多部電腦間 (獨立運作或與其他分散式運算工具搭配均可)。
Spark 支援哪些語言 API?
Azure HDInsight on AKS 支援 Python 和 Scala。
HDInsight on AKS Spark 是否支援外部中繼存放區?
HDInsight on AKS 支援外部中繼存放區連線。 目前僅支援以 Azure SQL DB 作為外部中繼存放區。
有哪些不同的方式可在 HDInsight on AKS Spark 中提交作業?
您可以使用 Jupyter Notebook、Zeppelin Notebook、SDK 和叢集終端,在 HDInsight on AKS Spark 上提交作業。 如需詳細資訊,請參閱在 HDInsight on AKS 中的 Spark 叢集上提交和管理作業