比較與 Azure HDInsight 叢集搭配使用的記憶體選項

您可以在建立 HDInsight 叢集時,選擇幾個不同的 Azure 記憶體服務:

本文提供這些記憶體類型及其獨特功能的概觀。

儲存體類型和功能

下表摘要說明不同 HDInsight 版本支援的 Azure 儲存體 服務:

儲存體服務 帳戶類型 命名空間類型 支援的服務 支援的效能層級 支援的存取層 HDInsight 版本 叢集類型
Azure Data Lake Storage Gen2 一般用途 V2 階層式 (檔案系統) Blob 標準 經常性存取、非經常性存取、封存 3.6+ Spark 2.1 和 2.2 以外的所有
Azure 儲存體 一般用途 V2 Object Blob 標準 經常性存取、非經常性存取、封存 3.6+ 全部
Azure 儲存體 一般用途 V1 Object Blob 標準 N/A 全部 全部
Azure 儲存體 Blob 儲存體** Object 區塊 Blob 標準 經常性存取、非經常性存取、封存 全部 全部
Azure Data Lake Storage Gen1 N/A 階層式 (檔案系統) N/A N/A N/A 僅限 3.6 HBase 以外的所有專案
Azure 儲存體 區塊 Blob Object 區塊 Blob Premium N/A 3.6+ 只有具有加速寫入的 HBase
Azure Data Lake Storage Gen2 區塊 Blob 階層式 (檔案系統) 區塊 Blob Premium N/A 3.6+ 只有具有加速寫入的 HBase

**針對 HDInsight 叢集,只有次要記憶體帳戶的類型可以是 Blob 儲存體 且分頁 Blob 不是支援的記憶體選項。

如需 Azure 儲存體 帳戶類型的詳細資訊,請參閱 Azure 記憶體帳戶概觀

如需 Azure 儲存體 存取層的詳細資訊,請參閱 Azure Blob 記憶體:進階版(預覽)、經常性存取層、非經常性存取層和封存儲存層

您可以使用主要和選擇性次要記憶體的服務組合來建立叢集。 下表摘要說明 HDInsight 目前支援的叢集記憶體組態:

HDInsight 版本 主要 儲存體 次要 儲存體 支援
3.6 & 4.0 一般用途 V1、一般用途 V2 一般用途 V1、一般用途 V2、Blob 儲存體(區塊 Blob) Yes
3.6 & 4.0 一般用途 V1、一般用途 V2 Data Lake Storage Gen2 No
3.6 & 4.0 Data Lake 儲存體 Gen2* Data Lake Storage Gen2 Yes
3.6 & 4.0 Data Lake 儲存體 Gen2* 一般用途 V1、一般用途 V2、Blob 儲存體(區塊 Blob) Yes
3.6 & 4.0 Data Lake Storage Gen2 Data Lake Storage Gen1 No
3.6 Data Lake Storage Gen1 Data Lake Storage Gen1 Yes
3.6 Data Lake Storage Gen1 一般用途 V1、一般用途 V2、Blob 儲存體(區塊 Blob) Yes
3.6 Data Lake Storage Gen1 Data Lake Storage Gen2 No
4.0 Data Lake Storage Gen1 任意 No
4.0 一般用途 V1、一般用途 V2 Data Lake Storage Gen1 No

*=這可以是一或多個 Data Lake 儲存體 Gen2,只要它們都設定為使用相同的受控識別進行叢集存取。

注意

Spark 2.1 或 2.2 叢集不支援 Data Lake 儲存體 Gen2 主要記憶體。

資料複寫

Azure HDInsight 不會儲存客戶數據。 叢集記憶體的主要方式是其相關聯的記憶體帳戶。 您可以將叢集連結至現有的記憶體帳戶,或在叢集建立程式期間建立新的儲存體帳戶。 如果已建立新的帳戶,則會建立為本地備援記憶體 (LRS) 帳戶,並滿足區域內數據落地需求,包括信任中心中指定的帳戶。

您可以確認 HDInsight 已正確設定為將資料儲存在單一區域中,方法是確保與 HDInsight 相關聯的記憶體帳戶是 LRS 或信任中心提及的另一個記憶體選項。

注意

不支援使用 Azure Data Lake 儲存體 Gen2 功能升級執行中叢集的主要或次要記憶體帳戶。 若要將現有 HDInsight 叢集的儲存類型變更為 Data Lake 儲存體 Gen2,您必須重新建立叢集,然後選取已啟用階層命名空間的記憶體帳戶。

下一步