在金融領域為 HPC 儲存體
本文提供針對財務部門在 HPC 環境中實作記憶體的建議。 財務環境中的大規模 HPC 工作負載會針對超過傳統雲端文件系統功能的數據記憶體和存取，建立需求。
設計考量
若要決定要使用的記憶體解決方案，您必須考慮下列應用程式需求。
- 延遲
- IOPS
- 輸送量
- 檔案大小和數位
- 作業運行時間
- 相關聯的成本
- 記憶體位置的親和性：內部部署與 Azure
設計建議
針對高輸送量、低延遲記憶體使用標準或 進階版 Azure Blob 儲存體。 其提供下列優點：
- 它在必要時提供 exabyte 規模、高輸送量、低延遲存取、熟悉的文件系統和多重通訊協定存取 （REST、HDFS、NFS）。
- 這是符合成本效益的。
- 您可以使用 BlobFuse 將 Blob 儲存體 掛接為檔案系統。 這樣做可讓您輕鬆地讓多個節點針對唯讀案例掛接相同的容器。
- 它支援 Blob 服務端點上的 NFS 3.0，以進行高輸送量、大量讀取的工作負載。
- 您可以使用可自定義的原則，透過使用上次更新/存取時間智慧階層處理來執行生命週期管理的能力，將數據移至較冷層，以將成本優化。
使用 Azure NetApp Files for ReadWriteMany （unique） 或 write-once、read-once 應用程式。 它提供下列優點：
- 廣泛的檔案通訊協議選擇（NFSv3、NFSv4.1、SMB3）。
- 與內部部署效能相媲美的效能，具有多層式（Ultra、進階版、Standard）。
- 在幾分鐘內部署，並提供各種不同的層級和彈性。
- 彈性容量集區類型和效能，其中會根據集區層級和磁碟區配額自動指派每個磁碟區的 QoS。
下表提供 Blob 儲存體、Azure 檔案儲存體、Azure 受控 Lustre 和 Azure NetApp Files 的比較。
| Blob 儲存體 | Azure 檔案 | Azure Managed Lustre | Azure NetApp Files | |
|---|---|---|---|---|
| 使用案例 | 最適合大規模讀取繁重的循序存取工作負載，其中數據會內嵌一次且最少修改。 如果有輕量維護，則總擁有成本較低。 |
最適合隨機存取工作負載的高可用性服務。 針對 NFS 共用，Azure 檔案儲存體 提供完整的 POSIX 檔案系統支援。 內建的 CSI 驅動程式可讓您輕鬆地從容器平臺使用它，例如 Azure 容器執行個體 和 Azure Kubernetes Service （AKS），除了以 VM 為基礎的平臺。 |
Azure 受控 Lustre 是完全受控的平行文件系統，最適合中型到大型 HPC 工作負載。 藉由提供熟悉的 Lustre 平行檔案系統功能、行為和效能，保護長期應用程式投資，在雲端中啟用 HPC 應用程式，而不會中斷應用程式相容性。 |
雲端中完全受控的檔案服務，由 NetApp 提供，具有進階管理功能。 Azure NetApp Files 適用於需要隨機存取的工作負載。 它提供廣泛的通訊協定支援和改良的數據保護。 |
| 可用的通訊協定 | NFS 3.0 休息 Azure Data Lake 儲存體 |
Smb NFS 4.1 （任一通訊協定之間沒有互操作性。 |
Lustre | NFS 3.0 和 4.1 Smb |
| 主要功能 | 與適用於低延遲工作負載的 Azure HPC Cache 整合。 整合式管理，包括生命週期管理、不可變的 Blob、數據故障轉移和元數據索引。 |
依區域備援，以提供高可用性。 一致的單位數毫秒延遲。 隨容量調整規模的可預測效能和成本。 |
最高 2.5PB 的高儲存容量。 低 （~2 毫秒） 延遲。 在幾分鐘內啟動新的叢集。 支援使用 AKS 的容器化工作負載。 |
極其低的延遲（最低為毫秒）。 豐富的 NetApp ONTAP 管理功能，例如 SnapMirror Cloud。 一致的混合式雲端體驗。 |
| 效能 (每磁碟區) | 高達 20,000 IOPS。 高達 100 GiB/秒的輸送量。 | 高達 100,000 IOPS。 高達80 GiB/秒的輸送量。 | 高達 100,000 IOPS，最多 500 GiB/秒的輸送量。 | 高達 460,000 IOPS。 高達 36 GiB/秒的輸送量。 |
| 縮放比例 | 單一磁碟區的 PiB 高達 2 個。 單一檔案的 ~4.75 TiB。 沒有最低容量需求。 |
單一磁碟區的 100 TiB。 單一檔案的 4 TiB 高達 4 TiB。 100 GiB 最小容量。 |
單一磁碟區的 2.5 PiB 高達 2.5。 單一檔案的 PB 高達 32 PB。 4 TiB 最小容量。 |
單一磁碟區的 100 TiB。 單一檔案的 16 TiB 高達 16 TiB。 一致的混合式雲端體驗。 |
| 定價 | Azure Blob 儲存體定價 | Azure 檔案儲存體定價 | Azure 受控 Lustre 定價 | Azure NetApp Files 定價 |
下一步
下列文章提供指引，您可以在雲端採用程式期間的各種時間點找到有用的指引。 它們可協助您在財務部門針對 HPC 的雲端採用案例取得成功。