이 가이드에서는 Azure VM의 HPC 워크로드에 가장 적합한 스토리지 솔루션의 모범 사례, 지침, 자세한 비교 및 기술 사양을 제공합니다. 여기에는 각 스토리지 유형에 대한 성능 메트릭, 프로토콜 지원, 비용 계층 및 사용 사례 맞춤이 포함됩니다. 일반적으로 비용에 대한 최적화와 성능에 대한 최적화 간의 절충이 있습니다. 워크로드가 적은 경우 모든 권장 최적화 사항이 필요하지 않을 수 있습니다. 이러한 권장 사항을 평가할 때 성능 요구 사항, 비용 및 작업 패턴을 고려하세요.
개요
HPC 워크로드용 스토리지는 코어 스토리지와 경우에 따라 가속기로 구성됩니다. 코어 스토리지는 데이터의 영구 홈 역할을 합니다. 풍부한 데이터 관리 기능을 포함하고 있으며 지속성, 사용 가능, 확장성, 탄력적 및 보안성입니다. 가속기는 고성능 데이터 액세스를 제공하여 핵심 스토리지를 향상시킵니다. 액셀러레이터는 주문형으로 프로비전할 수 있으며 계산 워크로드에서 데이터에 훨씬 더 빠르게 액세스할 수 있습니다.
스토리지 서비스 비교
| 특징 | 표준 블롭 | 프리미엄 Blob | Premium 파일 | Azure NetApp 파일 | Azure Managed Lustre |
|---|---|---|---|---|---|
| 용량 | 20+ PiB | 20+ PiB | 100TiB | 500TiB | 1PiB |
| 대역폭 | 15GB/s | 15GB/s | 10GB/s | 10GiB/s | 최대 512GB/s |
| IOPS | 20,000 | 20,000 | 100,000 | 800,000 | >100,000 |
| 대기 시간 | <100ms | <10ms | 2~4ms | <1ms | <2ms |
| 프로토콜 | REST, HDFS, NFSv3, SFTP, FUSE, CSI | 동일 | REST, NFSv4.1, SMB3, CSI | NFSv3/4.1, SMB3, CSI | Lustre, CSI |
초기 고려 사항
처음부터 시작하는 경우 데이터 저장소 모델 이해를 참고하여 데이터 저장소를 선택하고 Azure Storage 서비스 선택 또는 Azure Storage 소개를 참조하여 스토리지 서비스 옵션을 파악하세요.
개요
저장하려는 데이터의 양부터 시작합니다. 그런 다음 워크로드에서 사용하는 CPU 코어 수와 파일 크기를 고려합니다. 이러한 요인을 통해 워크로드에 가장 적합한 코어 스토리지 서비스 및 가속기를 사용하여 성능을 향상시킬지 여부를 좁힐 수 있습니다.
| 구성 / 설정 | CPU 코어 | 파일 크기 | 핵심 스토리지 권장 사항 | 액셀러레이터 권장 사항 |
|---|---|---|---|---|
| 50TiB 미만 | 해당 없음(N/A) | 해당 없음(N/A) | Azure Files 또는 Azure NetApp Files. | 가속기 없음 |
| 50TiB - 5,000TiB | 500 미만 | 해당 없음(N/A) | Azure Files 또는 Azure NetApp Files. | 가속기 없음 |
| 50TiB - 5,000TiB | 500명 이상 | 1MiB 이상 | Azure Standard Blob. 모든 가속기에서 지원되고, 많은 프로토콜을 지원하며, 비용 효율적입니다. | Azure Managed Lustre. |
| 50TiB - 5,000TiB | 500명 이상 | 1MiB보다 작음 | Azure Premium Blob 또는 Azure Standard Blob. | Azure Managed Lustre. |
| 50TiB - 5,000TiB | 500명 이상 | 512KiB보다 작음 | Azure NetApp Files. | 가속기 없음 |
| 5,000TiB 이상 | 해당 없음(N/A) | 해당 없음(N/A) | 현장 또는 계정 팀에 문의하세요. |
솔루션 세부 정보
의사 결정 트리를 사용한 후에도 옵션 간에 계속 문제가 있는 경우 각 솔루션에 대한 자세한 내용은 다음과 같습니다.
| 해결 방법 | 최적의 성능 및 크기 조정 | 데이터 액세스(액세스 프로토콜) | 청구 모델 | 코어 스토리지 또는 액셀러레이터 |
|---|---|---|---|---|
| Azure Standard Blob | * 대용량 파일, 대역폭 집약적 워크로드에 적합합니다. * 구조화되지 않은 데이터를 위해 설계되었습니다. * 높은 처리량 워크로드를 지원합니다. |
* 기존(파일) 및 클라우드 네이티브(REST) HPC 앱에 적합합니다. * 쉽게 액세스, 공유, 데이터 세트를 관리 할 수 있습니다. * 모든 가속기에서 작동합니다. |
사용하는 항목에 대한 요금을 지불합니다. | Core Storage. |
| Azure Premium Blob | * 표준 Blob보다 IOPS 및 대기 시간이 더 좋습니다. * 중형 파일과 혼합 파일 크기가 많은 데이터 세트에 적합합니다. |
기존(파일) 및 클라우드 네이티브(REST) HPC 앱에 적합합니다. 데이터 세트에 쉽게 액세스, 공유, 관리할 수 있습니다. 모든 가속기에서 작동합니다. |
사용하는 항목에 대한 요금을 지불합니다. | Core Storage. |
| Azure Premium Files | * 용량 및 대역폭은 더 작은 규모(<1k 코어)에 적합합니다. * IOPS 및 대기 시간은 중간 크기 파일(>512KiB)에 적합합니다. * 프리미엄(짧은 대기 시간, 높은 IOPS) SKU를 제공합니다. * Azure 파일 동기화를 통한 하이브리드 액세스. |
Linux(NFS) 및 Windows(SMB)와 쉽게 통합되지만 NFS+SMB를 모두 사용하여 동일한 데이터에 액세스할 수는 없습니다. | 프로비전한 만큼 비용을 지불합니다. | Core Storage. |
| Azure NetApp Files | * 중급 작업에 적합한 용량 및 대역폭(1k-10k 코어). * IOPS 및 대기 시간은 작은 파일 데이터 세트(<512KiB)에 적합합니다. * 소규모의 여러 파일 워크로드에 적합합니다. * ONTAP 기술을 사용한 엔터프라이즈급 파일 스토리지. * 표준, 프리미엄, 울트라 계층에서 동적 성능 크기 조정 |
Linux 및 Windows용 통합이 용이하며 Linux + Windows를 모두 사용하는 워크플로에 대한 다중 프로토콜을 지원합니다. | 프로비전한 만큼 비용을 지불합니다. | 어느 쪽이든. |
| Azure Managed Lustre | 모든 작업 크기(1k - >10k 코어)를 지원하는 대역폭입니다. * IOPS 및 대기 시간은 수천 개의 중간 크기 파일(>512KiB)에 적합합니다. * 대역폭 집약적 읽기 및 쓰기 워크로드에 가장 적합합니다. * HPC/AI에 최적화된 병렬 파일 시스템입니다. * 계층화된 스토리지를 위해 Azure Blob과 원활하게 통합됩니다. |
Lustre, CSI. | 프로비전한 만큼 비용을 지불합니다. | 독립 실행형(코어) 스토리지로 실행할 수 있을 만큼 내구성이 뛰어나며, 액셀러레이터로서 가장 비용 효율적입니다. |
특수 스토리지 솔루션
Azure는 HPC 워크로드의 까다로운 요구 사항에 맞게 조정된 다양한 스토리지 서비스를 제공합니다. 각 솔루션은 다양한 성능 특성, 액세스 패턴 및 비용 프로필에 최적화되어 있습니다. 다음은 가장 관련성이 큰 스토리지 옵션과 HPC 시나리오에 가장 적합한 옵션에 대한 개요입니다.
| 스토리지 솔루션 | 사용 사례 | 성능 벤치마크 | 확장성 옵션 | 다른 Azure 서비스와 통합 |
|---|---|---|---|---|
| Azure Blob Storage (애저 블롭 스토리지) | * 데이터 분석 * 콘텐츠 배포 * 백업 및 보관 |
BlobFuse2를 사용하여 최대 30GB/s 처리량 | * 계정당 최대 5 PiB의 스토리지 계정 * 계정당 컨테이너 수 제한 없음 |
* Azure AI * AKS * Azure Data Lake |
| Azure Files | * DevOps *백업을 * 원격 작업 |
전송 중 암호화(NFS 공유의 경우 TLS 1.3) | * 주당 최대 100TiB의 파일 공유(표준) * IOPS 최대 100,000(프리미엄) |
* Azure Backup * Azure Monitor * Microsoft Entra ID |
| Azure NetApp 파일 | *데이터베이스 * VDI * HPC |
FIO를 사용하여 측정된 IOPS 및 처리량 | * 풀당 최대 100TiB의 용량 풀 * 볼륨당 최대 100TiB의 볼륨 |
* AKS * Azure Backup * Azure Monitor |
| Azure Managed Lustre | * 대규모 시뮬레이션 * 유전체학 * 과학적 워크로드 |
250MB/s/TiB 성능 계층을 사용하여 최대 30GB/s 처리량 | * 최대 1.5PB 용량의 파일 시스템 * 최대 375GB/s의 처리량 |
* Azure Blob Storage * AKS * Azure Monitor |
AI 및 RAG 워크로드 스토리지 요구 사항
AI 및 RAG 워크로드에 대한 스토리지 요구 사항은 여러 단계에 따라 다릅니다. 학습 단계에서는 높은 처리량, 검사점, 로컬 캐싱 및 큰 모델을 로드하는 기능을 갖추어야 합니다. 유추 단계의 경우 빠른 모델 액세스, 짧은 대기 시간 및 동시 GPU 액세스가 필요합니다. RAG 단계에서는 보안 비정형 스토리지, 벡터 데이터베이스 통합, 새로 고침 및 짧은 대기 시간이 필요합니다.
파트너 솔루션
| 동반자 | 프로토콜 | 규모 | 고유한 기능 |
|---|---|---|---|
| 쿠물로 | NFS, SMB, S3 | 200 PiB | Azure에 최적화된 SaaS, 전역 네임스페이스, 비용 효율적 |
| Dell APEX | NFS, SMB, S3, HDFS | 5.6 PiB | 온-프레미스 패리티, 정책 기반 계층화 |
| 나스니 주 | NFS, SMB, S3 | — | 파일 잠금, Blob을 기본 계층으로 |
| 해머스페이스 | NFS, SMB, S3, pNFS | — | 전역 네임스페이스, 캐싱 대안 |
| Weka | NFS, SMB, S3 | 14 EB | 높은 IOPS, 짧은 대기 시간, 선형 스케일 아웃 |
| IBM SpectrumScale | GPFS, NFS, SMB | — | 전체 GPFS 스택 |
| DDN Exascaler | Lustre, NFS, SMB | 페타바이트 | 전체 DDN Lustre 스택 |
성능 최적화 팁
- 용량뿐만 아니라 성능에 따라 볼륨 크기를 조정합니다.
- 가용성 영역을 사용하여 대기 시간을 제어합니다.
- ANF에서 최대 대역폭을 위해 대용량 기능을 사용하십시오.
- 비용 효율성을 위한 캐싱 및 계층화 전략을 고려합니다.
코어 스토리지 가격 비교
가장 저렴한 순서로 코어 스토리지 옵션 가격은 다음과 같습니다.
- Azure NetApp 파일
- Azure Premium Blob 및 Azure 프리미엄 파일
- Azure Standard Blob
가격 책정에 대한 자세한 내용은 Azure 제품 가격을 참조하세요.