Share via

금융 부문의 HPC용 스토리지

  • 아티클

이 문서에서는 금융 부문의 HPC 환경에서 스토리지를 구현하기 위한 권장 사항을 제공합니다. 금융 환경의 대규모 HPC 워크로드에는 기존 클라우드 파일 시스템의 용량을 초과하는 데이터 스토리지 및 액세스에 대한 수요를 창출합니다.

디자인 고려 사항

사용할 스토리지 솔루션을 결정하려면 다음 애플리케이션 요구 사항을 고려해야 합니다.

  • 대기 시간
  • IOPS
  • 처리량
  • 파일 크기 및 번호
  • 작업 런타임임
  • 관련 비용
  • 스토리지 위치에 대한 선호도: 온-프레미스 및 Azure

디자인 권장 사항

  • 처리량이 높고 대기 시간이 짧은 스토리지에 표준 또는 프리미엄 Azure Blob Storage를 사용합니다. 다음과 같은 이점을 제공합니다.

    • 필요한 경우 엑사바이트 규모의 높은 처리량, 짧은 대기 시간 액세스, 친숙한 파일 시스템 및 다중 프로토콜 액세스(REST, HDFS, NFS)를 제공합니다.
    • 비용 효율적입니다.
    • BlobFuse를 사용하여 Azure Blob Storage를 파일 시스템으로 탑재할 수 있습니다. 이렇게 하면 여러 노드가 읽기 전용 시나리오에 대해 동일한 컨테이너를 쉽게 탑재할 수 있습니다.
    • 처리량이 높고 읽기가 많은 워크로드를 위해 Blob 서비스 엔드포인트에서 NFS 3.0을 지원합니다.
    • 사용자 지정 정책과 함께 마지막 업데이트/액세스 시간 지능형 계층화로 수명 주기 관리를 수행하는 기능을 통해 데이터를 쿨 계층으로 이동하여 비용을 최적화할 수 있습니다.

  • ReadWriteMany(고유) 또는 한 번 쓰기, 한 번 읽기 애플리케이션에 Azure NetApp Files를 사용합니다. 다음과 같은 혜택을 제공합니다.

    • 다양한 파일 프로토콜(NFSv3, NFSv4.1, SMB3)을 제공합니다.
    • 여러 계층(Ultra, Premium, Standard)이 있는 온-프레미스 성능과 비슷한 성능입니다.
    • 몇 분 안에 배포하고 다양한 계층과 유연성을 제공합니다.
    • 유연한 용량 풀 유형 및 성능 - 볼륨당 QoS는 풀의 계층 및 볼륨 할당량에 따라 자동으로 할당됩니다.

다음 표에서는 Blob Storage, Azure Files, Azure Managed Lustre 및 Azure NetApp Files를 비교합니다.

Blob Storage Azure 파일 Azure Managed Lustre Azure NetApp Files
사용 사례 데이터를 한 번 수집하고 최소로 수정하는 대규모 읽기 작업이 많은 순차 액세스 워크로드에 가장 적합합니다.

가벼운 유지 관리가 있는 경우 총 소유 비용이 낮습니다.		 임의 액세스 워크로드에 가장 적합한 고가용성 서비스입니다.

NFS 공유의 경우 Azure Files는 전체 POSIX 파일 시스템 지원을 제공합니다. 기본 제공 CSI 드라이버를 사용하면 VM 기반 플랫폼 외에도 Azure Container Instances 및 AKS(Azure Kubernetes Service)와 같은 컨테이너 플랫폼에서 쉽게 사용할 수 있습니다.		 Azure Managed Lustre는 중대형 HPC 워크로드에 가장 적합한 완전 관리형 병렬 파일 시스템입니다.

친숙한 Lustre 병렬 파일 시스템 기능, 동작 및 성능을 제공하여 애플리케이션 호환성을 손상하지 않고 클라우드에서 HPC 애플리케이션을 사용하도록 설정하여 장기적인 애플리케이션 투자를 확보합니다.		 고급 관리 기능을 통해 NetApp에서 구동하는 클라우드의 완전 관리형 파일 서비스입니다.

Azure NetApp Files는 임의 액세스가 필요한 워크로드에 적합합니다. 광범위한 프로토콜 지원 및 향상된 데이터 보호를 제공합니다.
사용 가능한 프로토콜 NFS 3.0

나머지

Azure Data Lake Storage		 Smb

NFS 4.1

(두 프로토콜 간의 상호 운용성이 없습니다.)		 Lustre NFS 3.0 및 4.1

Smb


주요 기능 대기 시간이 짧은 워크로드를 위해 Azure HPC Cache와 통합되었습니다.

수명 주기 관리, 변경이 불가능한 Blob, 데이터 장애 조치(failover) 및 메타데이터 인덱스를 비롯한 통합 관리		 고가용성을 위한 영역 중복

일관된 한 자리 밀리초 대기 시간.

용량으로 스케일링하는 예측 가능한 성능 및 비용.		 최대 2.5PB의 높은 스토리지 용량

짧은(~2ms) 대기 시간.

몇 분 안에 새 클러스터를 스핀업합니다.

AKS를 사용하여 컨테이너화된 워크로드를 지원합니다.		 매우 짧은 대기 시간(하위 밀리초만큼 낮음)

SnapMirror Cloud와 같은 다양한 NetApp ONTAP 관리 기능.

일관된 하이브리드 클라우드 환경.
성능(볼륨당) 최대 20,000 IOPS. 100GiB/s 처리량만큼 최대 100,000 IOPS. 80GiB/s 처리량만큼 최대 100,000 IOPS, 최대 500GiB/s 처리량 최대 460,000 IOPS. 처리량은 36GiB/s입니다.
스케일 단일 볼륨에 대해 최대 2PiB.

단일 파일에 대해 최대 4.75TiB.

최소 용량 요구 사항이 없습니다.		 단일 볼륨에 대해 최대 100TiB.

단일 파일에 대해 최대 4TiB.

최소 용량 100GiB.		 단일 볼륨의 경우 2.5 PiB입니다.

단일 파일의 경우 32PB입니다.

최소 용량은 4TiB입니다.		 단일 볼륨에 대해 최대 100TiB.

단일 파일에 대해 최대 16TiB.

일관된 하이브리드 클라우드 환경.
가격 Azure Blob Storage 가격 책정 Azure Files 가격 책정 Azure Managed Lustre 가격 책정 Azure NetApp Files 가격 책정

다음 단계

다음 문서에서는 클라우드 채택 프로세스 중 다양한 지점에서 유용할 수 있는 지침을 제공합니다. 금융 부문의 HPC에 대한 클라우드 채택 시나리오에서 성공하는 데 도움이 될 수 있습니다.