다음을 통해 공유

HPC의 랜딩 존

Azure용 클라우드 채택 프레임워크의 준비 방법론 클라우드 채택을 위한 환경을 준비하는 방법을 안내할 수 있습니다. 준비 단계 중에 Azure 랜딩 존을 사용할 수 있습니다. 랜딩 존은 모든 클라우드 채택 환경에 대한 기본 구성 요소인 기술 가속기입니다. 랜딩 존은 클라우드 채택 프레임워크의 모범 사례 지침에 따라 Azure 환경의 구성을 자동화할 수 있습니다. HPC(고성능 컴퓨팅)를 준비하는 동안 업계 사용 사례 및 요구 사항에 따라 환경 구성이 발생할 수 있습니다.

Azure 랜딩 존 개념 아키텍처

지속적인 클라우드 채택을 위해 환경을 준비할 때 대상 엔드 상태를 나타내는 Azure 랜딩 존 개념 아키텍처를 사용할 수 있습니다. HPC의 경우 클라우드 채택 프레임워크가 현재 다루고 있는 세 가지 산업을 기반으로 하는 여러 개념 아키텍처 참조가 있습니다.

랜딩 존에 대한 장기적인 비전을 개발할 때 이러한 아키텍처 참조를 고려합니다. 이러한 참조는 시작점을 제공합니다. 조직의 비즈니스 요구 사항 및 최종 사용자의 요구에 따라 수정해야 할 수 있습니다.

HPC에 대한 평가

전략적 영향 평가 및 기술 계획 중에 내리는 결정은 Azure에서 HPC 배포를 위해 선택한 랜딩 존 구성에 영향을 줍니다. 다음 질문을 고려하는 것이 좋습니다.

  • Azure의 환경은 얼마나 성숙하나요? 개념 증명 단계에 있습니까? 아니면 이미 사용자에게 서비스를 제공하는 성숙한 애플리케이션인가요? 해당 단계에 따라 거버넌스, 보안 또는 리소스 조직을 포함하거나 생략할 수 있습니다.
  • Azure에서 빌드하는 애플리케이션이 단기 또는 장기 프로젝트인가요? 이 질문에 대한 답변은 컴퓨팅 및 스토리지 옵션을 선택하는 데 도움이 될 수 있습니다.
  • 조직에서 사용자가 다양한 수준에서 Azure 리소스에 액세스하도록 요구하나요?

이러한 질문에서 볼 수 있듯이 배포 모델은 비즈니스, 산업 및 애플리케이션 사용량에 따라 달라집니다.

HPC를 위한 Azure 착륙 지점 가속화

Azure Batch 와 Azure CycleCloud 는 모두 Azure에서 제공하는 서비스입니다. Slurm용 Azure CycleCloud 작업 영역 은 사용자가 Azure 또는 Slurm에 대한 사전 지식 없이 Azure CycleCloud를 사용하여 미리 정의된 Slurm 클러스터를 쉽게 만들고, 구성하고, 배포할 수 있는 Azure Marketplace 솔루션 템플릿입니다.

Azure Batch

  • Batch는 Azure에서 대규모 병렬 및 HPC 일괄 처리 작업을 효율적으로 실행하도록 설계되었습니다.
  • Batch는 컴퓨팅 노드 또는 VM(가상 머신)의 풀을 만들고 관리합니다. Batch를 사용하여 실행하려는 애플리케이션을 설치하고 노드에서 실행할 작업을 예약할 수도 있습니다.
  • 설치, 관리 또는 크기를 조정할 클러스터 또는 작업 스케줄러 소프트웨어가 없습니다.
  • Batch는 본질적으로 병렬 워크로드에서 잘 작동합니다. 이러한 워크로드에는 독립적으로 실행할 수 있는 애플리케이션이 있으며 각 인스턴스는 작업의 일부를 완료합니다.
  • Batch를 사용하여 긴밀하게 결합된 워크로드를 실행할 수도 있습니다. 여기서 실행하는 애플리케이션은 독립적으로 실행하지 않고 서로 통신해야 합니다.
  • Batch 작업은 Batch 풀의 VM 또는 노드에서 직접 실행할 수 있습니다. 그러나 노드의 Docker 호환 컨테이너에서 작업을 실행하도록 Batch 풀을 설정할 수도 있습니다.

Azure CycleCloud

  • SLURM, OpenPBS, PBSPro, LSF 및 그리드 엔진과 같은 다양한 HPC 스케줄러를 지원합니다.
  • 가상 머신, 확장 집합, 네트워크 인터페이스 및 디스크와 같은 HPC 시스템에 대한 인프라를 프로비전할 수 있습니다.
  • 작업 부하, 가용성 및 시간 요구 사항에 따라 모든 규모에서 효율적으로 작업을 실행하도록 인프라의 크기를 자동으로 조정합니다.
  • Azure에서 완전한 HPC 환경을 생성하기 위한 풍부하고 선언적인 템플릿 형식을 제공합니다.
  • Azure Monitor 및 Microsoft Cost Management 도구와 같은 Azure 서비스와 통합됩니다.

Slurm용 Azure CycleCloud 작업 영역

  • Slurm용 Azure CycleCloud 작업 영역은 Azure의 기본 HPC 인프라에 대한 엔드투엔드 배포 메커니즘을 제공합니다. Azure CycleCloud를 사용하여 Slurm 클러스터에서 작업을 효율적으로 오케스트레이션합니다.
  • 사용자가 애플리케이션을 실행할 준비가 되어 있고 HPC 관리자가 쉽게 배포하고 관리할 수 있는 완전한 HPC 클러스터 솔루션을 제공합니다.
  • 여기에는 통합된 사용자 액세스, 원격 셸 액세스, 작업 제출 및 파일 액세스를 위한 Open OnDemand 와의 통합이 포함됩니다.
  • SLURM(리소스 관리용 단순 Linux 유틸리티)을 작업 스케줄러로 사용합니다.
  • 동적 리소스 프로비저닝 및 자동 크기 조정은 최적화되지 않은 노드를 신속하게 방지하기 위해 미리 구성된 작업 큐 및 통합 상태 검사를 CycleCloud를 수행됩니다.
  • 기존 Azure NetApp Files 인스턴스를 홈 디렉터리 및 애플리케이션에 대한 공유 파일 시스템으로 배포하거나 사용할 수 있습니다.
  • 애플리케이션 데이터에 대한 공유 파일 시스템에 대해 기존 Azure Managed Lustre를 배포하거나 사용할 수 있습니다.
  • 배포된 클러스터는 컨테이너화된 AI 및 HPC Slurm 작업을 지원하도록 PMIx v4, Pyxis 및 Enroot로 미리 구성됩니다.

비교 차트

특징 Azure Batch Azure CycleCloud
스케줄러 Batch API 및 도구를 사용할 수 있습니다. Azure Portal에서 클라우드 네이티브 명령줄 스크립트를 사용할 수도 있습니다. SLURM, OpenPBS, PBSPro, LSF 및 그리드 엔진과 같은 표준 HPC 스케줄러를 사용할 수 있습니다. 또는 Azure CycleCloud 자동 확장 플러그인을 확장하여 사용자의 스케줄러에 적용할 수 있습니다.
컴퓨팅 리소스 서비스형 소프트웨어(SaaS) 노드 – 서비스형 플랫폼(PaaS). PaaS 소프트웨어 – PaaS.
사용자화 사용자 지정 이미지 풀, 타사 이미지 또는 Batch API 액세스를 사용할 수 있습니다. 포괄적인 RESTful API를 사용하여 기능을 사용자 지정 및 확장하고, 고유한 스케줄러를 배포하고, 기존 워크로드 관리자를 지원할 수 있습니다.
통합 Azure Data Factory 및 Azure CLI. Windows 및 Linux용 기본 제공 CLI입니다.
사용자 유형 개발자. 클래식 HPC 관리자 및 사용자.
작업 유형 일괄 처리 및 워크플로. MPI(메시지 전달 인터페이스)를 사용하는 긴밀하게 결합된 워크플로입니다.
Windows 지원 제공. 스케줄러 선택에 따라 달라집니다.

Azure CycleCloud 및 Azure Batch는 Azure에서 HPC 작업을 위한 강력한 도구이지만 다양한 사용 사례를 위해 설계되었습니다.

Azure CycleCloud는 Azure에서 HPC 환경을 오케스트레이션하고 관리하기 위한 엔터프라이즈 친화적인 도구입니다. 특정 스케줄러를 염두에 두고 HPC 환경을 배포하려는 HPC 관리자 및 사용자를 대상으로 합니다. Azure CycleCloud는 NFS(네트워크 파일 공유) 서버, 병렬 파일 시스템, 로그인 호스트, 라이선스 서버 및 디렉터리 서비스를 포함하여 Azure에서 완전한 HPC 환경을 구성하는 강력한 도구를 제공합니다. 이 기능은 HPC 환경을 한동안 운영하고 있으며 특정 스케줄러를 중심으로 수년간의 전문 지식과 사내 도구를 축적한 조직에 유용합니다.

반면 Batch는 주로 자신의 제품 또는 서비스에 역량을 구축하는 개발자와 팀을 대상으로 합니다. Batch는 자체 스케줄러를 포함하며 클러스터 또는 작업 스케줄러 소프트웨어 없이 대규모 병렬 작업을 효율적으로 실행하도록 설계되었습니다. Batch는 워크로드 스케줄러를 관리할 필요가 없는 경우에 유용합니다.

요약하자면, 특정 스케줄러를 염두에 두고 HPC 환경을 배포하고 완전한 HPC 환경이 필요한 경우 Azure CycleCloud를 사용합니다. 대규모 병렬 처리가 필요하고 워크로드 스케줄러를 관리하지 않으려는 제품 또는 서비스를 개발할 때 Batch를 사용합니다.

다음 단계