Share via

HPC의 랜딩 존

  • 아티클

Azure용 클라우드 채택 프레임워크 준비 방법론은 클라우드 채택을 위한 환경을 준비하는 방법을 안내할 수 있습니다. 준비 단계에서 Azure 랜딩 존을 사용할 수 있습니다. 랜딩 존은 모든 클라우드 채택 환경의 기본 구성 요소인 기술 가속기입니다. 랜딩 존은 Azure 환경의 구성을 자동화하고, 클라우드 채택 프레임워크의 모범 사례 지침에 맞게 조정할 수 있습니다. HPC(고성능 컴퓨팅)를 준비하는 동안 업계 사용 사례 및 요구 사항에 따라 환경 구성이 발생할 수 있습니다.

Azure 랜딩 존 개념 아키텍처

지속적인 클라우드 채택을 위해 환경을 준비할 때 대상 엔드 상태를 나타내는 Azure 랜딩 존 개념 아키텍처를 사용할 수 있습니다. HPC의 경우 클라우드 채택 프레임워크 현재 다루고 있는 세 가지 산업을 기반으로 하는 여러 개념 아키텍처 참조가 있습니다.

랜딩 존에 대한 장기적인 비전을 개발할 때 이러한 아키텍처 참조를 고려합니다. 이러한 참조는 시작점을 제공합니다. 조직의 비즈니스 요구 사항 및 최종 사용자의 요구 사항에 따라 수정해야 할 수 있습니다.

HPC 평가

전략적 영향 평가 및 기술 계획 중에 내리는 결정은 Azure에서 HPC 배포를 위해 선택한 랜딩 존 구성에 영향을 줍니다. 다음 질문을 고려하는 것이 좋습니다.

  • Azure의 환경이 얼마나 성숙하나요? 개념 증명 단계에 있습니까? 아니면 이미 사용자에게 서비스를 제공하는 성숙한 애플리케이션인가요? 해당 단계에 따라 거버넌스, 보안 또는 리소스 조직을 포함하거나 생략할 수 있습니다.
  • Azure에서 빌드하는 애플리케이션이 단기 또는 장기 프로젝트인가요? 이 질문에 대한 답변은 컴퓨팅 및 스토리지 옵션을 선택하는 데 도움이 될 수 있습니다.
  • 조직에서 사람들이 다양한 수준에서 Azure 리소스에 액세스하도록 요구하나요?

이러한 질문에서 볼 수 있듯이 배포 모델은 비즈니스, 산업 및 애플리케이션 사용량에 따라 달라집니다.

HPC에 대한 Azure 랜딩 존 가속

Azure Batch 와 Azure CycleCloud 는 모두 Azure에서 제공하는 자사 서비스이며 , Azure HPC OnDemand Platform (AzHOP)은 Azure의 완전한 HPC 클러스터 솔루션에 대한 엔드 투 엔드 배포 메커니즘을 제공하는 Azure Cycle Cloud를 기반으로 구축된 자동화입니다.

Azure Batch

  • Batch는 Azure에서 대규모 병렬 및 HPC 일괄 처리 작업을 효율적으로 실행하도록 설계되었습니다.
  • Batch는 컴퓨팅 노드 또는 VM(가상 머신)의 풀을 만들고 관리합니다. Batch를 사용하여 실행하려는 애플리케이션을 설치하고 노드에서 실행할 작업을 예약할 수도 있습니다.
  • 설치하거나 관리하거나 크기를 조정할 클러스터 또는 작업 스케줄러 소프트웨어가 없습니다.
  • Batch는 본질적인 병렬 워크로드에 잘 작동합니다. 이러한 워크로드에는 독립적으로 실행할 수 있는 애플리케이션이 있으며 각 인스턴스는 작업의 일부를 완료합니다.
  • Batch를 사용하여 긴밀하게 결합된 워크로드를 실행할 수도 있습니다. 여기서 실행하는 애플리케이션은 독립적으로 실행하지 않고 서로 통신해야 합니다.
  • Batch 작업은 Batch 풀의 VM 또는 노드에서 직접 실행할 수 있습니다. 그러나 노드의 Docker 호환 컨테이너에서 작업을 실행하도록 Batch 풀을 설정할 수도 있습니다.

Azure CycleCloud

  • SLURM, OpenPBS, PBSPro, LSF, 그리드 엔진 및 HTCondor12와 같은 다양한 HPC 스케줄러를 지원합니다.
  • 가상 머신, 확장 집합, 네트워크 인터페이스 및 디스크와 같은 HPC 시스템에 대한 인프라를 프로비전할 수 있습니다.
  • 작업 부하, 가용성 및 시간 요구 사항에 따라 모든 규모에서 효율적으로 작업을 실행하도록 인프라의 크기를 자동으로 조정합니다.
  • Azure에서 완전한 HPC 환경을 생성하기 위한 풍부하고 선언적인 템플릿 형식을 제공합니다.
  • Azure Monitor 및 Azure Cost Management 도구와 같은 Azure 서비스와 통합됩니다.

AzHop

  • AzHop은 CycleCloud를 활용하여 작업을 오케스트레이션하는 Azure의 기본 HPC 인프라에 대한 엔드 투 엔드 배포 메커니즘을 제공합니다.
  • 사용자가 애플리케이션을 실행할 준비가 되어 있고 HPC 관리자가 쉽게 배포하고 관리할 수 있는 완전한 HPC 클러스터 솔루션을 제공합니다.
  • AzHop은 "있는 그대로" 사용할 수 있는 다양한 애플리케이션을 기본으로 사용하거나, 충족되지 않은 요구 사항을 충족하도록 쉽게 사용자 지정하고 확장할 수 있습니다.
  • 여기에는 통합 사용자 액세스, 원격 셸 액세스, 원격 시각화 액세스, 작업 제출, 파일 액세스 등을 위한 Open OnDemand 포털이 포함됩니다.
  • 사용자 인증 및 기본 제어에 Active Directory를 사용합니다.
  • OpenPBS 또는 SLURM(리소스 관리용 단순 Linux 유틸리티)을 작업 스케줄러로 사용합니다.
  • 동적 리소스 프로비저닝 및 자동 크기 조정은 최적화되지 않은 노드를 신속하게 방지하기 위해 CycleCloud 미리 구성된 작업 큐 및 통합 상태 검사 의해 수행됩니다.
  • Azure NetApp Files 는 홈 디렉터리 및 애플리케이션에 대한 공유 파일 시스템을 제공합니다.

비교 차트

기능 Azure Batch Azure CycleCloud
일정 담당자 Batch API 및 도구를 사용할 수 있습니다. Azure Portal에서 클라우드 네이티브 명령줄 스크립트를 사용할 수도 있습니다. SLURM, OpenPBS, PBSPro, LSF, 그리드 엔진 및 HTCondor와 같은 표준 HPC 스케줄러를 사용할 수 있습니다. 또는 Azure CycleCloud 자동 크기 조정 플러그 인을 확장하여 사용자 고유의 스케줄러로 작업할 수 있습니다.
Compute 리소스 SaaS(Software as a Service) 노드 - PaaS(Platform as a Service). PaaS 소프트웨어 – PaaS.
모니터링 도구 Azure Monitor Azure Monitor 및 Grafana.
사용자 지정 사용자 지정 이미지 풀, 타사 이미지 또는 Batch API 액세스를 사용할 수 있습니다. 포괄적인 RESTful API를 사용하여 기능을 사용자 지정 및 확장하고, 고유한 스케줄러를 배포하고, 기존 워크로드 관리자를 지원할 수 있습니다.
통합 Azure Synapse Analytics 파이프라인, Azure Data Factory 및 Azure CLI. Windows 및 Linux용 기본 제공 CLI입니다.
사용자 유형 개발자 클래식 HPC 관리자 및 사용자.
작업 유형 일괄 처리 및 워크플로. MPI(메시지 전달 인터페이스)를 사용하는 긴밀하게 결합된 워크플로입니다.
Windows 지원 제공. 스케줄러 선택에 따라 달라집니다.

Azure CycleCloud 및 Azure Batch는 Azure에서 HPC 작업을 위한 강력한 도구이지만 다양한 사용 사례를 위해 설계되었습니다.

Azure CycleCloud는 Azure에서 HPC 환경을 오케스트레이션하고 관리하기 위한 엔터프라이즈 친화적인 도구입니다. 특정 스케줄러를 염두에 두고 HPC 환경을 배포하려는 HPC 관리자 및 사용자를 대상으로 합니다. Azure CycleCloud는 NFS(네트워크 파일 공유) 서버, 병렬 파일 시스템, 로그인 호스트, 라이선스 서버 및 디렉터리 서비스를 포함하여 Azure에서 완전한 HPC 환경을 구성하는 강력한 도구를 제공합니다. 이 기능은 HPC 환경을 한동안 운영하고 있으며 특정 스케줄러를 중심으로 수년간의 전문 지식과 사내 도구를 축적한 조직에 유용합니다.

반면 Batch는 주로 자신의 제품 또는 서비스에 역량을 구축하는 개발자와 팀을 대상으로 합니다. Batch는 자체 스케줄러를 포함하며 클러스터 또는 작업 스케줄러 소프트웨어 없이 대규모 병렬 작업을 효율적으로 실행하도록 설계되었습니다. Batch는 워크로드 스케줄러를 관리할 필요가 없는 경우에 유용합니다.

요약하자면, 특정 스케줄러를 염두에 두고 HPC 환경을 배포하고 완전한 HPC 환경이 필요한 경우 Azure CycleCloud를 사용합니다. 대규모 병렬 처리가 필요하고 워크로드 스케줄러를 관리하지 않으려는 제품 또는 서비스를 개발할 때 Batch를 사용합니다.

다음 단계