Azure CycleCloud란?
Azure CycleCloud는 Azure에서 HPC(고성능 컴퓨팅) 환경을 오케스트레이션하고 관리하기 위한 엔터프라이즈급 도구입니다. CycleCloud를 사용하면 사용자는 HPC 시스템에 대한 인프라를 프로비전하고, 친숙한 HPC 스케줄러를 배포하고, 인프라를 자동으로 스케일링하여 모든 규모에서 작업을 효율적으로 실행할 수 있습니다. CycleCloud를 통해 사용자는 다양한 유형의 파일 시스템을 만들고 컴퓨팅 클러스터 노드에 탑재하여 HPC 워크로드를 지원할 수 있습니다.
Azure CycleCloud는 특정 스케줄러를 염두에 두고 HPC 환경을 배포하려는 HPC 관리자 및 사용자를 대상으로 합니다. Slurm, PBSPro, LSF, Grid Engine 및 HT-Condor 같은 일반적으로 사용되는 스케줄러는 기본적으로 지원됩니다. CycleCloud는 Azure에서 Scheduler as a Service를 제공하는 Azure Batch 자매 제품입니다.
CycleCloud가 다른 Azure HPC 솔루션과 비교하는 방법에 대한 자세한 내용은 Azure의 HPC(고성능 컴퓨팅) 를 참조하세요.
Azure CycleCloud를 사용해야 하는 이유는 무엇인가요?
한동안 HPC 환경을 운영해 온 조직은 일반적으로 특정 스케줄러를 중심으로 수년간의 전문 지식과 사내 도구를 축적하고 이러한 환경을 Azure에 다시 설계하거나 배포하는 것은 어려울 수 있습니다. CycleCloud는 VM, 확장 집합, 네트워크 인터페이스 및 디스크와 같은 기본 Azure 구성 요소를 추상화합니다. 이를 통해 HPC 관리자는 노드로 구성된 HPC 클러스터와 구성 가능한 스케줄러에 집중할 수 있습니다.
CycleCloud는 지원되는 스케줄러 위에 자동 크기 조정 플러그 인을 배포하므로 사용자는 복잡한 자동 크기 조정 함수 및 루틴 자체를 구현할 필요가 없으며 익숙한 스케줄러 수준 구성과만 인터페이스합니다.
풍부하고 선언적인 템플릿 형식의 CycleCloud는 Azure에서 완전한 HPC 환경을 구성하는 강력한 도구를 제공합니다. 사용자는 NFS 서버, 병렬 파일 시스템, 로그인 호스트, 라이선스 서버 및 디렉터리 서비스(기본적으로 HPC 시스템에 필요한 모든 구성 요소)를 포함하는 환경을 단일 관리 평면을 통해 배포할 수 있습니다.
CycleCloud는 Azure Monitor 및 Azure Cost Management 도구와 같은 Azure 서비스와 통합됩니다.
CycleCloud 기능
|
스케줄러 독립적 Slurm, PBS Pro, LSF, Grid Engine 및 HTCondor와 같은 표준 HPC 스케줄러를 사용하거나 CycleCloud 자동 크기 조정 플러그 인을 확장하여 자체 스케줄러와 함께 작동합니다. |
|
|
컴퓨팅 리소스 관리 가상 머신 및 확장 집합을 관리하여 동적 워크로드 요구 사항을 충족할 수 있는 유연한 컴퓨팅 리소스 집합을 제공합니다. |
|
|
리소스 자동 크기 조정 작업 부하, 가용성 및 시간 요구 사항에 따라 클러스터 크기 및 구성 요소 자동 조정 |
|
|
모니터링 및 분석 시각화 도구를 사용하여 성능 데이터 수집 및 분석 |
|
|
템플릿 클러스터 CycleCloud 템플릿을 사용하여 커뮤니티와 클러스터 토폴로지 공유 |
|
|
기능 사용자 지정 및 확장 포괄적인 RESTful API를 사용하여 기능을 사용자 지정 및 확장하고, 고유한 스케줄러를 배포하고, 기존 워크로드 관리자에 지원을 제공합니다. |
|
|
기존 워크플로에 통합 기본 제공 CLI를 사용하여 기존 워크플로 및 도구에 통합 |
|
|
스케줄러 독립적 Slurm, PBS Pro, LSF, Grid Engine 및 HTCondor와 같은 표준 HPC 스케줄러를 사용하거나 CycleCloud 자동 크기 조정 플러그 인을 확장하여 자체 스케줄러와 함께 작동합니다. |
|
|
컴퓨팅 리소스 관리 가상 머신 및 확장 집합을 관리하여 동적 워크로드 요구 사항을 충족할 수 있는 유연한 컴퓨팅 리소스 집합을 제공합니다. |
|
|
리소스 자동 크기 조정 작업 부하, 가용성 및 시간 요구 사항에 따라 클러스터 크기 및 구성 요소 자동 조정 |
|
|
모니터링 및 분석 시각화 도구를 사용하여 성능 데이터 수집 및 분석 |
|
|
템플릿 클러스터 CycleCloud 템플릿을 사용하여 커뮤니티와 클러스터 토폴로지 공유 |
|
|
기능 사용자 지정 및 확장 포괄적인 RESTful API를 사용하여 기능을 사용자 지정 및 확장하고, 고유한 스케줄러를 배포하고, 기존 워크로드 관리자에 지원을 제공합니다. |
|
|
기존 워크플로에 통합 기본 제공 CLI를 사용하여 기존 워크플로 및 도구에 통합 |
|
Azure CycleCloud를 사용하려면 어떻게 하나요?
Azure CycleCloud는 온-프레미스 또는 Azure VM에서 실행할 수 있는 설치 가능한 웹 애플리케이션입니다. 설치되면 준비한 Azure 구독에서 컴퓨팅 및 데이터 리소스를 사용하도록 CycleCloud를 구성할 수 있습니다. CycleCloud는 스케줄러(PBSPro, LSF, Grid Engine, Slurm, HTCondor) 및 파일 시스템(NFS, BeeGFS)에 대한 여러 공식 클러스터 템플릿을 제공합니다. CycleCloud 커뮤니티에서 제공하는 클러스터 템플릿도 사용할 수 있습니다. 수정되지 않은 이러한 클러스터 템플릿을 사용하거나 특정 요구 사항에 맞게 사용자 지정할 수 있습니다.
클러스터가 만들어지면 스케줄러에 제출되는 계산 작업을 처리하도록 기본적으로 자동 크기 조정되도록 자동으로 구성됩니다. CycleCloud 관리 기능은 organization 다른 사용자에 대한 CycleCloud 클러스터에 대한 액세스를 제어합니다.
템플릿 및 구성 스크립트를 사용하는 도구를 사용하면 복잡한 HPC 환경을 신속하게 빌드하고 organization 개별 팀에 대해 복제할 수 있습니다.
CycleCloud가 아닌 것은 무엇인가요?
CycleCloud에는 작업 예약 기능이 없습니다. 즉, CycleCloud는 스케줄러가 아니라 사용자가 자신의 스케줄러를 Azure에 배포할 수 있는 플랫폼입니다. CycleCloud는 일반적으로 사용되는 여러 스케줄러(PBSPro, Slurm, IBM LSF, Grid Engine 및 HT Condor)에 대한 기본 제공 지원과 함께 제공되지만 CycleCloud 사용자는 제공된 자동 크기 조정 API를 기반으로 자체 스케줄러를 구현하는 경우가 많습니다.
CycleCloud는 클러스터 토폴로지를 지시하지 않습니다. 설치에는 HPC 시스템을 Azure에서 신속하게 가동하고 실행하도록 설계된 템플릿이 함께 제공되지만 HPC 운영자는 이러한 템플릿을 사용자 지정하여 요구 사항을 충족하도록 인프라를 조정할 수 있습니다. Azure HPC 커뮤니티는 다양한 유형의 워크로드 및 산업에 최적화된 의견을 제시한 템플릿을 제공합니다.
CycleCloud 배포 환경의 모양
전체 CycleCloud HPC 시스템을 Azure 인프라에 배포할 수 있습니다. CycleCloud 자체는 Azure 리소스 공급자 API에 대한 아웃바운드 액세스가 필요한 Azure의 VM에 애플리케이션 서버로 설치됩니다. 그런 다음, CycleCloud는 HPC 시스템을 구성하는 VM을 시작하고 관리합니다. 이러한 VM은 일반적으로 HPC 스케줄러 헤드 노드 및 컴퓨팅 노드로 구성되지만 NFS 서버 또는 BeeGFS 클러스터, 로그인 노드, 요새 호스트 및 HPC 인프라를 지원하는 데 필요한 기타 구성 요소와 같은 VM 기반 네트워크 연결 스토리지를 포함할 수도 있습니다. HPC 시스템의 구성은 CycleCloud 템플릿을 통해 완전히 정의됩니다. 또한 CycleCloud HPC 환경은 Azure NetApp Files, Azure HPC Cache 및 Azure Active Directory 도메인 Service와 같은 다른 PaaS 서비스를 활용할 수 있습니다.