Azure CycleCloud는 Azure에서 HPC(고성능 컴퓨팅) 환경을 오케스트레이션하고 관리하기 위한 엔터프라이즈급 도구입니다. CycleCloud를 사용하면 HPC 시스템에 대한 인프라를 프로비전하고, 친숙한 HPC 스케줄러를 배포하고, 인프라를 자동으로 확장하여 모든 규모에서 작업을 효율적으로 실행할 수 있습니다. CycleCloud를 통해 다양한 유형의 파일 시스템을 만들고 컴퓨팅 클러스터 노드에 탑재하여 HPC 워크로드를 지원할 수 있습니다.
특정 스케줄러를 사용하여 HPC 환경을 설정하려는 HPC 관리자 및 사용자는 Azure CycleCloud를 사용합니다. Slurm, PBSPro, LSF, Grid Engine 및 HT-Condor와 같은 인기 있는 스케줄러를 지원합니다. CycleCloud는 Azure Batch의 자매 제품으로, Azure에서 Scheduler as a Service를 제공합니다.
CycleCloud가 다른 Azure HPC 솔루션과 비교되는 방법에 대한 자세한 내용은 Azure의 HPC(고성능 컴퓨팅)를 참조하세요.
배치 및 HPC 워크로드를 위해 Azure 서비스를 선택하세요
일정 관리 경험과 업무량 제어 수준에 따라 서비스를 선택하세요:
| Service | 가장 적합한 경우 | 작동 모델 |
|---|---|---|
| Azure Batch | 스케줄러 소프트웨어를 운영할 필요가 없는 병렬 및 고처리량 워크로드 | Azure는 스케줄링 서비스를 제공합니다. 사용자는 Batch API 및 도구를 사용해 개발하고, Batch는 풀, 노드, 작업 및 태스크를 관리합니다. |
| Azure CycleCloud | 특정 스케줄러, 맞춤형 클러스터 토폴로지, 또는 기존 온프레미스 워크플로우와의 밀접한 정렬이 필요한 HPC 환경 | 스케줄러와 클러스터 구성을 배포하고 관리합니다. CycleCloud는 Azure 인프라를 프로비저닝하고 자동 확장합니다. |
| Azure CycleCloud Workspace for Slurm | HPC 또는 AI 워크로드를 위한 즉시 배포 가능한 슬럼 환경을 원하는 팀 | 마켓플레이스 솔루션은 Azure 구독 내에서 CycleCloud, Slurm, 네트워킹, 스토리지, Access 구성 요소를 배포합니다. |
현재 환경을 결정 요인으로 삼으세요:
| 출발점 | 선호하다 | 이유 |
|---|---|---|
| 스케줄러별 작업 스크립트, 큐, 정책 또는 통합은 반드시 보존해야 합니다. | Azure CycleCloud | CycleCloud는 지원되는 스케줄러를 운영하고 기존 워크플로우에 맞춰 클러스터를 맞춤화할 수 있게 해줍니다. |
| Slurm이 필요하지만, 미리 정의된 환경이 토폴로지와 통합 요구사항을 충족합니다. | Slurm용 Azure CycleCloud 작업 영역 | 마켓플레이스 솔루션은 사용자가 작업을 제출하기 전에 필요한 인프라 설계 및 통합 작업을 줄여줍니다. |
| API를 통해 독립적인 작업이나 MPI 작업을 제출할 수 있는 애플리케이션을 만들고 있으며, 스케줄러별 동작에 의존하지 않습니다. | Azure Batch | Batch는 서비스형 스케줄링을 제공하므로 팀에서 스케줄러 소프트웨어를 운영하지 않습니다. |
워크로드가 Slurm을 사용한다는 이유만으로 CycleCloud를 선택하지 마세요. 미리 정의된 슬럼 환경이 요구사항에 부합한다면, Workspace for Slurm은 설정 작업을 줄여줍니다. 워크로드가 스케줄러에 종속되지 않는다면 Batch는 스케줄러를 운영하고 클러스터를 구성해야 하는 운영 책임을 피할 수 있습니다.
운영 구현 전에 CycleCloud가 왜 적합한지, 거부한 대안, 스케줄러 호환성 테스트, 클러스터 토폴로지, 피크 용량과 할당량, 스토리지 벤치마크, 장애-복구 방식, 그리고 대표 작업당 시간과 비용을 기록하세요. 안내는 'HPC 클러스터 계획 및 크기 조절'을 참조하세요.
Azure CycleCloud를 사용하는 이유
오랜 HPC 환경을 갖춘 조직은 종종 특정 스케줄러를 중심으로 심층적인 전문 지식과 사용자 지정 도구를 구축합니다. Azure에서 이러한 설정을 이동하거나 다시 디자인하면 부담이 될 수 있습니다. CycleCloud는 VM(가상 머신), 확장 집합, 네트워크 인터페이스 및 디스크와 같은 기본 Azure 구성 요소를 간소화합니다. 이 간소화를 통해 HPC 관리자는 노드를 포함하고 원하는 대로 구성할 수 있는 스케줄러를 포함하는 HPC 클러스터와 익숙한 항목에 집중할 수 있습니다.
CycleCloud는 지원되는 스케줄러에 자동 크기 조정 플러그 인을 추가합니다. 이 기능을 사용하면 사용자는 복잡한 자동 크기 조정 루틴을 빌드할 필요가 없습니다. 이미 알고 있는 스케줄러 설정으로만 작동합니다.
풍부한 선언적 템플릿 형식을 사용하는 CycleCloud는 Azure에서 완전한 HPC 환경을 구성하는 강력한 도구를 제공합니다. 사용자는 단일 관리 평면을 통해 기본적으로 HPC 시스템에 필요한 모든 구성 요소인 NFS 서버, 병렬 파일 시스템, 인증 호스트, 라이선스 서버 및 디렉터리 서비스를 포함하는 환경을 배포할 수 있습니다.
CycleCloud는 Azure Monitor 및 Microsoft Cost Management 도구와 같은 Azure 서비스와 통합됩니다.
CycleCloud 기능
| 역량 | 이미지 |
|---|---|
|
스케줄러 독립성 Slurm, PBS Pro, LSF, Grid Engine 및 HTCondor와 같은 표준 HPC 스케줄러를 사용하거나 CycleCloud 자동 크기 조정 플러그 인을 확장하여 사용자 고유의 스케줄러와 작동합니다. |
|
|
컴퓨팅 리소스 관리 가상 머신 및 확장 집합을 관리하여 동적 워크로드 요구 사항을 충족하는 유연한 컴퓨팅 리소스 집합을 제공합니다. |
|
|
리소스 자동 크기 조정 작업 부하, 가용성 및 시간 요구 사항에 따라 클러스터 크기 및 구성 요소를 자동으로 조정합니다. |
|
|
모니터링 및 분석 시각화 도구를 사용하여 성능 데이터 수집 및 분석 |
|
|
템플릿 클러스터 CycleCloud 템플릿을 사용하여 커뮤니티와 클러스터 토폴로지 공유 |
|
|
기능 사용자 지정 및 확장 포괄적인 RESTful API를 사용하여 기능을 사용자 지정 및 확장하고, 고유한 스케줄러를 배포하고, 기존 워크로드 관리자에 지원을 제공합니다. |
|
|
기존 워크플로에 통합 기본 제공 CLI를 사용하여 기존 워크플로 및 도구에 통합 |
|
| 역량 | 이미지 |
|---|---|
|
스케줄러 독립성 Slurm, PBS Pro, LSF, Grid Engine 및 HTCondor와 같은 표준 HPC 스케줄러를 사용하거나 CycleCloud 자동 크기 조정 플러그 인을 확장하여 사용자 고유의 스케줄러와 작동합니다. |
|
|
컴퓨팅 리소스 관리 가상 머신 및 확장 집합을 관리하여 동적 워크로드 요구 사항을 충족하는 유연한 컴퓨팅 리소스 집합을 제공합니다. |
|
|
리소스 자동 크기 조정 작업 부하, 가용성 및 시간 요구 사항에 따라 클러스터 크기 및 구성 요소를 자동으로 조정합니다. |
|
|
모니터링 및 분석 시각화 도구를 사용하여 성능 데이터 수집 및 분석 |
|
|
템플릿 클러스터 CycleCloud 템플릿을 사용하여 커뮤니티와 클러스터 토폴로지 공유 |
|
|
기능 사용자 지정 및 확장 포괄적인 RESTful API를 사용하여 기능을 사용자 지정 및 확장하고, 고유한 스케줄러를 배포하고, 기존 워크로드 관리자에 지원을 제공합니다. |
|
|
기존 워크플로에 통합 기본 제공 CLI를 사용하여 기존 워크플로 및 도구에 통합 |
|
Azure CycleCloud를 사용하려면 어떻게 해야 하나요?
Azure CycleCloud는 온-프레미스 또는 Azure VM에서 실행할 수 있는 설치 가능한 웹 애플리케이션입니다. 설치되면 준비된 Azure 구독에서 컴퓨팅 및 데이터 리소스를 사용하도록 CycleCloud를 구성할 수 있습니다. CycleCloud는 스케줄러(PBSPro, LSF, 그리드 엔진, Slurm, HTCondor) 및 파일 시스템에 대한 많은 공식 클러스터 템플릿을 제공합니다. CycleCloud 커뮤니티는 클러스터 템플릿도 제공합니다. 이러한 클러스터 템플릿을 수정되지 않은 상태로 사용하거나 특정 요구 사항에 맞게 사용자 지정할 수 있습니다.
클러스터를 만들 때 자동으로 크기 조정하여 스케줄러에 보내는 계산 작업을 처리합니다. CycleCloud 관리 기능은 조직의 다른 사용자에 대한 CycleCloud 클러스터에 대한 액세스를 제어합니다.
템플릿 및 구성 스크립트를 포함하는 도구를 사용하면 복잡한 HPC 환경을 신속하게 빌드하고 조직 전체의 여러 팀에 대해 이러한 설정을 복제할 수 있습니다.
CycleCloud가 아닌 것
CycleCloud에는 작업 예약 기능이 포함되지 않습니다. 즉, CycleCloud는 스케줄러가 아닙니다. 대신 Azure HPC 리소스를 배포하고 관리할 수 있는 플랫폼입니다. CycleCloud는 PBSPro, Slurm, IBM LSF, 그리드 엔진 및 HTCondor를 포함하여 일반적으로 사용되는 여러 스케줄러를 기본적으로 지원합니다. 그러나 CycleCloud 사용자는 제공된 자동 크기 조정 API를 기반으로 자체 스케줄러를 구현할 수도 있습니다.
CycleCloud는 특정 클러스터 토폴로지로 잠기지 않습니다. 여기에는 Azure에서 HPC 시스템을 빠르게 시작하는 데 도움이 되는 템플릿이 포함되어 있으며 이러한 템플릿을 필요에 맞게 사용자 지정할 수 있습니다. Azure HPC 커뮤니티는 다양한 스케줄러 및 다양한 유형의 워크로드에 최적화된 템플릿을 제공합니다.
CycleCloud 배포 환경의 모양
Azure 인프라에 전체 CycleCloud HPC 시스템을 배포할 수 있습니다. Azure 리소스 공급자 API에 대한 아웃바운드 액세스가 필요한 Azure의 VM에 애플리케이션 서버로 CycleCloud를 설치합니다. CycleCloud는 HPC 시스템을 구성하는 VM을 시작하고 관리합니다. 이러한 VM에는 일반적으로 스케줄러 헤드 노드 및 컴퓨팅 노드가 포함됩니다. 필요에 따라 NFS 서버, 인증 노드 또는 요새 호스트와 같은 다른 구성 요소를 추가할 수도 있습니다. CycleCloud 템플릿에서 전체 설정을 정의할 수 있습니다. NetApp Files 또는 Microsoft Entra ID Services와 같은 Azure 서비스에 연결할 수도 있습니다.