CycleCloud GridEngine 클러스터

이 페이지는 CycleCloud에서 (Altair) GridEngine을 사용하는 기능 및 구성에 대해 설명합니다.

리소스 구성

cyclecloud-gridengine 애플리케이션은 sge 리소스를 Azure 클라우드 리소스와 일치하여 풍부한 자동 크기 조정 및 클러스터 구성 도구를 제공합니다. 애플리케이션은 CycleCloud UI를 통해 만든 클러스터에 대해 자동으로 배포되거나 기존 클러스터의 모든 Gridengine 관리자 호스트에 설치할 수 있습니다.

cyclecloud-gridengine 설치 또는 업그레이드

cyclecloud-gridengine 번들은 github 에서 릴리스 아티팩트로 사용할 수 있습니다. 설치 및 업그레이드는 동일한 프로세스입니다. 애플리케이션에는 virtualenv를 사용하는 python3이 필요합니다.

tar xzf cyclecloud-gridengine-pkg-*.tar.gz
cd cyclecloud-gridengine
./install.sh

중요한 파일

애플리케이션은 작업, 큐, 복소수 등 호출할 때마다 sge 구성을 구문 분석합니다. 정보는 구성 가능한 수준에서 로그 파일뿐만 아니라 명령의 stderr 및 stdout에 제공됩니다. 인수가 있는 모든 gridengine 관리 명령도 파일에 기록됩니다.

Description	위치
자동 크기 조정 구성	/opt/cycle/gridengine/autoscale.json
자동 크기 조정 로그	/opt/cycle/jetpack/logs/autoscale.log
qconf 추적 로그	/opt/cycle/jetpack/logs/qcmd.log

SGE 큐, 호스트 그룹 및 병렬 환경

cyclecloud-gridengine 자동 크기 조정 유틸리티인 azge는 클러스터 구성에 따라 클러스터에 호스트를 추가합니다. 자동 크기 조정 작업은 다음 작업을 수행합니다.

1. 작업 리소스 요청을 읽고 시작할 적절한 VM을 찾습니다.
2. VM을 시작하고 VM이 준비될 때까지 기다립니다.
3. 작업에서 큐 및 병렬 환경을 읽습니다.
4. 큐/pe에 따라 적절한 호스트 그룹에 호스트 할당
5. 호스트 그룹을 포함하는 다른 큐뿐만 아니라 클러스터에 호스트를 추가합니다.

short.q라는 큐에 대해 다음 큐 정의를 고려합니다.

hostlist              @allhosts @mpihg01 @mpihg02 @lowprio 
...
seq_no                10000,[@lowprio=10],[@mpihg01=100],[@mpihg02=200]
pe_list               NONE,[@mpihg01=mpi01], \
                      [@mpihg02=mpi02]

를 통해 qsub -q short.q -pe mpi02 12 my-script.sh 작업을 제출하면 하나의 VM 임대에서 시작되며 클러스터에 추가되면 큐와 병렬 환경에서 모두 사용할 수 있는 호스트 그룹이기 때문에 호스트 그룹 @mpihg02 조인됩니다. 또한 특수 호스트 그룹인 @allhosts 추가됩니다.

pe qsub -q short.q my-script.sh 를 지정하지 않으면 결과 VM이 @allhosts 추가되고 pes가 할당되지 않은 큐의 호스트 그룹이 @lowpriority .

마지막으로 을 사용하여 제출된 qsub -q short.q -pe mpi0* 12 my-script.sh 작업으로 인해 CycleCloud 할당 예측에 따라 VM이 @mpihg01 또는 @mpihg02 추가됩니다.

병렬 환경은 cyclecloud 배치 그룹과 암시적으로 동일합니다. PE의 VM은 동일한 네트워크 내에 있도록 제한됩니다. 배치 그룹을 유지하지 않는 PE를 사용하려는 경우 autoscale.json 을 사용하여 옵트아웃합니다.

여기서는 make pe에 대한 배치 그룹을 옵트아웃합니다.

"gridengine": {
    "pes": {
      "make": {
        "requires_placement_groups": false
      }
    },

CycleCloud 배치 그룹

CycleCloud 배치 그룹은 SinglePlacementGroup을 사용하여 Azure VMSS에 일대일 매핑 - 배치 그룹의 VM은 Infiniband 패브릭을 공유하고 배치 그룹 내의 VM과만 공유합니다. 이러한 사일로를 직관적으로 유지하기 위해 배치 그룹은 1:1을 Gridengine 병렬 환경과 매핑합니다.

작업에 대한 병렬 환경을 지정하면 스마트 호스트 그룹 할당 논리를 통해 배치 그룹에서 작업이 실행되도록 제한됩니다. autoscale.json: "required_placement_groups" : false에서 앞서 언급한 구성을 사용하여 이 동작을 옵트아웃할 수 있습니다.

자동 크기 조정 구성

이 플러그 인은 워크로드의 요구에 맞게 그리드의 크기를 자동으로 조정합니다. autoscale.json 구성 파일은 그리드 엔진 자동 크기 조정기의 동작을 결정합니다.

• cyclecloud 연결 세부 정보 설정
• 유휴 노드에 대한 종료 타이머 설정
• 다차원 자동 크기 조정이 가능하며, 작업 압축에 사용할 특성(예: 슬롯, 메모리)을 설정합니다.
• 관리할 큐, 병렬 환경 및 호스트 그룹 등록

구성	유형	설명
url	String	CC URL
username/password	String	CC 연결 세부 정보
cluster_name	String	CC 클러스터 이름
default_resources	맵	자동 크기 조정을 위해 노드 리소스를 그리드 엔진 호스트 리소스에 연결
idle_timeout	Int	유휴 노드를 종료하기 전에 대기 시간(들)
boot_timeout	Int	긴 구성 단계 동안 노드를 종료하기 전에 대기 시간(들)
gridengine.relevant_complexes	목록(문자열)	자동 크기 조정에서 고려해야 할 그리드 엔진 복소수(예: 슬롯) mem_free
gridengine.logging	파일	로깅 구성 파일의 위치
gridengine.pes	구조체	PE의 동작 지정(예: requires_placement_group = false)

자동 크기 조정 프로그램은 관련 리소스만 고려합니다.

추가 자동 크기 조정 리소스

기본적으로 작업에 의해 요청되는 슬롯 수에 따라 크기가 조정된 클러스터입니다. 자동 크기 조정에 다른 차원을 추가할 수 있습니다.

에 대한 m_mem_free작업 리소스 요청으로 자동 크기 조정하려고 합니다.

1. autoscale.json의 gridengine.relevant_resources 에 추가 m_mem_free
2. autoscale.json의 노드 수준 메모리 리소스에 연결 m_mem_free

이러한 특성은 node.* 를 _default/리소스의 값 으로 참조할 수 있습니다.

노드	유형	Description
nodearray	String	cyclecloud nodearray의 이름
placement_group	String	nodearray 내의 cyclecloud 배치 그룹의 이름
vm_size	String	VM 제품 이름(예: "Standard_F2s_v2"
vcpu_count	Int	개별 제품 페이지에 표시된 대로 노드에서 사용할 수 있는 가상 CPU
pcpu_count	Int	노드에서 사용할 수 있는 물리적 CPU
메모리	String	단위 표시기가 있는 VM에서 사용할 수 있는 대략적 실제 메모리(예: "8.0g")

추가 특성은 네임스페이 node.resources.* 스에 있습니다(예: 'node.resources).

노드	유형	Description
ncpus	String	VM에서 사용할 수 있는 CPU 수
pcpus	String	VM에서 사용할 수 있는 실제 CPU 수
ngpus	정수	VM에서 사용할 수 있는 GPU 수
memb	String	단위 표시기가 있는 VM에서 사용할 수 있는 대략적 실제 메모리(예: "8.0b")
memkb	String	단위 표시기가 있는 VM에서 사용할 수 있는 대략적 실제 메모리(예: "8.0k")
memmb	String	단위 표시기가 있는 VM에서 사용할 수 있는 대략적 실제 메모리(예: "8.0m")
memgb	String	단위 표시기가 있는 VM에서 사용할 수 있는 대략적 실제 메모리(예: "8.0g")
memtb	String	단위 표시기가 있는 VM에서 사용할 수 있는 대략적 실제 메모리(예: "8.0t")
slots	정수	ncpus와 동일
slot_type	String	확장에 대한 추가 레이블입니다. 일반적으로 사용되지 않습니다.
m_mem_free	String	실행 호스트에 사용 가능한 메모리가 필요합니다(예: "3.0g").
mfree	String	_m/_mem/무료와 동일

리소스 매핑

default_resources 사용할 수 있는 수학도 있습니다. 특정 노드 배열의 슬롯을 2씩 줄이고 docker 리소스를 모든 노드에 추가합니다.

    "default_resources": [
    {
      "select": {"node.nodearray": "beegfs"},
      "name": "slots",
      "value": "node.vcpu_count",
      "subtract": 2
    },
    {
      "select": {},
      "name": "docker",
      "value": true
    },

노드 vCPU를 복합 슬롯 및 memmb 에 매핑하는 mem_free 것은 일반적으로 사용되는 기본값입니다. 첫 번째 연결이 필요합니다.

    "default_resources": [
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
    {
      "select": {},
      "name": "mem_free",
      "value": "node.resources.memmb"
    }
 ],

복합에 전체 값과 같지 않은 바로 가기가 있는 경우 default_resources 모두 정의합니다. 여기서 physical_cpu 은 복합 이름입니다.

"default_resources": [
    {
      "select": {},
      "name": "physical_cpu",
      "value": "node.pcpu_count"
    },
    {
      "select": {},
      "name": "pcpu",
      "value": "node.resources.physical_cpu"
    }
]

특정 특성에 대한 특정 동작을 원하는 경우 순서 지정이 중요합니다. 다른 모든 nodearray에 대한 기본 슬롯 수를 유지하면서 특정 nodearray에 단일 슬롯을 할당하려면 다음을 수행합니다.

    "default_resources": [
    {
      "select": {"node.nodearray": "FPGA"},
      "name": "slots",
      "value": "1",
    },
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
]

호스트 그룹

CycleCloud 자동 크기 조정기는 작업 요구 사항을 충족하기 위해 노드를 적절한 호스트 그룹에 매핑합니다. 큐, 병렬 환경 및 복소수는 모두 고려됩니다. 대부분의 논리는 적절한 주기클라우드 버킷(및 노드 수량)을 적절한 sge 호스트 그룹과 일치합니다.

제출된 작업의 경우: qsub -q "cloud.q" -l "m_mem_free=4g" -pe "mpi*" 48 ./myjob.sh

CycleCloud는 다음과 같은 호스트 그룹의 교집합을 가져옵니다.

1. cloud.q의 pe_list 포함되며 pe 이름과 일치합니다(예: ). pe_list [@allhosts=mpislots],[@hpc1=mpi]
2. 모든 작업 리소스를 제공하기에 충분한 리소스 및 구독 할당량이 있어야 합니다.
3. 호스트 그룹 제약 조건 구성으로 필터링되지 않습니다.

여러 호스트 그룹이 이러한 요구 사항을 충족할 수 있습니다. 이 경우 논리를 선택해야 합니다. 호스트 그룹 멤버 자격의 모호성을 해결하는 세 가지 방법이 있습니다.

1. 모호성이 없도록 큐를 구성합니다.
2. autoscale.json에 제약 조건을 추가합니다.
3. CycleCloud에서 스케줄러 구성을 조정하여 weight_queue_host_sort < weight_queue_seqno 이름 순서대로 일치하는 호스트 그룹을 선택하도록 합니다.
4. 호스트 그룹 기본 설정을 나타내도록 큐 구성에서 를 설정합니다 seq_no 10000,[@hostgroup1=100],[@hostgroup2=200] .

호스트 그룹 제약 조건

큐 또는 xproject에서 여러 호스트 그룹을 정의하면 이러한 모든 호스트 그룹에 호스트가 추가될 수 있습니다. 호스트 그룹 제약 조건을 설정하여 어떤 종류의 호스트를 큐에 추가할 수 있는지 제한할 수 있습니다. 노드 속성에 따라 제약 조건을 설정합니다.

"gridengine": {
    "hostgroups": {
      "@mpi": {
        "constraints": {
          "node.vm_size": "Standard_H44rs"
        }
      },
      "@amd-mem": {
        "constraints" : { 
            "node.vm_size": "Standard_D2_v3",
            "node.nodearray": "hpc" 
            }
        },
    }
  }

힌트: 를 사용하여 사용 가능한 모든 노드 속성을 azge buckets검사합니다.

azge

이 패키지에는 명령줄 azge가 함께 제공됩니다. 이 프로그램은 자동 크기 조정을 수행하는 데 사용해야 하며 자동 크기 조정에서 모든 하위 프로세서를 분할했습니다. 이러한 명령은 설정할 gridengine 환경 변수에 의존합니다. 이 호출되는 동일한 프로필 azge 에서 및 qsub 를 호출 qconf 할 수 있어야 합니다.

azge 명령	Description
validate	자동 크기 조정기 또는 gridengine에서 알려진 구성 오류 확인
jobs	큐의 모든 작업 표시
버킷	자동 크기 조정에 사용할 수 있는 리소스 풀 표시
nodes	클러스터 호스트 및 속성 표시
demand	작업 요구 사항을 cyclecloud 버킷에 일치시키고 자동 크기 조정 결과를 제공합니다.
자동 크기 조정	구성에 따라 전체 자동 크기 조정, 시작 및 제거

스케줄러 구성(qconf) 또는 자동 크기 조정 구성(autoscale.json)을 수정하거나 처음으로 설정할 때 azge 를 사용하여 자동 크기 조정 동작이 예상과 일치하는지 확인할 수 있습니다. 루트로 다음 작업을 실행할 수 있습니다. 자동 크기 조정 동작을 이해하려면 이러한 동작을 숙지하는 것이 좋습니다.

1. 를 실행 azge validate 하여 알려진 문제에 대한 구성을 확인합니다.
2. 를 실행 azge buckets 하여 CycleCloud 클러스터에서 제공하는 리소스를 검사합니다.
3. 를 실행 azge jobs 하여 큐에 대기된 작업 세부 정보를 검사합니다.
4. 실행 azge demand 은 버킷 일치에 대한 작업을 수행하고, 어떤 작업이 어떤 버킷 및 호스트 그룹과 일치하는지 검사합니다.
5. 를 실행 azge autoscale 하여 노드 할당 프로세스를 시작하거나 조인할 준비가 된 노드를 추가합니다.

그런 다음 이러한 명령이 예상대로 작동하면 루트 crontab에 명령을 추가하여 azge autoscale 진행 중인 자동 크기 조정을 사용하도록 설정합니다. (Gridengine 환경 변수 수크)

* * * * * . $SGE_ROOT/common/settings.sh && /usr/local/bin/azge autoscale -c /opt/cycle/gridengine/autoscale.json

하이브리드 클러스터 만들기

CycleCloud는 클라우드로 버스팅하는 시나리오를 지원합니다. 기본 구성에서는 클라우드 노드에서 $SGE_ROOT 디렉터리를 사용할 수 있다고 가정합니다. 이 가정은 를 gridengine.shared.bin = false 설정하고 gridengine.shared.spool = falseGridEngine을 로컬로 설치하여 완화할 수 있습니다. 간단한 경우 디렉터리를 포함하는 $SGE_ROOT 실행 노드에서 탑재할 수 있는 파일 시스템을 제공하고 선택적 설정에서 해당 탑재를 구성해야 합니다. sched 및 공유 디렉터리의 종속성이 해제되면 기본적으로 클러스터의 일부인 스케줄러 노드를 종료하고 외부 파일 시스템의 구성을 사용할 수 있습니다.

1. 새 그리드엔진 클러스터를 만듭니다.
2. 반환 프록시를 사용하지 않도록 설정합니다.
3. /sched 및 /shared를 외부 파일 시스템으로 대체합니다.
4. 클러스터를 저장합니다.
5. UI에서 작업으로 스케줄러 노드를 제거합니다.
6. 클러스터를 시작하고 노드가 처음에 시작되지 않습니다.
7. 새 클러스터를 사용하도록 autoscale.json으로 구성 cyclecloud-gridengine

CycleCloud에서 Univa Grid 엔진 사용

GridEngine용 CycleCloud 프로젝트는 기본적으로 sge-2011.11 을 사용합니다. Altair 라이선스 계약에 따라 자체 Altair GridEngine 설치 관리자를 사용할 수 있습니다.
이 섹션에서는 CycleCloud GridEngine 프로젝트에서 Altair GridEngine을 사용하는 방법을 설명합니다.

필수 구성 요소

이 예제에서는 8.6.1 데모 버전을 사용하지만 모든 ge 버전 > 8.4.0이 지원됩니다.

1. 사용자는 UGE 이진 파일을 제공해야 합니다.

• ge-8.6.x-bin-lx-amd64.tar.gz
• ge-8.6.x-common.tar.gz

2. CycleCloud CLI를 구성해야 합니다. 설명서는 여기에서 사용할 수 있습니다.

클라우드 사물함에 이진 파일 복사

보완 버전의 AGE(8.6.7-demo)는 CycleCloud와 함께 배포됩니다. 다른 버전을 사용하려면 CycleCloud에서 사용하는 스토리지 계정에 이진 파일을 업로드합니다.

$ azcopy cp ge-8.6.12-bin-lx-amd64.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/
$ azcopy cp ge-8.6.12-common.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/

클러스터 템플릿에 대한 구성 수정

gridengine 템플릿의 로컬 복사본을 만들고 기본값 대신 UGE 설치 관리자를 사용하도록 수정합니다.

wget https://raw.githubusercontent.com/Azure/cyclecloud-gridengine/master/templates/gridengine.txt

gridengine.txt 파일에서 의 첫 번째 항목을 [[[configuration]]] 찾아 아래 코드 조각과 일치되도록 텍스트를 삽입합니다. 이 파일은 들여쓰기를 구분하지 않습니다.

참고: 구성의 세부 정보, 특히 버전은 설치 관리자 파일 이름과 일치해야 합니다.

[[[configuration gridengine]]]
    make = ge
    version = 8.6.12-demo
    root = /sched/ge/ge-8.6.12-demo
    cell = "default"
    sge_qmaster_port = "537"
    sge_execd_port = "538"
    sge_cluster_name = "grid1"
    gid_range = "20000-20100"
    qmaster_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool/qmaster" 
    execd_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool"
    spooling_method = "berkeleydb"
    shadow_host = ""
    admin_mail = ""
    idle_timeout = 300

    managed_fs = true
    shared.bin = true

    ignore_fqdn = true
    group.name = "sgeadmin"
    group.gid = 536
    user.name = "sgeadmin"
    user.uid = 536
    user.gid = 536
    user.description = "SGE admin user"
    user.home = "/shared/home/sgeadmin"
    user.shell = "/bin/bash"

이러한 구성은 클러스터가 시작될 때 기본 gridengine 버전 및 설치 위치를 재정의합니다. 클러스터에서 특별히 공유된 /sched nfs 위치이므로 에서 벗어나는 것은 안전하지 않습니다.