Sdílet prostřednictvím


Koncepty plánování a automatického škálování CycleCloudu

CycleCloud není plánovač, ale platforma, která umožňuje nasadit vlastní plánovač v Azure. Plánovač spravuje a distribuuje úlohy do clusteru uzlů. CycleCloud poskytuje rozhraní REST API a knihovnu Pythonu pro vývoj adaptérů automatického škálování pro plánovače. S těmito adaptéry se spravované clustery zvětšují nebo zmenšují podle délky front úloh a řídících zásad.

Diagram orchestrace

Plánovače

Plánovač je software, který přijímá seznam úloh (nebo úkolů) a distribuuje tyto úkoly do fondů dostupných zdrojů. Bere v úvahu požadavky na prostředky úloh, závislostí mezi úlohami a prioritami. Tyto seznamy úloh se běžně označují jako fronty.

CycleCloud nabízí integrovanou podporu pro mnoho běžně používaných plánovačů (PBS Professional OSS, Slurm, IBM LSF, Grid Engine a HT Condor). Poskytuje šablony pro nasazení těchto plánovačů v Azure. Tyto šablony jsou výchozí topologie, které představují osvědčené postupy pro vytváření clusterů PROSTŘEDÍ HPC v Azure. Používají jedinečné specializované funkce, jako jsou sítě InfiniBand s nízkou latencí.

Projekty se navíc vytvářejí pro každý plánovač. Pomocí projektů můžete nainstalovat a inicializovat démony plánovače na hlavní uzly a výpočetní uzly.

Adaptéry plánovače

Adaptéry vytvořené pro každý typ plánovače hrají dvě primární role. Jedna funkce agreguje požadavky na prostředky z front plánovače. Druhá role překládá požadavky na prostředky na žádosti o přidělení pro sady velikostí virtuálních počítačů Azure. Vytvořte tyto žádosti o přidělení pro určitá omezení. Tato omezení můžou zahrnovat kvóty virtuálních počítačů, omezení velikosti clusteru a omezení stanovená topologií sítě InfiniBand pro odpovídající velikosti virtuálních počítačů. V některých aspektech se tyto adaptéry podobají zprostředkovateli, který vyjednává poptávku a nabídku od více stran.

Obrazovka

Monitorování je proces, který běží na aplikačním serveru CycleCloud a pravidelně dotazuje služby Azure na dostupnost prostředků v předplatném Azure. Tento monitor poskytuje tyto informace adaptérům plánovače pro zprostředkování poptávky.

Správce uzlů

Alokátor uzlu běží na aplikačním serveru CycleCloud. Obdrží požadavek na přidělení z adaptérů plánovače prostřednictvím rozhraní REST API, zřídí prostředky Azure potřebné ke splnění požadavku a zobrazí zřízené prostředky zpět do adaptérů plánovače jako sady uzlů.

Poznámka:

Základní koncepty jsou sice mezi plánovači běžné, ale podrobnosti implementace se mezi plánovači liší. Další informace o každé implementaci najdete na jednotlivých stránkách plánovače: