CycleCloud: Základní koncepty

Na své nejzákladnější úrovni je systém High Performance Computing (HPC) souhrnem výpočetních zdrojů, které jsou podporovány výkonnými souborovými systémy a propojeny nízkolatenčními sítěmi. Plánovače PROSTŘEDÍ HPC, softwarové aplikace, které plánují úlohy, obvykle spravují tyto výpočetní prostředky.

Vytváření jednotlivých systémů HPC v Azure ze základních jednotek infrastruktury, jako jsou virtuální počítače, disky a síťová rozhraní, můžou být těžkopádná, zejména pokud jsou tyto prostředky dočasné – stávající pouze po dobu potřebnou k vyřešení úlohy prostředí HPC. Kromě toho můžete chtít vytvořit více samostatných prostředí PROSTŘEDÍ HPC přizpůsobená různým obchodním jednotkám, výzkumných týmům nebo jednotlivcům. Správa těchto více systémů HPC může být provozně složitá.

Co je CycleCloud?

Azure CycleCloud je nástroj, který pomáhá vytvářet HPC systémy na Azure. Orchestruje tyto systémy tak, aby se elasticky roztáhovali podle úloh PROSTŘEDÍ HPC, aniž by bylo nutné spravovat základní stavební bloky Azure. Tým zkušených odborníků v prostředí HPC navrhl CycleCloud pro správce a uživatele prostředí HPC, zejména pro uživatele, kteří chtějí vytvářet systémy HPC v Azure, které se podobají interní infrastruktuře PROSTŘEDÍ HPC.

CycleCloud je zprovozněný aplikační server, který nainstalujete na virtuální počítač s Linuxem v Azure nebo na místním serveru, který má přístup k rozhraním API a prostředkům Azure. CycleCloud pořizuje a konfiguruje Azure virtuální stroje, aby vytvořil CycleCloud klastry, které mohou integrovat plánovače a uživatelské aplikace. CycleCloud také poskytuje integrace pro automatické škálování pro řadu HPC plánovačů a CycleCloud agent, který běží na Azure VM.

Aplikační server

Tento aplikační server poskytuje:

• REST API pro vytváření a správu HPC systémů na Azure.
• Grafické uživatelské rozhraní, které používáte ke správě a monitorování systémů HPC.
• Rozhraní CLI, které usnadňuje integraci CycleCloud do stávajících pracovních procesů.
• Interní NoSQL datové úložiště, které ukládá stav clusteru a uzlů do mezipaměti.
• Systém přidělování a orchestrace, který získává a spravuje virtuální počítače Azure.
• Systém sledování uzlů pro stávající VMs, který upozorňuje na změny stavu.

Integrace

CycleCloud také poskytuje integraci do běžných plánovačů a virtuálních počítačů Azure. Tyto integrace poskytují:

• Systém pro přípravu a konfiguraci uzlu pro přeměnu zřízeného virtuálního stroje na uzel pro vysokovýkonné počítání (HPC).
• Automatické škálování pro plánovače HPC, které převádějí požadavky úkolů plánovače HPC na zdroje Azure.

Co může CycleCloud dělat

CycleCloud se zaměřuje na operátory HPC (správci a uživatele), kteří nasazují systémy HPC v Azure. Chtějí replikovat infrastrukturu, na které běží interně, z plánovače HPC do přípojných bodů systému souborů pro instalace aplikací a přístup k datům. Tito uživatelé zejména hledají podporu pro aplikace, moduly pracovních postupů a výpočetní kanály, aniž by museli retoolovat své interní procesy.

CycleCloud poskytuje bohatou a deklarativní syntaxi šablon, která umožňuje popsat systém HPC. Můžete definovat topologii clusteru, která zahrnuje počet a typy uzlů clusteru, přípojné body a aplikace, které nasadíte na každý uzel. CycleCloud je navržený tak, aby fungoval s plánovači HPC, jako jsou PBSPro, Slurm, IBM LSF, Grid Engine a HT Condor. V každém plánovači můžete vytvořit různé fronty a namapovat je na výpočetní uzly různých velikostí virtuálních počítačů v Azure. Plug-in pro automatické škálování jsou navíc integrovány s hlavními uzly plánovače. Pracují s frontami úloh v každém systému a konfigurují velikost výpočetního clusteru pomocí interakce s rozhraním autoscale REST API, které běží na aplikačním serveru.

Kromě zřizování a vytváření uzlů PROSTŘEDÍ HPC poskytuje CycleCloud také architekturu pro přípravu a konfiguraci virtuálního počítače. Poskytuje systém pro převod holého virtuálního počítače na funkční komponentu systému HPC. Prostřednictvím tohoto rámce můžete provádět poslední úpravy konfigurace na virtuálním počítači.

Navíc CycleCloud poskytuje následující funkce:

• Přístup uživatelů

  CycleCloud má integrovanou podporu pro vytváření místních uživatelských účtů na každém uzlu systému HPC. V tomto systému můžete řídit přístup uživatelů prostřednictvím jedné roviny správy bez nasazení adresářové služby.

• monitorování

  Metriky na úrovni uzlu se shromažďují a zobrazují v rozhraní CycleCloud UI. Tyto metriky jsou užitečné pro monitorování zatížení systému. Můžete je připojit ke službám výkaznictví a upozorňování.

• Zaznamenávání

  CycleCloud poskytuje systém pro zaznamenávání aktivit a událostí na úrovni uzlu a aplikačního serveru.

• Přenosnost

  Systém nevyžaduje, abyste používali konkrétní image virtuálního počítače nebo operační systém. CycleCloud podporuje hlavní operační systémy Windows a Linux na HPC uzlech. Kromě toho můžete vytvořit vlastní image virtuálního počítače a použít ji v systému HPC.

• Infrastruktura jako kód

  Vzhledem k tomu, že vše vytvořené v CycleCloudu je definováno v šablonách a konfiguračních skriptech, můžete systémy HPC nasazované prostřednictvím CycleCloudu učinit opakovatelné a přenosné. Tento přístup poskytuje konzistenci pro operátory nasazující systémy PROSTŘEDÍ HPC v různých prostředích: Sandbox, Development, Test a Production. Operátoři mohou také nasadit identické systémy HPC pro různé obchodní skupiny nebo týmy, aby oddělili účetní záležitosti.

• Volně vázané nebo těsně vázané úlohy

  Clustery PROSTŘEDÍ HPC vytvořené pomocí CycleCloudu jsou navržené tak, aby podporovaly nejen volně svázané nebo trapné paralelní úlohy, jejichž škálování (velikost clusteru) je primárním problémem. Clustery CycleCloud jsou také navržené s ohledem na páteřní síť InfiniBand Azure, které podporují úzce propojené úlohy nebo úlohy založené na MPI, u kterých je kritická blízkost uzlu a latence sítě. Tyto koncepty rozšíření a těsného propojení jsou začleněny do integrací plánovače, které CycleCloud podporuje.

Pokračujte ke konceptům Clusteru a Uzlu