O que é o Azure CycleCloud?
O Azure CycleCloud é uma ferramenta adequada para empresas para orquestrar e gerir ambientes de Computação de Alto Desempenho (HPC) no Azure. Com o CycleCloud, os utilizadores podem aprovisionar infraestruturas para sistemas HPC, implementar agendadores HPC familiares e dimensionar automaticamente a infraestrutura para executar tarefas de forma eficiente em qualquer escala. Através do CycleCloud, os utilizadores podem criar diferentes tipos de sistemas de ficheiros e montá-los nos nós do cluster de computação para suportar cargas de trabalho HPC.
O Azure CycleCloud destina-se a administradores e utilizadores HPC que pretendem implementar um ambiente HPC com um agendador específico em mente - os agendadores utilizados frequentemente como Slurm, PBSPro, LSF, Grid Engine e HT-Condor são suportados fora da caixa. O CycleCloud é o produto irmão para Azure Batch, que fornece um Scheduler como um Serviço no Azure.
Veja Computação de Alto Desempenho (HPC) no Azure para obter informações sobre como o CycleCloud se compara a outras soluções de HPC do Azure.
Por que devo utilizar o Azure CycleCloud?
As organizações que operam ambientes HPC há algum tempo normalmente acumulam anos de conhecimentos e ferramentas internas em torno de um agendador específico, e voltar a arquitetar ou implementar estes ambientes no Azure pode ser assustador. O CycleCloud abstrai os blocos modulares básicos do Azure, como VMs, conjuntos de dimensionamento, interfaces de rede e discos. Isto permite que um administrador de HPC se concentre no familiar: um cluster HPC composto por nós e um agendador configurável de eleição.
O CycleCloud implementa plug-ins de dimensionamento automático sobre os agendadores suportados, pelo que os utilizadores não precisam de implementar as próprias funções e rotinas de dimensionamento automático complexos, mas sim de interface apenas com configurações ao nível do scheduler com as quais estão familiarizados.
Com um formato avançado, declarativo e templating, o CycleCloud fornece ferramentas avançadas para construir ambientes HPC completos no Azure. Os utilizadores podem implementar ambientes que incluem servidores NFS, sistemas de ficheiros paralelos, anfitriões de início de sessão, servidores de licenças e serviços de diretório -- essencialmente todos os componentes necessários num sistema HPC - através de um único plano de gestão.
O CycleCloud integra-se nos serviços do Azure, como o Azure Monitor e as ferramentas do Azure Cost Management.
Capacidades do CycleCloud
|
Scheduler Agnostic Utilize agendadores HPC padrão, como Slurm, PBS Pro, LSF, Grid Engine e HTCondor, ou expanda plug-ins de dimensionamento automático do CycleCloud para trabalhar com o seu próprio agendador |
|
|
Gerir Recursos de Computação Gerir máquinas virtuais e conjuntos de dimensionamento para fornecer um conjunto flexível de recursos de computação que podem cumprir os seus requisitos de carga de trabalho dinâmicos |
|
|
Dimensionamento Automático de Recursos Ajustar automaticamente o tamanho e os componentes do cluster com base na carga, disponibilidade e requisitos de tempo da tarefa |
|
|
Monitorizar e Analisar Recolher e analisar dados de desempenho com ferramentas de visualização |
|
|
Clusters de Modelos Utilizar modelos do CycleCloud para partilhar topologias de cluster com a comunidade |
|
|
Personalizar e Expandir Funcionalidade Utilize a API RESTful abrangente para personalizar e expandir funcionalidades, implementar o seu próprio agendador e suporte em gestores de cargas de trabalho existentes |
|
|
Integrar em Fluxos de Trabalho Existentes Integrar em fluxos de trabalho e ferramentas existentes com a CLI incorporada |
|
|
Scheduler Agnostic Utilize agendadores HPC padrão, como Slurm, PBS Pro, LSF, Grid Engine e HTCondor, ou expanda plug-ins de dimensionamento automático do CycleCloud para trabalhar com o seu próprio agendador |
|
|
Gerir Recursos de Computação Gerir máquinas virtuais e conjuntos de dimensionamento para fornecer um conjunto flexível de recursos de computação que podem cumprir os seus requisitos de carga de trabalho dinâmicos |
|
|
Dimensionamento Automático de Recursos Ajustar automaticamente o tamanho e os componentes do cluster com base na carga, disponibilidade e requisitos de tempo da tarefa |
|
|
Monitorizar e Analisar Recolher e analisar dados de desempenho com ferramentas de visualização |
|
|
Clusters de Modelos Utilizar modelos do CycleCloud para partilhar topologias de cluster com a comunidade |
|
|
Personalizar e Expandir Funcionalidade Utilize a API RESTful abrangente para personalizar e expandir funcionalidades, implementar o seu próprio agendador e suporte em gestores de cargas de trabalho existentes |
|
|
Integrar em Fluxos de Trabalho Existentes Integrar em fluxos de trabalho e ferramentas existentes com a CLI incorporada |
|
Como posso utilizar o Azure CycleCloud?
O Azure CycleCloud é uma aplicação Web instalável que pode ser executada no local ou numa VM do Azure. Depois de instalado, o CycleCloud pode ser configurado para utilizar recursos de computação e dados na sua subscrição preparada do Azure. O CycleCloud fornece vários modelos de cluster oficiais para agendadores (PBSPro, LSF, Grid Engine, Slurm, HTCondor) e sistemas de ficheiros (NFS, BeeGFS). Os modelos de cluster fornecidos pela comunidade CycleCloud também estão disponíveis. Pode utilizar estes modelos de cluster não modificados ou pode personalizá-los para as suas necessidades específicas.
Assim que um cluster é criado, é configurado automaticamente para dimensionamento automático por predefinição para processar as tarefas computacionais que são submetidas ao agendador. As funcionalidades administrativas do CycleCloud regem o acesso ao cluster do CycleCloud para outros utilizadores na sua organização.
As ferramentas que utilizam modelos e scripts de configuração permitem-lhe criar rapidamente ambientes HPC complexos e replicá-los para equipas separadas em toda a sua organização.
O que é o CycleCloud?
Não existe nenhuma funcionalidade de agendamento de tarefas no CycleCloud. Por outras palavras, o CycleCloud não é um agendador, mas sim uma plataforma que permite que os utilizadores implementem o seu próprio agendador no Azure. O CycleCloud inclui suporte incorporado para vários agendadores frequentemente utilizados (PBSPro, Slurm, IBM LSF, Grid Engine e HT Condor), mas os utilizadores da CycleCloud implementam frequentemente o seu próprio agendador sobre a API de dimensionamento automático fornecida.
O CycleCloud não dita a topologia do cluster; A instalação inclui modelos concebidos para pôr os sistemas HPC em funcionamento no Azure rapidamente, mas os operadores de HPC podem personalizar estes modelos para adaptar a infraestrutura de acordo com os requisitos. A comunidade HPC do Azure fornece modelos com opiniões otimizados para diferentes tipos de cargas de trabalho e indústrias.
O aspeto de um Ambiente Implementado do CycleCloud
Um sistema HPC CycleCloud completo pode ser implementado na infraestrutura do Azure. O Próprio CycleCloud é instalado como um servidor de aplicações numa VM no Azure que requer acesso de saída às APIs do Fornecedor de Recursos do Azure. Em seguida, o CycleCloud inicia e gere VMs que formam os sistemas HPC – estes normalmente consistem nos nós principais do agendador de HPC e nós de computação, mas também podem incluir o Armazenamento Ligado à Rede baseado em VM, como um servidor NFS ou cluster BeeGFS, nós de início de sessão, anfitriões bastion e outros componentes necessários para suportar uma infraestrutura HPC. A composição do sistema HPC é definida inteiramente através de modelos CycleCloud. Além disso, os ambientes HPC do CycleCloud podem utilizar outros serviços PaaS, como o Azure NetApp Files, o Azure HPC Cache e o Azure Domínio do Active Directory Service.