Compartilhar via


O que é Azure CycleCloud?

O Azure CycleCloud é uma ferramenta corporativa para orquestrar e gerenciar ambientes de HPC (computação de alto desempenho) no Azure. Com o CycleCloud, os usuários podem provisionar a infraestrutura para sistemas HPC, implantar agendadores de HPC familiares e dimensionar automaticamente a infraestrutura para executar trabalhos com eficiência em qualquer escala. Por meio do CycleCloud, os usuários podem criar diferentes tipos de sistemas de arquivos e montá-los nos nós de cluster de computação para dar suporte a cargas de trabalho de HPC.

O Azure CycleCloud é direcionado a administradores de HPC e usuários que desejam implantar um ambiente HPC com um agendador específico em mente – agendadores comumente usados, como Slurm, PBSPro, LSF, Mecanismo de Grade e HT-Condor têm suporte pronto. CycleCloud é o produto irmão para Lote do Azure, que fornece um Agendador como Serviço no Azure.

Consulte HPC (Computação de Alto Desempenho) no Azure para obter informações sobre como o CycleCloud se compara a outras soluções de HPC do Azure.

Por que devo usar o Azure CycleCloud?

As organizações que operam ambientes de HPC por um tempo normalmente acumulam anos de experiência e ferramentas internas em torno de um agendador específico, e re-arquitetar ou implantar esses ambientes no Azure podem ser assustadoras. O CycleCloud abstrai os blocos de construção básicos do Azure, como VMs, conjuntos de dimensionamento, interfaces de rede e discos. Isso permite que um administrador de HPC se concentre no familiar: um cluster HPC composto por nós e um agendador configurável de escolha.

O CycleCloud implanta plug-ins de dimensionamento automático sobre os agendadores com suporte, portanto, os usuários não precisam implementar funções e rotinas complexas de dimensionamento automático em si, mas, em vez disso, interface apenas com configurações no nível do agendador com as quais estão familiarizados.

Com um formato avançado, declarativo e modelagem, o CycleCloud fornece ferramentas poderosas para construir ambientes HPC completos no Azure. Os usuários podem implantar ambientes que incluem servidores NFS, sistemas de arquivos paralelos, hosts de logon, servidores de licença e serviços de diretório -- essencialmente todos os componentes necessários em um sistema HPC -- por meio de um único plano de gerenciamento.

O CycleCloud integra-se aos serviços do Azure, como o Azure Monitor e as ferramentas de Gerenciamento de Custos do Azure.

Introdução de visão geral

Funcionalidades do CycleCloud

Agnóstico agendador
Use agendadores HPC padrão, como Slurm, PBS Pro, LSF, Grid Engine e HTCondor, ou estenda plug-ins de dimensionamento automático do CycleCloud para trabalhar com seu próprio agendador
Exemplo de agendadores
Gerenciar recursos de computação
Gerenciar máquinas virtuais e conjuntos de dimensionamento para fornecer um conjunto flexível de recursos de computação que podem atender aos seus requisitos dinâmicos de carga de trabalho
Exemplo de recursos de computação
Recursos de dimensionamento automático
Ajustar automaticamente o tamanho e os componentes do cluster com base nos requisitos de carga de trabalho, disponibilidade e tempo
Exemplo de dimensionamento automático
Monitorar e analisar
Coletar e analisar dados de desempenho usando ferramentas de visualização
Exemplo de monitor
Clusters de modelo
Usar modelos do CycleCloud para compartilhar topologias de cluster com a comunidade
Exemplo de modelo
Personalizar e estender a funcionalidade
Use a API RESTful abrangente para personalizar e estender a funcionalidade, implantar seu próprio agendador e dar suporte a gerentes de carga de trabalho existentes
Exemplo de REST
Integrar-se a fluxos de trabalho existentes
Integrar-se a fluxos de trabalho e ferramentas existentes usando a CLI interna
Exemplo da CLI
Agnóstico agendador
Use agendadores HPC padrão, como Slurm, PBS Pro, LSF, Grid Engine e HTCondor, ou estenda plug-ins de dimensionamento automático do CycleCloud para trabalhar com seu próprio agendador
Exemplo de agendadores
Gerenciar recursos de computação
Gerenciar máquinas virtuais e conjuntos de dimensionamento para fornecer um conjunto flexível de recursos de computação que podem atender aos seus requisitos dinâmicos de carga de trabalho
Exemplo de recursos de computação
Recursos de dimensionamento automático
Ajustar automaticamente o tamanho e os componentes do cluster com base nos requisitos de carga de trabalho, disponibilidade e tempo
Exemplo de dimensionamento automático
Monitorar e analisar
Coletar e analisar dados de desempenho usando ferramentas de visualização
Exemplo de monitor
Clusters de modelo
Usar modelos do CycleCloud para compartilhar topologias de cluster com a comunidade
Exemplo de modelo
Personalizar e estender a funcionalidade
Use a API RESTful abrangente para personalizar e estender a funcionalidade, implantar seu próprio agendador e dar suporte a gerentes de carga de trabalho existentes
Exemplo de REST
Integrar-se a fluxos de trabalho existentes
Integrar-se a fluxos de trabalho e ferramentas existentes usando a CLI interna
Exemplo da CLI

Como usar o Azure CycleCloud?

O Azure CycleCloud é um aplicativo Web instalável que você pode executar localmente ou em uma VM do Azure. Depois de instalado, o CycleCloud pode ser configurado para usar recursos de computação e dados em sua assinatura preparada do Azure. O CycleCloud fornece vários modelos de cluster oficiais para agendadores (PBSPro, LSF, Mecanismo de Grade, Slurm, HTCondor) e sistemas de arquivos (NFS, BeeGFS). Modelos de cluster fornecidos pela comunidade CycleCloud também estão disponíveis. Você pode usar esses modelos de cluster não modificados ou personalizá-los para suas necessidades específicas.

Depois que um cluster é criado, ele é configurado automaticamente para dimensionamento automático por padrão para lidar com os trabalhos computacionais enviados ao agendador. Os recursos administrativos do CycleCloud regem o acesso ao cluster CycleCloud para outros usuários em sua organização.

As ferramentas que usam modelos e scripts de configuração permitem criar ambientes HPC complexos rapidamente e replicá-los para equipes separadas em toda a sua organização.

O que o CycleCloud não é?

Não há nenhuma funcionalidade de agendamento de trabalho no CycleCloud. Em outras palavras, o CycleCloud não é um agendador, mas sim uma plataforma que permite que os usuários implantem seu próprio agendador no Azure. O CycleCloud vem com suporte interno para vários agendadores comumente usados (PBSPro, Slurm, IBM LSF, Grid Engine e HT Condor), mas os usuários do CycleCloud frequentemente implementam seu próprio agendador sobre a API de dimensionamento automático fornecida.

O CycleCloud não determina a topologia do cluster; a instalação vem com modelos projetados para colocar os sistemas HPC em funcionamento no Azure rapidamente, mas os operadores HPC podem personalizar esses modelos para adaptar a infraestrutura para atender aos seus requisitos. A comunidade de HPC do Azure fornece modelos opinativos otimizados para diferentes tipos de cargas de trabalho e setores.

Qual é a aparência de um ambiente implantado do CycleCloud

Implantação do CycleCloud

Um sistema HPC do CycleCloud inteiro pode ser implantado na infraestrutura do Azure. O CycleCloud em si é instalado como um servidor de aplicativos em uma VM no Azure que requer acesso de saída às APIs do Provedor de Recursos do Azure. Em seguida, o CycleCloud inicia e gerencia VMs que formam os sistemas HPC , normalmente consistem nos nós de cabeçalho do agendador HPC e nós de computação, mas também podem incluir armazenamento anexado à rede baseado em VM, como um servidor NFS ou cluster BeeGFS, nós de logon, hosts de bastião e outros componentes necessários para dar suporte a uma infraestrutura HPC. A composição do sistema HPC é definida inteiramente por meio de modelos do CycleCloud. Além disso, os ambientes de HPC do CycleCloud podem utilizar outros serviços de PaaS, como Azure NetApp Files, Azure HPC Cache e Serviço de Domínio do Active Directory do Azure.

Próximas etapas