Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
O Slurm é um dos gerentes de carga de trabalho de software livre mais populares e amplamente usados para IA, HPC e computação em nuvem. Com o Slurm, você pode executar aplicativos paralelos e distribuídos em larga escala em um conjunto de nós de computação. Ele fornece recursos como agendamento de trabalho, gerenciamento de recursos, tolerância a falhas e gerenciamento de energia. Muitos dos principais supercomputadores, institutos de pesquisa, universidades e empresas do mundo usam Slurm.
No entanto, configurar e gerenciar clusters slurm na nuvem pode ser desafiador e demorado, especialmente se você não estiver familiarizado com o ambiente de nuvem ou com a configuração do Slurm. Você precisa lidar com tarefas como provisionamento e dimensionamento de nós de computação, instalação e atualização de software Slurm, configuração de rede e armazenamento, monitoramento da integridade e desempenho do cluster e solução de problemas. Essas tarefas podem distraí-lo de seus principais objetivos de pesquisa ou negócios e reduzir a produtividade e a eficiência de suas cargas de trabalho de IA e HPC.
O Workspace do Azure CycleCloud para Slurm é um modelo de solução do Azure Marketplace que você pode usar para criar, configurar e implantar clusters slurm predefinidos com o CycleCloud no Azure. Você não precisa de conhecimento prévio de Azure ou Slurm para implantar o template, mas operar e personalizar o ambiente exige essas habilidades. A solução pré-configura clusters Slurm com PMix v4, Pyxis e enroot para dar suporte a trabalhos de IA/HPC Slurm em contêineres. Você pode acessar o nó de login provisionado usando SSH ou Visual Studio Code para realizar tarefas comuns como enviar e gerenciar trabalhos Slurm.
Embora o Azure CycleCloud já permita que você execute algumas dessas tarefas, ele não implanta a infraestrutura de IA/HPC para você. Você deve lidar com tarefas como instalar e configurar o CycleCloud, configurar a rede e o armazenamento e criar e configurar o cluster Slurm. O Workspace do Azure CycleCloud para Slurm executa essas tarefas para você em um modelo de solução do Marketplace que você pode implantar diretamente no portal do Azure ou por meio da CLI do Azure. Você está pronto em minutos e não em dias ou semanas.
Escolha uma opção de orquestração no Azure
Escolha uma opção com base na experiência com o agendador e no nível de controle sobre a infraestrutura de que sua equipe precisa:
| Option | Melhor ajuste | Modelo de operação |
|---|---|---|
| Workspace do Azure CycleCloud para Slurm | Equipes que desejam um ambiente Slurm pronto para implantar para cargas de trabalho HPC ou IA | Uma solução do Marketplace implanta componentes CycleCloud, Slurm, rede, armazenamento e acesso na sua assinatura do Azure. |
| Azure CycleCloud | Ambientes HPC que exigem um agendador diferente do Slurm, uma topologia de cluster personalizada ou alinhamento próximo com fluxos de trabalho existentes on-premises | Você instala o CycleCloud e configura o agendador, cluster, rede e armazenamento. O CycleCloud provisiona e escala automaticamente a infraestrutura do Azure. |
| Lote do Azure | Cargas de trabalho paralelas e de alta vazão que não exigem que você opere software de agendamento | O Azure oferece agendamento como um serviço. Você desenvolve usando as APIs e ferramentas do Batch, enquanto o Batch gerencia pools, nós, trabalhos e tarefas. |
Use seu ambiente atual como fator decisivo:
| Ponto de partida | Preferir | Por que |
|---|---|---|
| Você quer Slurm e a arquitetura pré-definida de rede, armazenamento, acesso e cluster atende aos seus requisitos. | Área de Trabalho do Azure CycleCloud para Slurm | A solução do Marketplace encurta o caminho para um ambiente Slurm funcional, mantendo os recursos na sua assinatura. |
| Você precisa de um escalonador que não seja o Slurm ou precisa personalizar a topologia, as políticas do escalonador ou a infraestrutura além do projeto da solução. | Azure CycleCloud | O CycleCloud fornece controle sobre o escalonador e a configuração do cluster. |
| Sua aplicação pode usar pools, jobs e tarefas e não precisa de compatibilidade com o agendador. | Lote do Azure | Batch oferece agendamento como um serviço e elimina a necessidade de operar o Slurm. |
Não escolha o Workspace para Slurm se espera um serviço de plataforma gerenciada. Sua equipe ainda é responsável pelos recursos do Azure implantados, configuração do Slurm, segurança, monitoramento, atualizações e operações de carga de trabalho. Escolha um CycleCloud personalizado quando a arquitetura pré-definida não atender a uma topologia ou integração exigida.
Antes da implementação em produção, registre por que o Workspace for Slurm se encaixa, quais alternativas você rejeitou, se a implantação é greenfield ou reutiliza recursos existentes, o design da rede e identidade, benchmark de armazenamento, cota e capacidade regional de VM, abordagem de recuperação, responsável das operações e tempo e custo por trabalho representativo. Comece com o planejamento de implantação. Para um cluster personalizado do CycleCloud, veja Planejar e dimensionar clusters de HPC.
Benefícios do workspace do Azure CycleCloud para Slurm
O Azure CycleCloud é uma ótima solução quando você deseja criar um ambiente de IA/HPC no Azure, seja para levantar e deslocar parte da carga de trabalho de IA/HPC local ou para criar um novo. No entanto, criar um ambiente completo de IA/HPC de ponta a ponta não é uma tarefa fácil. Você precisa decidir como projetar sua rede, qual componente de armazenamento usar como um sistema de arquivos compartilhado, qual tipo de VM usar para executar sua carga de trabalho e muitas pequenas coisas que podem tornar seu projeto complexo de entregar.
O Workspace do Azure CycleCloud para Slurm oferece vários benefícios para usuários que desejam executar cargas de trabalho do Slurm no Azure, como:
Criação de cluster fácil e rápida: você pode criar clusters slurm no Azure em minutos seguindo algumas etapas simples na GUI. Esse processo é mais rápido do que dias ou semanas de trabalho no passado, sem o Espaço de Trabalho do Azure CycleCloud para Slurm. Você pode escolher entre vários tamanhos e tipos de VM (máquina virtual) do Azure. Você pode personalizar as configurações do cluster, como o número de nós, a configuração de rede, as opções de armazenamento de Azure NetApp Files a Lustre Gerenciado do Azure Filesystem e os parâmetros Slurm.
Gerenciamento de cluster flexível e dinâmico: o Azure CycleCloud escalona os clusters Slurm. Você pode monitorar o status, o desempenho e a utilização do cluster. Você pode exibir os logs de cluster e as métricas na GUI. Você também pode excluir seus clusters Slurm quando eles não forem mais necessários e pagar apenas pelos recursos usados.
Como criar um workspace do Azure CycleCloud para Slurm?
Você pode implantar um workspace do Azure CycleCloud para Slurm do Azure Marketplace ou usando a CLI do Azure. Para implantar no Marketplace, pesquise por Slurm e, em seguida, selecione Criar. Para implantar usando a CLI do Azure, você precisa criar um arquivo de parâmetro de entrada primeiro e, em seguida, implantar usando o az deployment sub create comando. Para obter instruções detalhadas, consulte Como implantar um ambiente de workspace do CycleCloud Slurm usando a CLI.
O que o Workspace do Azure CycleCloud para Slurm não é?
O Workspace do Azure CycleCloud para Slurm não é um serviço de PaaS. Toda a infraestrutura é implantada no locatário, o que permite implantar tudo (implantação "greenfield") ou especificar recursos atuais para reutilização (implantação "brownfield"), como o grupo de recursos de destino, a rede virtual, o Azure NetApp Files, entre outros.
Como é um Ambiente Implantado do Workspace do Azure CycleCloud para Slurm
Aqui está a arquitetura típica do que o ambiente de trabalho do Azure CycleCloud para Slurm implanta. A arquitetura inclui recursos obrigatórios, como uma máquina virtual para executar o CycleCloud, um sistema de arquivos compartilhado para diretórios domésticos do usuário e uma conta de armazenamento para o armazenamento de projetos do CycleCloud.
O Workspace do Azure CycleCloud para Slurm pode implantar a rede virtual ou você pode usar uma rede virtual existente para a criação de recursos. Opcionalmente, você pode criar um sistema de arquivos lustre gerenciado do Azure em sua própria sub-rede.
Se as regras de segurança da sua empresa não permitirem endereços IP públicos (muitas não permitem), crie um emparelhamento de rede virtual com uma rede virtual atual em um padrão de hub e spoke. O hub contém todos os serviços de conectividade, como um gateway de rede virtual ou um Azure Bastion.
Por fim, em um ambiente sem IP público e sem VPN, você precisa de um Bastion. O Bastion fornece acesso seguro ao portal da Web do CycleCloud e permite que você use o SSH para se conectar aos nós de autenticação.