Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
O Slurm é um dos gerenciadores de carga de trabalho de código aberto mais populares e amplamente utilizados para IA, HPC e computação em nuvem. Com o Slurm, você pode executar aplicativos paralelos e distribuídos em grande escala em um conjunto de nós de computação. Ele fornece recursos como agendamento de tarefas, gerenciamento de recursos, tolerância a falhas e gerenciamento de energia. Muitos dos melhores supercomputadores, institutos de pesquisa, universidades e empresas do mundo usam o Slurm.
No entanto, configurar e gerenciar clusters Slurm na nuvem pode ser desafiador e demorado, especialmente se você não estiver familiarizado com o ambiente de nuvem ou a configuração do Slurm. Você precisa lidar com tarefas como provisionamento e dimensionamento de nós de computação, instalação e atualização do software Slurm, configuração de rede e armazenamento, monitoramento da integridade e do desempenho do cluster e solução de problemas. Essas tarefas podem distraí-lo de seus principais objetivos de pesquisa ou de negócios e reduzir a produtividade e a eficiência de suas cargas de trabalho de IA e HPC.
O Azure CycleCloud Workspace for Slurm é um modelo de solução do Azure Marketplace que você pode usar para criar, configurar e implantar clusters Slurm predefinidos com o CycleCloud no Azure. Não precisas de conhecimentos prévios de Azure ou Slurm para implementar o template, mas operar e personalizar o ambiente requer essas competências. A solução pré-configura clusters Slurm com PMix v4, Pyxis, e enroot para suportar trabalhos Slurm de IA/HPC em contêineres. Pode aceder ao nó de início de sessão provisionado usando SSH ou Visual Studio Code para realizar tarefas comuns como submeter e gerir trabalhos Slurm.
Embora o Azure CycleCloud já permita que você execute algumas dessas tarefas, ele não implanta a infraestrutura de IA/HPC para você. Você deve lidar com tarefas como instalar e configurar o CycleCloud, configurar rede e armazenamento e criar e configurar o cluster Slurm. O Azure CycleCloud Workspace for Slurm executa essas tarefas para você em um modelo de solução do Marketplace que você pode implantar diretamente do portal do Azure ou por meio da CLI do Azure. Você está pronto em minutos e não em dias ou semanas.
Escolha uma opção de orquestração no Azure
Escolha uma opção com base na experiência do agendador e no nível de controlo de infraestrutura que a sua equipa necessita:
| Option | Melhor ajuste | Modelo operacional |
|---|---|---|
| Azure CycleCloud Workspace for Slurm | Equipas que querem um ambiente Slurm pronto a implementar para cargas de trabalho HPC ou IA | Uma solução Marketplace implementa componentes CycleCloud, Slurm, rede, armazenamento e acesso na sua subscrição do Azure. |
| Azure CycleCloud | Ambientes HPC que requerem um agendador diferente do Slurm, uma topologia de cluster personalizada ou um estreito alinhamento com fluxos de trabalho locais existentes | Instala-se o CycleCloud e configura-se o agendador, cluster, rede e armazenamento. O CycleCloud provisiona e autoescala a infraestrutura do Azure. |
| Azure Batch | Cargas de trabalho paralelas e de alto rendimento que não exigem que utilize software de agendamento | O Azure fornece agendamento como um serviço. Constróis com APIs e ferramentas do Batch enquanto o Batch gere pools, nós, jobs e tarefas. |
Use o seu ambiente atual como fator decisivo:
| Ponto de partida | Prefira | Porquê |
|---|---|---|
| Queres Slurm e a arquitetura pré-definida de rede, armazenamento, acesso e cluster satisfaz os teus requisitos. | Azure CycleCloud Workspace para Slurm | A solução do Marketplace encurta o caminho para um ambiente Slurm funcional, mantendo os recursos na sua subscrição. |
| Precisas de um escalonador diferente do Slurm ou tens de personalizar a topologia, as políticas do escalonador ou a infraestrutura para além do design da solução. | Azure CycleCloud | O CycleCloud fornece controlo sobre o agendador e a configuração do cluster. |
| A sua aplicação pode usar pools, jobs e tarefas e não requer compatibilidade com o scheduler. | Azure Batch | O Batch fornece agendamento como serviço e elimina a necessidade de operar o Slurm. |
Não escolha o Workspace para o Slurm se espera um serviço de plataforma gerida. A sua equipa ainda detém os recursos Azure implementados, a configuração do Slurm, segurança, monitorização, atualizações e operações de carga de trabalho. Escolha uma configuração personalizada do CycleCloud quando a arquitetura predefinida não satisfizer a topologia ou integração exigida.
Antes da implementação em produção, regista porque é que o Workspace for Slurm encaixa, que alternativas rejeitaste, se a implementação é greenfield ou se reutiliza recursos existentes, o design da rede e identidade, o benchmark de armazenamento, quota e capacidade regional de VM, a abordagem de recuperação, o responsável das operações e o tempo e custo por trabalho representativo. Comece pelo planeamento do desdobramento. Para um cluster personalizado do CycleCloud, consulte Planear e dimensionar clusters HPC.
Benefícios do Azure CycleCloud Workspace for Slurm
O Azure CycleCloud é uma ótima solução quando você deseja criar um ambiente de IA/HPC no Azure, seja para elevar e deslocar parte de sua carga de trabalho de IA/HPC local ou para criar uma nova. No entanto, criar um ambiente completo de IA/HPC de ponta a ponta não é uma tarefa fácil. Você precisa decidir como projetar sua rede, qual componente de armazenamento usar como um sistema de arquivos compartilhado, qual tipo de VM usar para executar sua carga de trabalho e muitas pequenas coisas que podem tornar seu projeto complexo de entregar.
O Azure CycleCloud Workspace for Slurm oferece vários benefícios para usuários que desejam executar cargas de trabalho do Slurm no Azure, como:
Criação de cluster fácil e rápida: você pode criar clusters Slurm no Azure em minutos seguindo algumas etapas simples na GUI. Esse processo é mais rápido do que dias ou semanas de trabalho no passado sem o Azure CycleCloud Workspace for Slurm. Você pode escolher entre vários tamanhos e tipos de máquina virtual (VM) do Azure. Você pode personalizar as configurações de cluster, como o número de nós, a configuração de rede, as opções de armazenamento dos Arquivos NetApp do Azure para o Sistema de Arquivos Azure Managed Lustre e os parâmetros Slurm.
Gerenciamento de cluster flexível e dinâmico: o Azure CycleCloud aumenta ou reduz os clusters Slurm. Você pode monitorar o status, o desempenho e a utilização do cluster. Você pode exibir os logs e métricas do cluster na GUI. Você também pode excluir seus clusters do Slurm quando eles não forem mais necessários e pagar apenas pelos recursos usados.
Como posso criar um Azure CycleCloud Workspace for Slurm?
Você pode implantar um Azure CycleCloud Workspace for Slurm do Azure Marketplace ou usando a CLI do Azure. Para implantar a partir do Marketplace, procure Slurm e selecione Criar. Para implantar usando a CLI do Azure, você precisa criar um arquivo de parâmetro de entrada primeiro e, em seguida, implantar usando o az deployment sub create comando. Para obter instruções detalhadas, consulte Como implantar um ambiente de espaço de trabalho CycleCloud Slurm usando a CLI.
O que o Azure CycleCloud Workspace for Slurm não é?
O Azure CycleCloud Workspace for Slurm não é um serviço PaaS. Toda a infraestrutura é implementada no seu cliente, o que permite implementar tudo (implementação do tipo greenfield) ou especificar recursos existentes para reutilização (implementação do tipo brownfield), como o grupo de recursos de destino, a rede virtual, os Azure NetApp Files e muito mais.
Como é o ambiente implantado do Azure CycleCloud para Slurm
Aqui está a arquitetura típica do que o Azure CycleCloud Workspace for Slurm implanta. A arquitetura inclui recursos obrigatórios como uma máquina virtual para executar o CycleCloud, um sistema de arquivos compartilhado para diretórios domésticos do usuário e uma conta de armazenamento para armazenamento de projetos do CycleCloud.
O Azure CycleCloud Workspace for Slurm pode implantar a rede virtual ou você pode usar uma rede virtual existente para a criação de recursos. Opcionalmente, você pode criar um sistema de arquivos Azure Managed Lustre em sua própria sub-rede.
Se as regras de segurança da sua empresa não permitirem endereços IP públicos (e muitos não permitem), você poderá criar um emparelhamento de rede virtual para uma rede virtual existente em um padrão hub and spoke. O hub contém todos os serviços de conectividade, como um gateway de rede virtual ou um Bastião do Azure.
Finalmente, em um ambiente sem IP público e sem VPN, você precisa de um Bastion. O Bastion oferece acesso seguro ao portal da Web CycleCloud e permite que você use SSH para se conectar aos nós de autenticação.