Exercício - Criar um cluster HPC a partir de modelos incorporados

Concluído

Você pode criar novos clusters diretamente da interface gráfica do aplicativo Web Azure CycleCloud. O CycleCloud oferece muitos modelos predefinidos e específicos do agendador, que simplificam o provisionamento de cluster para os agendadores correspondentes.

Agora que você provisionou uma máquina virtual do Azure que hospeda os aplicativos Web CycleCloud, está pronto para avaliar seu uso para implantação de um cluster HPC baseado em Slurm no Azure. Primeiro, você precisa garantir que sua assinatura do Azure acomoda os requisitos de recursos do cluster. Você também deseja considerar se sua equipe de gerenciamento deseja manter o custo do cluster dentro do orçamento do projeto. Portanto, você planeja configurar alertas de orçamento do CycleCloud e desprovisionar o ambiente de laboratório depois de concluir a avaliação.

Neste exercício, você percorre a implantação de um cluster HPC baseado em Slurm no Azure usando o Azure CycleCloud. O exercício consiste nas seguintes tarefas:

  • Tarefa 1: Preparar a implantação de um cluster de HPC
  • Tarefa 2: Criar um cluster HPC usando o Azure CycleCloud
  • Tarefa 3: Configurar e iniciar um cluster HPC usando o Azure CycleCloud
  • Tarefa 4: Limpar o ambiente de laboratório

Tarefa 1: Preparar a implantação de um cluster de HPC

Antes de implantar um cluster HPC, você deve primeiro garantir que tem recursos de rede e computação suficientes para acomodar seu uso.

Observação

Para concluir este exercício, você não precisa satisfazer os requisitos de cota para acomodar o provisionamento dos nós de computação, pois não executará nenhum trabalho no cluster criado. No entanto, se for esse o caso, poderás notar uma discrepância entre as capturas de ecrã deste exercício e a tua interface web do CycleCloud, uma vez que o CycleCloud não criará nós de computação temporários se não tiveres o número suficiente de núcleos disponíveis.

  1. No seu computador, alterne para a janela do navegador da Web que exibe o portal do Azure.

  2. No portal do Azure, use a caixa de pesquisa na parte superior da interface do portal para procurar pelo cyclecloud-rg grupo de recursos.

  3. No portal do Azure, na página cyclecloud-rg, na lista de recursos, selecione a entrada cyclecloud-rg-vnet, que representa a rede virtual que você provisionou no exercício anterior deste módulo.

  4. Na página cyclecloud-rg-vnet, no menu vertical do lado esquerdo, selecione Sub-redes.

  5. No painel Sub-redes do cyclecloud-rg-vnet, selecione + Sub-rede.

  6. No painel Adicionar sub-rede, na caixa de texto Nome , digite contoso-slurm-lab-cluster-subnet , aceite o intervalo de sub-rede padrão e selecione Salvar .

    Observação

    Recomendamos separar a sub-rede que hospeda a VM do Azure CycleCloud das sub-redes que hospedam recursos de computação de cluster. Para clusters maiores, você deve alocar intervalos de endereços IP de tamanho suficiente.

  7. No portal do Azure, use a caixa de pesquisa para procurar Assinaturas.

  8. Na página de Subscrições , selecione a subscrição do Azure que está a utilizar para exercícios neste módulo.

  9. Na página que exibe a assinatura do Azure, no menu vertical à esquerda, na seção Configurações, selecione Uso + cotas.

  10. No painel Uso + cotas, defina as seguintes configurações de filtragem (deixe os outros com seus valores padrão):

    Cenário Valor
    Selecione um serviço Selecione as entradas de vCPUs da Família Dv3 Padrão, vCPUs da Família FSv2 Padrãoe Total de vCPUs Regionais.
    Selecione um fornecedor Selecione a entrada Microsoft.Compute.
    Selecione um local Selecione o nome da região do Azure onde você pretende implantar o cluster neste exercício.
  11. Analise a saída e identifique o número de vCPUs disponíveis em cada grupo.

    Captura de tela que mostra o painel Uso mais cotas no portal do Azure.

Tarefa 2: Criar um cluster HPC usando o Azure CycleCloud

Agora você tem o aplicativo Web CycleCloud instalado em uma VM do Azure, núcleos vCPU suficientes disponíveis em sua assinatura do Azure e uma sub-rede de rede designada capaz de acomodar o dimensionamento automático de nós de cluster. Você está pronto para prosseguir com a implantação de um cluster baseado em Slurm.

  1. Na janela do navegador que exibe a página Assinaturas do aplicativo Web Azure CycleCloud, no canto superior esquerdo, selecione o link Voltar aos clusters.

  2. Na página Criar um Novo Cluster, reveja as opções disponíveis e, na secção Agendadores, selecione Slurm.

    Captura de tela que mostra a página Criar um Novo Cluster do aplicativo Web Azure CycleCloud.

  3. Na guia Sobre da página Novo Cluster Slurm, na caixa de texto Nome do Cluster, digite contoso-slurm-lab-cluster.

    Captura de ecrã que mostra a guia Sobre da página Novo Cluster Slurm do aplicativo Web Azure CycleCloud.

  4. Na guia Configurações Necessárias da página Novo Cluster Slurm, na caixa de texto Nome do Cluster, configure as seguintes definições (deixe os outros com seus valores padrão):

    Configuração Valor
    Região Selecione o nome da região do Azure onde você pretende implantar o cluster neste exercício.
    Tipo de VM do Agendador Selecione Escolhere, em seguida, na janela pop-up Selecione um tipo de máquina, na caixa de texto de Pesquisa de SKU , digite "D2ds_v5". Na lista de resultados, seleccione a caixa de seleção ao lado da entrada D2ds_v5 e, em seguida, seleccione Aplicar.

    Captura de tela que mostra a guia Selecionar uma janela pop-up de tipo de máquina da página Novo Cluster Slurm do aplicativo Web Azure CycleCloud.

    Cenário Valor
    Núcleos HPC máximos Digite 100
    Máximo Núcleos HTC Digite 100
    Máximo de VMs por conjunto de escalas Digite 40
    ID da sub-rede Selecione cyclecloud-rg: cyclecloud-rg-vnet-contoso-slurm-lab-cluster-subnet

    Captura de tela que mostra a guia Configurações Necessárias da página Novo Cluster Slurm do aplicativo Web Azure CycleCloud.

    Observação

    A configuração Max VMs per Scaleset limita o tamanho máximo de um trabalho da Interface de Passagem de Mensagens que pode ser executado no cluster, já que o conjunto de escalas é atualmente o limite da malha InfiniBand.

  5. Na guia Network Attached Storage da página New Slurm Cluster, verifique se a Tipo NFS está definida como Builtin. Aceite o valor padrão de Tamanho (GB) ajustado para 100e selecione Avançar.

    Captura de ecrã que mostra a aba Armazenamento Anexado à Rede da página Novo Cluster Slurm da aplicação Web Azure CycleCloud.

  6. Na guia Configurações Avançadas da página New Slurm Cluster, revise as opções disponíveis sem fazer alterações e selecione Avançar.

    Captura de ecrã que mostra o separador Definições Avançadas da página Novo Cluster Slurm da aplicação web do Azure CycleCloud.

  7. Na guia Cloud-init da página New Slurm Cluster, reveja as opções disponíveis sem fazer alterações e, em seguida, selecione Guardar.

Tarefa 3: Configurar e iniciar um cluster HPC usando o Azure CycleCloud

Para se preparar para operacionalizar seu cluster, defina alertas para notificá-lo quando os custos de uso do cluster atingirem o orçamento alocado para o custo dos recursos do Azure. Você também valida sua implantação iniciando o cluster com a interface gráfica do aplicativo Web CycleCloud.

  1. No seu computador, no navegador da Web que exibe a interface gráfica do aplicativo Web Azure CycleCloud, examine as propriedades do cluster recém-implantado.

    Captura de tela que mostra a página de contoso-slurm-lab-cluster no estado desativado na aplicação web Azure CycleCloud.

  2. Na página do cluster contoso-slurm-lab , selecione o link Criar novo alerta.

  3. Na janela pop-up do alerta de utilização de cluster para o cluster contoso-slurm-lab, especifique as seguintes configurações, depois selecione Guardar:

    Cenário Valor
    Orçamento 100,00 $
    Por Mês
    Enviar notificação ativado
    Destinatários cc-admin@contoso.com

    Captura de tela que mostra o alerta de uso de cluster para a janela pop-up do contoso-slurm-lab-cluster no aplicativo Web Azure CycleCloud.

  4. De volta à página de contoso-slurm-lab-cluster, selecione o link Iniciar e, quando solicitado a confirmar, selecione OK.

  5. Monitore o processo de inicialização.

    Observação

    O processo envolve o provisionamento da VM do Azure que serve a função do nó principal do cluster e a instalação e configuração do agendador Slurm. Isto pode demorar cerca de cinco minutos.

    Captura de tela que mostra a página da guia Nós de contoso-slurm-lab-cluster no estado iniciado no aplicativo Web Azure CycleCloud.

Tarefa 4: Limpar o ambiente de laboratório

Você concluiu o teste do processo de implantação de cluster usando o aplicativo Azure CycleCloud. Para evitar custos desnecessários associados ao uso de recursos do Azure, encerre o cluster e remova todos os recursos provisionados ao longo dos exercícios deste curso.

  1. No seu computador, no navegador da Web que exibe a interface gráfica da aplicação web Azure CycleCloud, na página contoso-slurm-lab-cluster, selecione o link Encerrar e, quando solicitado a confirmar, selecione OK.

  2. Monitore o processo de rescisão.

    Observação

    O processo envolve o desprovisionamento da VM do Azure que serve a função do nó principal do cluster. Isto pode demorar cerca de cinco minutos.

    Observação

    Você deve excluir os recursos implantados como parte deste exercício, conforme descrito nesta tarefa. Se não eliminar os recursos, poderá incorrer em encargos adicionais para a sua subscrição.

    Observação

    Para excluir todos os outros recursos criados neste laboratório, exclua o grupo de recursos cyclecloud-rg.

  3. No seu computador, mude para a janela do navegador onde está o portal do Azure.

  4. No portal do Azure, navegue até a folha cyclecloud-rg. Selecione a entrada Apagar grupo de recursos na barra de ferramentas e, na caixa de texto DIGITE O NOME DO GRUPO DE RECURSOS, introduza cyclecloud-rge, em seguida, selecione Apagar.

  5. Repita a etapa anterior para excluir o grupo de recursos com o nome começando com contoso-slurm-lab-cluster- que contém o recurso de disco usado pelo cluster.

Parabéns;! Concluiu com sucesso o segundo exercício deste módulo. Você garantiu a disponibilidade de recursos de computação e rede necessários para acomodar a implantação de um novo cluster. Em seguida, você implantou o cluster usando o Azure CycleCloud, configurou seus alertas de orçamento e iniciou-o para validar sua funcionalidade. Finalmente, você encerrou o cluster e excluiu todos os recursos provisionados neste módulo para evitar custos desnecessários.