Configurar um cluster HPC (computação de alto desempenho) híbrido com o Microsoft HPC Pack e nós de computação de PaaS do Azure sob demanda

Use o Microsoft HPC Pack 2016 Update 1 (ou versão posterior) e o Azure para configurar um cluster HPC (computação de alto desempenho) pequeno e híbrido. O cluster mostrado neste artigo consiste em um nó de cabeçalho do HPC Pack local e alguns nós de computação que você implanta sob demanda em um serviço de nuvem do Azure. Em seguida, você pode executar trabalhos de computação no cluster híbrido.

Este tutorial mostra uma abordagem, às vezes chamada de cluster "intermitência na nuvem", para usar recursos escalonáveis e sob demanda do Azure para executar aplicativos com uso intensivo de computação.

Este tutorial não pressupõe nenhuma experiência anterior com clusters de computação ou HPC Pack. Ele destina-se apenas a ajudá-lo a implantar um cluster de computação híbrida rapidamente para fins de demonstração. Para obter considerações e etapas para implantar um cluster HPC Pack híbrido em maior escala em um ambiente de produção, consulte o diretrizes detalhadas. Se você quiser usar a versão anterior do HPC Pack, consulte documento do HPC Pack 2012 R2

Pré-requisitos

• assinatura do Azure – se você não tiver uma assinatura do Azure, poderá criar uma conta gratuita em apenas alguns minutos.

• um computador local que executa o Windows Server 2012 R2 ou o Windows Server 2016 – use este computador como o nó principal do cluster HPC. Se você ainda não estiver executando o Windows Server, poderá baixar e instalar uma versão de avaliação .

  • O computador deve ser ingressado em um domínio do Active Directory. Para fins de teste, você pode configurar o computador de nó principal como um controlador de domínio. Para adicionar a função de servidor do Active Directory Domain Services e promover o computador de nó principal como um controlador de domínio, consulte a documentação do Windows Server.
  • Para dar suporte ao HPC Pack, o sistema operacional deve ser instalado em um destes idiomas: inglês, japonês ou chinês (simplificado).
  • Verifique se as atualizações importantes e críticas estão instaladas.

• HPC Pack 2016 - Baixar o pacote de instalação da versão mais recente gratuitamente e copiar os arquivos para o computador de nó principal.

• conta de domínio – essa conta deve ser configurada com permissões de Administrador local no nó principal para instalar o HPC Pack.

• conectividade TCP na porta 443 do nó principal para o Azure (fora do limite).

Instalar o HPC Pack no nó principal

Primeiro, instale o Microsoft HPC Pack em seu computador local executando o Windows Server. Esse computador se torna o nó principal do cluster.

1. Faça logon no nó principal usando uma conta de domínio que tenha permissões de Administrador local.

2. Inicie o Assistente de Instalação do HPC Pack executando Setup.exe dos arquivos de instalação do HPC Pack.

3. Na tela de Instalação do HPC Pack 2016 , clique em Nova instalação ou adicione novos recursos a uma instalação existente.

   de instalação do HPC Pack 2016

4. Na página Contrato de Usuário de Software da Microsoft, clique em Próximo.

5. Na página Selecionar Tipo de Instalação, clique em Criar um novo cluster HPC criando um nó principale clique em Próximo.

6. O assistente executa vários testes de pré-instalação. Clique em Próximo na página regras de instalação do se todos os testes forem aprovados. Caso contrário, examine as informações fornecidas e faça as alterações necessárias em seu ambiente. Em seguida, execute os testes novamente ou, se necessário, inicie o Assistente de Instalação novamente.

7. Na página de Configuração do HPC DB , verifique se de nó principal está selecionado para todos os bancos de dados HPC e clique em Próximo.

   de configuração de banco de dados

8. Aceite seleções padrão nas páginas restantes do assistente. Na página instalar componentes necessários , clique em Instalar.

   

9. Após a conclusão da instalação, desmarque Iniciar do Gerenciador de Cluster HPC e clique em Concluir. (Inicie o Gerenciador de Cluster de HPC em uma etapa posterior.)

   

Preparar a assinatura do Azure

Execute as etapas a seguir no portal do do Azure com sua assinatura do Azure. Depois de concluir essas etapas, você pode implantar nós do Azure no nó principal local.

Nota

Anote também sua ID de assinatura do Azure, que você precisa mais tarde. Localize a ID nas assinaturas no portal.

Carregar o certificado de gerenciamento padrão

A versão anterior do HPC Pack instala um certificado autoassinado no nó principal, chamado de certificado de Gerenciamento do Microsoft HPC Azure padrão, que você pode carregar como um certificado de gerenciamento do Azure. Mas do HPC Pack 2016 Atualização 1 esse certificado não é fornecido por padrão, portanto, você precisa preparar um certificado autoassinado com o comando no nó principal e exportar o certificado como tmpfolder\hpccert.cer:

New-SelfSignedCertificate -Subject "CN=HPC Pack Management" -KeySpec KeyExchange -TextExtension @("2.5.29.37={text}1.3.6.1.5.5.7.3.1,1.3.6.1.5.5.7.3.2") -CertStoreLocation cert:\LocalMachine\My -KeyExportPolicy Exportable -NotAfter (Get-Date).AddYears(5) -NotBefore (get-Date).AddDays(-1)

1. No computador de nó principal, importe o certificado de tmpfolder\hpccert.cer para LocalMachine\My. Observe que, na versão anterior do HPC Pack, você não precisa importar o certificado para LocalMachine\Trusted Root mais.

2. Entre no portal do do Azure.

3. Clique Assinaturas>your_subscription_name.

4. Clique em Certificados de Gerenciamento>Carregar, navegue no nó principal do arquivo tmpfolder\hpccert.cer. Em seguida, clique em Carregar.

O certificado de Gerenciamento do Azure padrão aparece na lista de certificados de gerenciamento.

Criar um serviço de nuvem do Azure

Nota

Para obter melhor desempenho, crie o serviço de nuvem e a conta de armazenamento (em uma etapa posterior) na mesma região geográfica.

1. No portal, clique em serviços de nuvem (clássico)>+Adicionar.

2. Digite um nome DNS para o serviço, escolha um grupo de recursos e um local e clique em Criar.

Criar uma conta de armazenamento do Azure

1. No portal, clique em Contas de Armazenamento (clássicas)>+Adicionar.

2. Digite um nome para a conta e selecione o modelo de implantação do Clássico .

3. Escolha um grupo de recursos e um local e deixe outras configurações com valores padrão. Em seguida, clique em Criar. Aqui, você precisa usar Novo ou Selecionar Grupo de Recursos com prefixo Default-Storage-<your_picked_Location> caso contrário, o serviço não poderá localizar a conta de armazenamento.

Configurar o nó principal

Para usar o Gerenciador de Cluster de HPC para implantar nós do Azure e enviar trabalhos, primeiro execute algumas etapas de configuração de cluster necessárias.

1. No nó principal, inicie o Gerenciador de Cluster de HPC. Se a caixa de diálogo Selecionar Nó De Cabeçalho for exibida, clique em do Computador Local. O de Lista de Tarefas Pendentes de Implantação de é exibido.

2. Em tarefas de implantação necessárias, clique em Configurar ode rede.

   de rede

3. No Assistente de Configuração de Rede, selecione Todos os nós somente em um de rede empresarial (Topologia 5). Essa configuração de rede é a mais simples para fins de demonstração.

   

4. Clique em Próximo para aceitar valores padrão nas páginas restantes do assistente. Em seguida, na guia Examinar, clique em Configurar para concluir a configuração de rede.

5. Nolista de tarefas pendentes de implantação do , clique em Fornecer credenciais de instalação.

6. Na caixa de diálogo Credenciais de Instalação, digite as credenciais da conta de domínio que você usou para instalar o HPC Pack. Em seguida, clique em OK.

   credenciais de instalação

7. Nolista de tarefas pendentes de implantação , clique em Configurar a nomenclatura de novos nós.

8. Na caixa de diálogo Especificar Série de Nomenclatura de Nós, aceite a série de nomenclatura padrão e clique em OK. Conclua esta etapa mesmo que os nós do Azure adicionados neste tutorial sejam nomeados automaticamente.

   

9. Nolista de tarefas pendentes de implantação do , clique em Criar um modelo de nó. Posteriormente, no tutorial, você usará o modelo de nó para adicionar nós do Azure ao cluster.

10. No Assistente para Criar Modelo de Nó, faça o seguinte:

    um. Na página Escolher Tipo de Modelo de Nó , clique modelo de nó do Windows Azuree clique em Próximo.

    modelo de nó

    b. Clique em Próximo para aceitar o nome do modelo padrão.

    c. Na página Fornecer Informações de Assinatura, insira sua ID de assinatura do Azure (disponível nas informações da conta do Azure). Em seguida, node certificado de Gerenciamento de , procure Gerenciamento padrão do Microsoft HPC Azure. clique em Próximo.

    modelo de nó

    d. Na página Fornecer Informações do Serviço, selecione o serviço de nuvem e a conta de armazenamento que você criou em uma etapa anterior. Em seguida, clique em Próximo.

    modelo de nó

    e. Clique em Próximo para aceitar valores padrão nas páginasespecificar nós de proxy , especificar de função de trabalho e especificar script de inicialização páginas do assistente. Observe que esse script será executado durante o provisionamento antes que o nó esteja pronto como offline. E há dois registros para você ajustar o comportamento padrão. Por exemplo, se o administrador definir a chave do Registro Microsoft.Hpc.Azure.AzureStartupTaskFailureEnable como 1, a implantação aguardará até que o script de inicialização conclua a execução antes de definir o nó acessível para trabalhos: HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\HPC Name:Microsoft.Hpc.Azure.AzureStartupTaskFailureEnable Type:REG_DWORD; (default is 0) e HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\HPC Name:Microsoft.Hpc.Azure.AzureStartupTaskTimeoutSec Type:REG_DWORD; (default is 1800)

    f. Clique em Próximo para aceitar valores padrão na página Configurar a Rede Virtual do Microsoft Azure. Se você estiver usando a VPN do Azure ou rota expressa com túnel forçado, precisará usar o Balanceamento de Carga Interno do Azure, basta pegar um IP estático válido e gratuito na sub-rede.

    modelo de nó

    g. Clique em Próximo para fornecer credenciais na página Configurarde Credencial de Área de Trabalho Remota. Clique em Próximo para configurar a Política de Disponibilidade. Se você quiser habilitar a redução automática de crescimento mais tarde, basta escolher Start and stop nodes manually. Em seguida, na guia revisão de , clique em Criar para criar o modelo de nó.

    Nota

    Por padrão, o modelo de nó do Azure inclui configurações para você iniciar (provisionar) e interromper os nós manualmente, usando o Gerenciador de Cluster de HPC, que posteriormente você pode configurar Redução de aumento automático. Opcionalmente, você pode configurar um agendamento para iniciar e parar os nós do Azure automaticamente.

Adicionar nós do Azure ao cluster

Agora, use o modelo de nó para adicionar nós do Azure ao cluster. Adicionar os nós ao cluster armazena suas informações de configuração para que você possa iniciá-los (provisioná-los) a qualquer momento no serviço de nuvem. Sua assinatura só é cobrada pelos nós do Azure depois que as instâncias são executadas no serviço de nuvem.

Siga estas etapas para adicionar dois nós pequenos.

1. No Gerenciador de Cluster do HPC, clique em de Gerenciamento de Nós (chamado de Gerenciamento de Recursos nas versões atuais do HPC Pack) >Adicionar Nó.

   de nó

2. No Assistente para Adicionar Nó, na página Selecionar Método de Implantação, clique em Adicionar nós do Windows Azuree clique em Avançar.

   do Nó do Azure

3. Na página Especificar Novos Nós, selecione o modelo de nó do Azure criado anteriormente (chamado por padrão padrão do Modelo do AzureNode). Em seguida, especifique dois nós de de tamanho pequenoe clique em Próximo.

   

4. Na página Assistente para Adicionar Nó , clique em Concluir.

   Dois nós do Azure, chamados AzureCN-0001 e do AzureCN-0002, agora aparecem no Gerenciador de Cluster do HPC. Ambos estão no estado não implantado .

   

Iniciar os nós do Azure

Quando quiser usar os recursos de cluster no Azure, use o Gerenciador de Cluster de HPC para iniciar (provisionar) os nós do Azure e colocá-los online.

1. No Gerenciador de Cluster do HPC, clique em de Gerenciamento de Nós (chamado de Gerenciamento de Recursos nas versões atuais do HPC Pack) e selecione os nós do Azure.

2. Clique em Iniciare, em seguida, clique em OK.

   

   Os nós fazem a transição para o estado de de Provisionamento de . Exiba o log de provisionamento para acompanhar o progresso do provisionamento.

   

3. Após alguns minutos, os nós do Azure terminam o provisionamento e estão no estado offline . Nesse estado, as instâncias de função estão em execução, mas ainda não podem aceitar trabalhos de cluster.

4. Para confirmar se as instâncias de função estão em execução, no portal do Azure, clique em Serviços de Nuvem (clássico)>your_cloud_service_name.

   Você deverá ver duas instâncias de HpcWorkerRole (nós) em execução no serviço. O HPC Pack também implanta automaticamente duas instâncias de HpcProxy (tamanho Médio) para lidar com a comunicação entre o nó principal e o Azure.

   

5. Para colocar os nós do Azure online para executar trabalhos de cluster, selecione os nós, clique com o botão direito do mouse e clique em Bring Online.

   

   O Gerenciador de Cluster de HPC indica que os nós estão no estado Online.

Executar um comando no cluster

Para verificar a instalação, use o comando clusrun do HPC Pack para executar um comando ou aplicativo em um ou mais nós de cluster. Como um exemplo simples, use de cluster para obter a configuração de IP dos nós do Azure.

1. No nó principal, abra um prompt de comando como administrador.

2. Digite o seguinte comando:

   clusrun /nodes:azurecn* ipconfig

3. Se solicitado, insira a senha do administrador do cluster. Você deverá ver uma saída de comando semelhante à seguinte.

   

Executar um trabalho de teste

Agora envie um trabalho de teste executado no cluster híbrido. Este exemplo é um trabalho de varredura paramétrica simples (um tipo de computação paralela intrinsecamente). Este exemplo executa subtarefas que adicionam um inteiro a si mesmo usando o comando set /a. Todos os nós no cluster contribuem para concluir as subtarefas para inteiros de 1 a 100.

1. No Gerenciador de Cluster do HPC, clique em Gerenciamento de Trabalho>Novo Trabalho de Varredura Paramétrica.

   

2. Na caixa de diálogo Novo Trabalho de Varredura Paramétrica , em linha de comando, digite (substituindo a linha de comando padrão exibida). Deixe valores padrão para as configurações restantes e clique em Enviar para enviar o trabalho.

   de Varredura Paramétrica

3. Quando o trabalho for concluído, clique duas vezes no trabalho Minha Tarefa de Varredura.

4. Clique em Exibir Tarefase, em seguida, clique em uma subtarefa para exibir a saída calculada dessa subtarefa.

   resultados da tarefa

5. Para ver qual nó executou o cálculo para essa subtarefa, clique em Nós Alocados. (Seu cluster pode mostrar um nome de nó diferente.)

   resultados da tarefa

Parar os nós do Azure

Depois de experimentar o cluster, interrompa os nós do Azure para evitar encargos desnecessários em sua conta. Esta etapa interrompe o serviço de nuvem e remove as instâncias de função do Azure.

1. No Gerenciador de Cluster do HPC, em de Gerenciamento de Nós (chamado de Gerenciamento de Recursos em versões anteriores do HPC Pack), selecione ambos os nós do Azure. Em seguida, clique em Parar.

   

2. Na caixa de diálogo Parar nós do Windows Azure, clique em Parar.

3. Os nós fazem a transição para o estado Parar. Após alguns minutos, o Gerenciador de Cluster de HPC mostra que os nós são não implantados.

   

4. Para confirmar se as instâncias de função não estão mais em execução no Azure, no portal do Azure, clique em serviços de nuvem (clássico)>your_cloud_service_name. Nenhuma instância é implantada no ambiente de produção.

   Isso conclui o tutorial.

Habilitar redução de crescimento automático para nós de função de trabalho do Azure

Se você não quiser iniciar e parar os nós de função de trabalho do azure manualmente, poderá habilitar a redução do Aumento Automático para iniciar os nós automaticamente quando houver trabalhos na fila e parar os nós automaticamente quando ele estiver ocioso.

Habilitar a propriedade AutoGrowShrink

Set-HpcClusterProperty –EnableGrowShrink 1

Depois de habilitar essa propriedade, você pode enviar o trabalho novamente e verificar se os nós de função de trabalho do azure são iniciados automaticamente. Abra do Gerenciador de Cluster do HPC e vá para Painel de Gerenciamento de Recursos, selecione a operação de >exibição do AzureOperations, você verá todas as operações de redução de crescimento do azure. Verifique também redução de aumento automático do hpcpack para obter mais detalhes.

Próximas etapas

• Saiba hpcpack.exe e hpcsync.exe para mover seus dados para seus nós de nuvem.
• Para configurar uma implantação de cluster HPC Pack híbrida em maior escala, consulte Intermitência para instâncias de função de trabalho do Azure com o Microsoft HPC Pack.
• Para obter outras maneiras de criar um cluster do HPC Pack no Azure, incluindo o uso de modelos do Azure Resource Manager, consulte Introdução ao cluster de pacotes HPC no Azure.