Microsoft HPC Pack

  • Artigo

O Microsoft HPC Pack é uma solução HPC gratuita construída no Microsoft Azure com tecnologias Windows Server e suporta uma vasta gama de cargas de trabalho HPC. Esta página articula as capacidades e detalhes de configuração para a integração do HPC Pack com o Cyclecloud.

Limitações e versões suportadas

O Microsoft HPC Pack 2016 (com a atualização 3) e o Microsoft HPC Pack 2019 são suportados no CycleCloud com limitações abaixo:

  • O aglomerado deve ser criado num Domínio do Ative Directory.
  • O aglomerado pode conter apenas um nó na cabeça.
  • A elevada disponibilidade no nó de cabeça ainda não está suportada.
  • A personalização da imagem VM no nó de cabeça não é suportada.
  • Os nós de computação Linux ainda não estão suportados.
  • O nó de cabeça requer acesso à internet de saída para descarregar Nuget binary e Python3.
  • A configuração cli e cloud-init ainda não está suportada.

Pré-requisitos

Domínio do Active Directory

Atualmente, todos os nós do HPC Pack devem ser unidos numa Domínio do Ative Directory. Se estiver a implementar o cluster HPC Pack numa rede virtual que tenha uma ligação Site-to-Site VPN ou ExpressRoute com a sua rede corporativa, normalmente já existe um Domínio do Ative Directory existente. Se ainda não tiver um domínio AD na sua rede virtual, pode optar por criar um novo domínio de AD promovendo o nó de cabeça como controlador de domínio.

Azure Key Vault

O Microsoft HPC Pack requer um certificado PFX para garantir a comunicação do nó, e também requer credenciais de utilizador de domínio AD para se juntar aos nós no domínio AD. Embora possa especificar diretamente um ficheiro PFX, senha de proteção e senha de utilizador no modelo, recomendamos vivamente a utilização de Key Vault Azure para manuseamento seguro do certificado e senha do utilizador . Consulte a Criação de um Certificado de Key Vault Azure.

O cluster também requer o nome de utilizador e palavra-passe de uma conta de administrador de AD para unir nós ao domínio à medida que são criados. Recomendamos vivamente a utilização de Key Vault Azure.

Identidade gerida atribuída ao utilizador Azure

Para utilizar o Azure Key Vault para o certificado e credenciais, é necessário criar uma Identidade Gerida Atribuída ao Utilizador Azure e conceder a permissão get' tanto para o Segredo como para o Certificado do Key Vault Azure.

Pode consultar este tutorial Key Vault para criar o seu Key Vault e uma Identidade Gerida com acesso Key Vault.

Recomendamos a utilização de Role-Based Controlo de Acesso Azure para atribuir permissões Key Vault à Identidade Gerida.

Funções de nó de nó de pacote HPC

Existem três diferentes papéis de nó no cluster HPC Pack:

  • Nó de cabeça: Fornece os serviços de gestão de clusters e agendamento de emprego. Atualmente, apenas um nó de cabeça com bases de dados locais é suportado.
  • Nó de corretor: Recebe pedidos de um cliente SOA, distribui-os aos anfitriões de serviço nos nós do computação e, em seguida, recolhe respostas e envia-as de volta para o cliente. Os nós de corretor serão criados no conjunto de nós do corretor . Tem de criar nós de corretor se quiser executar uma carga de trabalho SOA no cluster.
  • Nó computativo: Aceita e gere trabalhos de cluster. Os nós computacional serão criados na matriz do nó cn .

Criar um novo Cluster de Pacotes HPC

Pode clicar no ícone Microsoft HPC Pack em Agendaers para criar um novo cluster Microsoft HPC Pack.

Na página Sobre , especifique um Nome de Cluster único para o cluster,uma vez que será usado como o nome de computador NetBIOS do nó de cabeça, certifique-se de que é único no domínio AD e cumpre as convenções de nomeação.

Definições Básicas

  • Versão do pacote HPC: Pode selecionar o HPC Pack 2019 ou o HPC Pack 2016 (com atualização 3). Recomendamos que utilize a versão mais recente do HPC Pack, ou seja, o HPC Pack 2019.
  • Máquinas Virtuais: Pode selecionar a Região Azure onde pretende criar o cluster HPC Pack e o VM Type para cada papel de nó de cluster. Também pode especificar Um. Corretores para criar um ou mais nós de Corretor se quiser executar cargas de trabalho SOA no cluster.

Auto-dimensionamento

O cluster é iniciado sem nó de computação. Pode ativar a Autoscale a escalar/reduzir automaticamente os nós de computação dependendo das cargas de trabalho do cluster, pode utilizar Max Cores para especificar o número máximo de núcleos vCPU compute do seu cluster. O autoescalador funciona a cada minuto como uma tarefa programada do Windows no nó de cabeça.

Existem duas opções de escala para nós de cálculo: Deallocate ou Terminate. Se escolher a opção Terminate , o cluster do Pacote HPC removerá sempre os VMs de nó de computação na escala. Se escolher a opção Deallocate , o cluster HPC Pack irá translocar os VMs de nó de computação em escala para baixo, e mantê-los por um número configurável de dias (VM Retention Days). Os nós computacional deallocated não serão removidos do cluster HPC Pack enquanto ainda estiverem retidos. No entanto, serão desligados e apresentados como inacessíveis no cluster do Pacote HPC. A opção Deallocate é recomendada para o cluster HPC Pack, uma vez que pode reduzir significativamente o tempo de preparação do nó na escala, e você só paga pelo armazenamento em disco dos VMs translocados.

Definições de infraestruturas

  • Rede Virtual: Pode selecionar uma rede virtual existente e uma sub-rede na qual será criado o cluster HPC Pack.
  • Domínio do Ative Directory: Se já existir um domínio AD na sua rede virtual, especifique o nome de domínio completo e o Caminho da U em que os nós de cluster serão unidos. Ou selecione Novo Domínio AD para criar um novo domínio de AD promovendo o nó de cabeça como controlador de domínio.
  • Segredos e Certificado: Recomendamos vivamente que selecione Use KeyVault para usar o Azure Key Vault para passar o certificado de comunicação do nó e a palavra-passe do utilizador. Na Identidade MSI, selecione Azure User Assigned Identity, que criou em Pré-requisitos a partir da lista de abandono, e especifique o Nome do Cofre da Chave Azure criado em Pré-requisitos.
  • Credenciais de utilizador: Em nome de utilizador, especifique o nome de utilizador do domínio. Em Password Secret, especifique o Azure Key Vault nome secreto que criou em Pré-requisitos para armazenar a palavra-passe do utilizador de domínio.
  • Certificado PFX: Em Nome do Certificado, especifique o nome Azure Key Vault Certificado que criou em Pré-requisitos.

Definições Avançadas

  • Definições Azure: Selecione as credenciais de nuvem Azure da lista de dropdown.
  • Cluster Software: Especifique o sistema operativo (OS) para cada função de nó de cluster.
  • Rede Avançada: Por predefinição, os servidores DNS configurados na rede virtual serão aplicados a todos os nós HPC, podendo especificar opcionalmente o DNS Server se pretender utilizar um servidor DNS diferente. Também pode selecionar opcionalmente HN Public IP para atribuir um endereço IP público para o nó de cabeça.

azhpcpack CLI

O azhpcpack.ps1 CLI é a interface principal para todo o comportamento de autoscalagem (as chamadas de Tarefa Agendadas azhpcpack.ps1 autoscale). O CLI está disponível em C:\cycle\hpcpack-autoscaler\bin)

O CLI pode ser utilizado para diagnosticar problemas com autoscalagem ou para controlar manualmente a escala do cluster a partir do interior do nó da cabeça.

Comando Descrição
dimensionamento automático Processo de autoescalação de ponta a ponta, incluindo criação, eliminação e junção de nós.
baldes Imprime informações de balde de autoescala, como limites etc
config Escreve a configuração de autoescala eficaz, após qualquer pré-processamento, para stdout
create_nodes Crie um conjunto de nós dado vários constrangimentos. Uma versão CLI da interface nodemanager.
default_output_columns Des output quais são as colunas de saída predefinidos para um comando opcional.
delete_nodes Apague o nó e despeje do cluster.
initconfig Cria uma configuração de escala automática inicial. Escreve para stdout.
limites Escreve um conjunto detalhado de limites para cada balde. Incumprimentos para json devido ao número de campos.
osdes Nódes de consulta.
refresh_autocomplete Refreshes informações locais autocompletas para recursos específicos do cluster e nós.
retry_failed_nodes Retrição todos os nós num estado falhado.
validate_constraint Valida então saídas como JSON uma ou mais restrições.