Partilhar via

Zona de aterragem para HPC

  • Artigo

A metodologia Ready do Cloud Adoption Framework for Azure pode guiá-lo na preparação do seu ambiente para a adoção da nuvem. Durante a fase de preparação, você pode usar uma zona de aterrissagem do Azure. Uma zona de aterrissagem é um acelerador técnico que fornece o bloco de construção básico para qualquer ambiente de adoção de nuvem. Uma zona de aterrissagem pode automatizar a configuração do seu ambiente do Azure, alinhando-se com as orientações de práticas recomendadas do Cloud Adoption Framework. Ao se preparar para a computação de alto desempenho (HPC), você pode encontrar configurações de ambiente que dependem do caso de uso e dos requisitos do setor.

Arquitetura conceitual da zona de aterrissagem do Azure

Ao preparar seu ambiente para a adoção sustentada da nuvem, você pode usar uma arquitetura conceitual da zona de aterrissagem do Azure que representa um estado final de destino. Para HPC, há várias referências de arquitetura conceitual baseadas nos três setores que o Cloud Adoption Framework aborda atualmente:

Considere essas referências de arquitetura ao desenvolver uma visão de longo prazo para sua zona de pouso. Estas referências constituem um ponto de partida. Com base nos requisitos de negócios da sua organização e nas necessidades dos usuários finais, talvez seja necessário modificá-los.

Avaliação para HPC

As decisões que você toma durante a avaliação de impacto estratégico e o planejamento técnico influenciam a configuração da zona de aterrissagem escolhida para suas implantações de HPC no Azure. Recomendamos que você considere as seguintes perguntas:

  • Quão maduro é o seu ambiente no Azure? Está na fase de prova de conceito? Ou já é uma aplicação madura que serve os utilizadores? Dependendo do estágio, você pode incluir ou omitir governança, segurança ou organização de recursos.
  • O aplicativo que você está criando no Azure é de curta duração ou um projeto de longa data? A resposta a essa pergunta pode ajudá-lo a escolher suas opções de computação e armazenamento.
  • Sua organização exige que as pessoas acessem os recursos do Azure em vários níveis?

Como você pode ver nessas perguntas, o modelo de implantação varia dependendo do seu negócio, setor e uso do aplicativo.

Aceleração da zona de aterrissagem do Azure para HPC

O Azure Batch e o Azure CycleCloud são serviços de terceiros fornecidos pelo Azure, enquanto o Azure HPC OnDemand Platform (AzHOP) é uma automação criada com base no Azure Cycle Cloud que fornece um mecanismo de implantação de ponta a ponta para uma solução completa de cluster HPC no Azure.

Azure Batch

  • O Batch foi projetado para executar trabalhos em lote paralelos e HPC em grande escala de forma eficiente no Azure.
  • O Batch cria e gerencia um pool de nós de computação ou máquinas virtuais (VMs). Você também pode usar o Batch para instalar os aplicativos que deseja executar e agendar trabalhos para serem executados nos nós.
  • Não há cluster ou software de agendamento de tarefas para instalar, gerenciar ou dimensionar.
  • O Batch funciona bem com cargas de trabalho intrinsecamente paralelas. Essas cargas de trabalho têm aplicativos que podem ser executados de forma independente, com cada instância concluindo parte do trabalho.
  • Você também pode usar o Batch para executar cargas de trabalho fortemente acopladas, onde os aplicativos que você executa precisam se comunicar uns com os outros em vez de serem executados independentemente.
  • As tarefas em lote podem ser executadas diretamente em VMs, ou nós, em um pool de lotes. Mas você também pode configurar um pool de lotes para executar tarefas em contêineres compatíveis com o Docker nos nós.

Azure CycleCloud

  • Ele suporta vários agendadores HPC, como SLURM, OpenPBS, PBSPro, LSF, Grid Engine e HTCondor12.
  • Ele permite provisionar infraestrutura para sistemas HPC, como máquinas virtuais, conjuntos de escala, interfaces de rede e discos.
  • Ele dimensiona automaticamente a infraestrutura para executar trabalhos de forma eficiente em qualquer escala com base na carga de trabalho, disponibilidade e requisitos de tempo.
  • Ele fornece um formato de modelagem detalhado e declarativo para construir ambientes HPC completos no Azure.
  • Ele se integra aos serviços do Azure, como o Azure Monitor e as ferramentas Microsoft Cost Management.

AzHop

  • O AzHop fornece um mecanismo de implantação de ponta a ponta para uma infraestrutura HPC básica no Azure utilizando o CycleCloud para orquestrar trabalhos.
  • Ele oferece uma solução completa de cluster HPC pronta para os usuários executarem aplicativos e que é fácil para os administradores de HPC implantarem e gerenciarem.
  • O AzHop usa vários aplicativos integrados que você pode usar "como está", ou você pode facilmente personalizar e estender para atender a quaisquer requisitos não atendidos.
  • Ele inclui um portal Open OnDemand para acesso unificado de usuário, acesso remoto de shell, acesso de visualização remota, envio de trabalho, acesso a arquivos e muito mais.
  • Ele usa o Ative Directory para autenticação de usuário e controle de domínio.
  • Ele usa OpenPBS ou Simple Linux Utility for Resource Management (SLURM) como um agendador de tarefas.
  • O provisionamento dinâmico de recursos e o dimensionamento automático são feitos por filas de tarefas pré-configuradas do CycleCloud e verificações de integridade integradas para evitar rapidamente nós não ideais.
  • O Azure NetApp Files fornece um sistema de arquivos compartilhado para o diretório base e os aplicativos.

Gráfico comparativo

Caraterística Azure Batch Azure CycleCloud
Agendador APIs e ferramentas em lote estão disponíveis. Você também pode usar scripts de linha de comando nativos da nuvem no portal do Azure. Você pode usar agendadores HPC padrão, como SLURM, OpenPBS, PBSPro, LSF, Grid Engine e HTCondor. Ou você pode estender os plug-ins de dimensionamento automático do Azure CycleCloud para trabalhar com seu próprio agendador.
Recursos de computação Nós de software como serviço (SaaS) – plataforma como serviço (PaaS). PaaS software – PaaS.
Ferramentas de monitorização Azure Monitor. Azure Monitor e Grafana.
Personalização Você pode usar pools de imagens personalizadas, imagens de terceiros ou acesso à API em lote. Você pode usar a abrangente API RESTful para personalizar e estender a funcionalidade, implantar seu próprio agendador e dar suporte a gerenciadores de carga de trabalho existentes.
Integração Pipelines do Azure Synapse Analytics, Azure Data Factory e a CLI do Azure. Uma CLI integrada para Windows e Linux.
Tipo de utilizador Programadores Administradores e utilizadores de HPC clássicos.
Tipo de trabalho Lotes e fluxos de trabalho. Fluxos de trabalho fortemente acoplados que usam MPI (Message Passing Interface).
Suporte do Windows Fornecido. Depende da escolha do agendador.

O Azure CycleCloud e o Azure Batch são ferramentas poderosas para tarefas HPC no Azure, mas foram concebidos para casos de utilização diferentes.

O Azure CycleCloud é uma ferramenta empresarial para orquestrar e gerir ambientes HPC no Azure. Destina-se a administradores e utilizadores de HPC que pretendam implementar um ambiente HPC com um agendador específico em mente. O Azure CycleCloud fornece ferramentas poderosas para construir ambientes HPC completos no Azure, incluindo servidores NFS (Partilha de Ficheiros de Rede), sistemas de ficheiros paralelos, anfitriões de início de sessão, servidores de licenças e serviços de diretório. É útil para organizações que operam ambientes de HPC há algum tempo e acumularam anos de experiência e ferramentas internas em torno de um agendador específico.

Em contraste, o Batch é destinado principalmente a desenvolvedores e equipes que criam um recurso em seu próprio produto ou serviço. O Batch inclui seu próprio agendador e foi projetado para executar trabalhos paralelos em grande escala de forma eficiente sem cluster ou software de agendador de tarefas. O lote é útil quando você não precisa gerenciar um agendador de carga de trabalho.

Em resumo, use o Azure CycleCloud quando quiser implantar um ambiente HPC com um agendador específico em mente e precisar de um ambiente HPC completo. Use o Batch quando desenvolver um produto ou serviço que exija processamento paralelo em grande escala e não queira gerenciar um agendador de carga de trabalho.

Próximos passos