Editar

Executar o software de simulação de reservatório no Azure

Azure CycleCloud
Cofre de Chave do Azure
Máquinas Virtuais do Azure

A simulação de reservatório emprega modelos de computador com uso intensivo de dados para prever fluxos complexos de fluidos como óleo, água e gás abaixo da superfície da terra. Este exemplo configura o software de simulação de reservatório em uma infraestrutura de HPC (computação de alto desempenho) do Azure. O Azure torna possível executar esse tipo de carga de trabalho com desempenho, escalabilidade e eficiência de custo máximos.

Arquitetura

Diagram demonstrating the reservoir simulation architecture.

Baixe um Arquivo Visio dessa arquitetura.

Workflow

Este diagrama oferece uma visão geral de alto nível da arquitetura usada no exemplo. O fluxo de trabalho é o seguinte:

  1. Os usuários entram no nó principal via SSH para preparar seus modelos para os recursos de computação.

  2. o PBS Pro 19.1 é executado no nó principal e agenda os trabalhos nos nós de computação.

  3. O OPM Flow é executado nos nós de computação. As VMs de computação são implantadas como um conjunto de dimensionamento de máquinas virtuais, um grupo de VMs idênticas que são dimensionadas para atender às demandas das tarefas de computação.

  4. O OPM Flow envia os resultados calculados para um compartilhamento de arquivos no nó principal. Um disco Premium é conectado ao nó principal e configurado como um servidor NFS para os nós de computação e a VM de visualização.

  5. O OPM ResInsight em execução em uma VM Windows NV6 padrão exibe visualizações 3D dos resultados. Os usuários podem acessar a VM de visualização por meio de RDP.

Componentes

Principais tecnologias usadas para implementar essa arquitetura:

Detalhes do cenário

A arquitetura neste exemplo dá suporte ao OPM Flow, um popular pacote de simulação de petróleo e gás de software livre da iniciativa OPM (Open Porous Media). O software OPM Flow roda em VMs (máquinas virtuais) HPC do Azure que fornecem desempenho próximo ou melhor do que as infraestruturas locais atuais.

Os usuários se conectam a uma VM do nó principal do Linux para enviar modelos para os recursos do HPC por meio do software de agendamento de trabalho PBS Pro 19.1. Os recursos do HPC executam o OPM Flow e enviam resultados calculados para um compartilhamento de arquivos. Neste exemplo, o compartilhamento de arquivos é um espaço de NFS (sistema de arquivos de rede) de 4 terabytes na VM do nó principal. A depender do seu modelo e requisitos de E/S (entrada e saída), você pode usar outras opções de armazenamento.

Uma Microsoft Azure VM executando OPM ResInsight, uma ferramenta de visualização de código aberto, acessa o compartilhamento de arquivos para modelar e visualizar os resultados calculados. Os usuários podem se conectar à VM por meio do RDP (Protocolo de Área de Trabalho Remota) para exibir as visualizações.

O uso de uma VM do Azure poupa os custos de uma estação de trabalho de visualização de alto nível. Os aplicativos OPM se beneficiam do hardware HPC e de um local de armazenamento compartilhado para os arquivos de entrada e saída.

Possíveis casos de uso

  • Faça a modelagem e a visualização 3D do reservatório de dados sísmicos.

  • Teste o INTERSECT, um simulador de reservatório de alta resolução da Schlumberger. Você pode ver uma implementação do INTERSECT de exemplo no GitHub.

  • Teste o Nexus da Landmark-Halliburton usando uma configuração semelhante no Azure.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios de orientação que podem ser usados para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, confira Microsoft Azure Well-Architected Framework.

Este exemplo usa a série HB de VMs de alto desempenho. A série HB é otimizada para aplicativos orientados pela largura de banda de memória, como o CFD (dinâmica de fluido computacional) e a VM Standard_HB120rs_v2 é a mais recente na série. Para hardware baseado em Intel, a VM Standard_HC44rs é uma opção.

Para testar essa arquitetura do OPM Flow no Azure, a implementação de exemplo do GitHub instala o caso Norne, um caso aberto para parâmetro de comparação de um campo de óleo real no Mar da Noruega. Para executar esse caso de teste, você deve:

  • Usar o Azure Key Vault para armazenar chaves e segredos, um requisito dos scripts de instalação do GitHub.

  • Instalar as bibliotecas de LAPACK (Pacote de Álgebra Linear) em todos os nós de computação. Os scripts de instalação do GitHub incluem essa etapa.

  • Instalar o HP Remote Graphics software (RGS) em qualquer computador que você queira usar como receptor para as visualizações. Neste exemplo, um usuário se conecta à VM de visualização para executar o ResInsight e exibir o caso de Norne.

Agendador de trabalho

As cargas de trabalho com uso intensivo de computação se beneficiam do software de orquestração do HPC, que pode implantar e gerenciar a computação HPC e a infraestrutura de armazenamento. A arquitetura de exemplo inclui duas maneiras de implantar a computação: a estrutura azurehpc ou o Azure CycleCloud.

O Azure CycleCloud é uma ferramenta para criar, gerenciar, operar e otimizar clusters de HPC e grandes clusters de cálculo no Azure. Você pode usá-lo para provisionar dinamicamente clusters HPC no Azure e orquestrar dados e trabalhos para fluxos de trabalho híbridos e na nuvem. O azure CycleCloud também oferece suporte a vários gerenciadores de carga de trabalho para suas cargas de trabalho do HPC no Azure, como o Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro, Slurm e Symphony.

Rede

Essa carga de trabalho de exemplo implanta as VMs em sub-redes diferentes. Para obter mais segurança, você pode definir grupos de segurança de rede para cada sub-rede. Por exemplo, você pode definir regras de segurança que permitem ou negam o tráfego de rede de ou para os vários nós. Se você não precisar desse nível de segurança, não precisará de sub-redes separadas para essa implementação.

Armazenamento

As demandas de armazenamento de dados e de acesso variam muito, a depender da escala da carga de trabalho. O Azure oferece suporte a várias abordagens para gerenciar a velocidade e a capacidade de aplicativos HPC. O repositório de GitHub azurehpc inclui exemplos de scripts do HPC do Azure.

As abordagens a seguir são comuns no setor de petróleo e gás. Escolha a solução mais adequada para seus requisitos exclusivos de E/S e capacidade.

  • Para cargas de trabalho de baixa escala como o exemplo atual, considere executar o NFS no nó principal, usando uma VM da série Lsv2 otimizada para armazenamento com grandes discos efêmeros ou VMs da série D com o Armazenamento Premium do Azure, a depender dos seus requisitos. Essa solução atende a cargas de trabalho com 500 núcleos ou menos, taxa de transferência de até 1,5 gigabytes por segundo (GiB/s) e até 19 TB de RAM e armazenamento de 100 TB.

  • Cargas de trabalho de leitura intensa de média a grande escala: Considere o uso do Avere vFXT para Azure (6 a 24 nós). Essa solução funciona para cargas de trabalho de até 50.000 núcleos, taxa de transferência de até 2 GiB/s para gravações e até 14 GiB/s para leituras, um cache de até 192 TB e um servidor de arquivos de até 2 petabytes (PB).

  • Cargas de trabalho de escala média balanceadas ou com uso intensivo de gravação: Considere o uso do Azure NetApp Files para cargas de trabalho de até 4.000 núcleos, com uma taxa de transferência de até 6,5 GiB/s, armazenamento de até 100 TB/volume e um tamanho de arquivo maximizado de 12 TB.

  • Cargas de trabalho em larga escala: Use um serviço de arquivo paralelo orquestrado, como o Lustre ou BeeGFS. Essa abordagem funciona para até 50.000 núcleos, com taxas de leitura/gravação de até 50 GiB/s e armazenamento de 500 TB. Para clusters ainda maiores, uma abordagem bare-metal pode ser mais econômica. Por exemplo, a Cray ClusterStor é uma solução de armazenamento HPC gerenciada com a flexibilidade para dar suporte a clusters elásticos maiores em tempo real.

Implantar este cenário

Obtenha um exemplo de implementação desta arquitetura do OPM Flow no GitHub.

Próximas etapas