Editar

Partilhar via

Executar software de simulação de reservatório no Azure

Azure CycleCloud
Azure Key Vault
Azure Virtual Machines

A simulação de reservatório usa modelos computacionais intensivos em dados para prever fluxos complexos de fluidos, como petróleo, água e gás, sob a superfície da Terra. Este exemplo configura o software de simulação de reservatório em uma infraestrutura de computação de alto desempenho (HPC) do Azure. O Azure torna possível executar este tipo de carga de trabalho com o máximo desempenho, escalabilidade e eficiência de custos.

Arquitetura

Diagrama demonstrando a arquitetura de simulação do reservatório.

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de Trabalho

Este diagrama oferece uma visão geral de alto nível da arquitetura usada no exemplo. O fluxo de trabalho é o seguinte:

  1. Os usuários entram no nó principal via SSH para preparar seus modelos para os recursos de computação.

  2. O PBS Pro 19.1 é executado no nó principal e agenda os trabalhos nos nós de computação.

  3. O OPM Flow é executado nos nós de computação. As VMs de computação são implantadas como um conjunto de escala de máquina virtual, um grupo de VMs idênticas que são dimensionadas para atender às demandas das tarefas de computação.

  4. O OPM Flow envia resultados calculados para um compartilhamento de arquivos no nó principal. Um disco premium é conectado ao nó principal e configurado como um servidor NFS para os nós de computação e a VM de visualização.

  5. O OPM ResInsight, executado em uma VM Windows Standard-NV6, exibe visualizações 3D dos resultados. Os usuários podem acessar a VM de visualização por meio do RDP.

Componentes

Principais tecnologias utilizadas para implementar esta arquitetura:

Detalhes do cenário

A arquitetura neste exemplo suporta o OPM Flow, um popular pacote de simulação de reservatório de petróleo e gás de código aberto da iniciativa Open Porous Media (OPM). O software OPM Flow é executado em máquinas virtuais (VMs) HPC do Azure que oferecem desempenho próximo ou melhor do que as infraestruturas locais atuais.

Os usuários se conectam a uma VM de nó principal Linux para enviar modelos aos recursos HPC por meio do software de agendamento de tarefas PBS Pro 19.1. Os recursos HPC executam o OPM Flow e enviam resultados calculados para um compartilhamento de arquivos. Neste exemplo, o compartilhamento de arquivos é um espaço NFS (sistema de arquivos de rede) de 4 terabytes (TB) na VM do nó principal. Dependendo do seu modelo e dos seus requisitos de entrada e saída (E/S), você pode usar outras opções de armazenamento .

Uma VM do Microsoft Azure executando o OPM ResInsight, uma ferramenta de visualização de código aberto, acessa o compartilhamento de arquivos para modelar e visualizar os resultados calculados. Os usuários podem se conectar à VM por meio do protocolo RDP (Remote Desktop Protocol) para visualizar as visualizações.

Usar uma VM do Azure poupa as despesas de uma estação de trabalho de visualização high-end. As aplicações OPM beneficiam de hardware HPC e de uma localização de armazenamento partilhada para os ficheiros de entrada e saída.

Potenciais casos de utilização

  • Faça modelagem de reservatório 3D e visualização de dados sísmicos.

  • Teste o INTERSECT, um simulador de reservatório de alta resolução da Schlumberger. Você pode ver um exemplo de implementação INTERSECT no GitHub.

  • Teste o Nexus by Landmark-Halliburton usando uma configuração semelhante no Azure.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.

Este exemplo usa a série HB de VMs de alto desempenho. A série HB é otimizada para aplicações orientadas pela largura de banda da memória, como a dinâmica de fluidos computacional (CFD), e a Standard_HB120rs_v2 VM é a mais recente da série. Para hardware baseado em Intel, a Standard_HC44rs VM é uma opção.

Para testar essa arquitetura do OPM Flow no Azure, a implementação de exemplo do GitHub instala o caso Norne, um caso de referência aberta de um campo de petróleo real do Mar da Noruega. Para executar este caso de teste, você deve:

  • Use o Azure Key Vault para armazenar chaves e segredos, um requisito dos scripts de configuração do GitHub.

  • Instale as bibliotecas Linear Algebra PACKage (LAPACK) em todos os nós de computação. Os scripts de instalação do GitHub incluem esta etapa.

  • Instale o HP Remote Graphics Software (RGS) em qualquer computador que pretenda utilizar como recetor para as visualizações. Neste exemplo, um usuário se conecta à VM de visualização para executar o ResInsight e exibir o caso Norne.

Programador de tarefas

As cargas de trabalho de computação intensiva beneficiam do software de orquestração HPC que pode implementar e gerir a infraestrutura de computação e armazenamento HPC. A arquitetura de exemplo inclui duas maneiras de implantar computação: a estrutura azurehpc ou o Azure CycleCloud.

O Azure CycleCloud é uma ferramenta para criar, gerenciar, operar e otimizar HPC e grandes clusters de computação no Azure. Você pode usá-lo para provisionar dinamicamente clusters HPC do Azure e orquestrar dados e trabalhos para fluxos de trabalho híbridos e na nuvem. O Azure CycleCloud também suporta vários gestores de carga de trabalho para as suas cargas de trabalho HPC no Azure, tais como Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro, Slurm e Symphony.

Rede

Este exemplo de carga de trabalho implanta as VMs em sub-redes diferentes. Para segurança adicional, você pode definir grupos de segurança de rede para cada sub-rede. Por exemplo, você pode definir regras de segurança que permitem ou negam tráfego de rede de ou para os vários nós. Se você não precisa desse nível de segurança, não precisa de sub-redes separadas para essa implementação.

Armazenamento

As necessidades de armazenamento e acesso de dados variam muito, dependendo da escala da carga de trabalho. O Azure suporta várias abordagens para gerir a velocidade e a capacidade das aplicações HPC. O repositório azurehpc GitHub inclui exemplos de scripts HPC do Azure.

As seguintes abordagens são comuns na indústria de petróleo e gás. Escolha a solução mais adequada aos seus requisitos exclusivos de E/S e capacidade.

  • Para cargas de trabalho de baixa escala, como o exemplo atual, considere executar NFS no nó principal, usando uma VM da série Lsv2 otimizada para armazenamento com grandes discos efêmeros ou VMs da série D com o Armazenamento Premium do Azure, dependendo de suas necessidades. Esta solução adapta-se a cargas de trabalho com 500 núcleos ou menos, débito de até 1,5 gigabytes por segundo (GiB/s) e até 19 TB de RAM e 100 TB de armazenamento.

  • Cargas de trabalho de leitura intensiva de média a grande escala: considere usar o Avere vFXT para Azure (6 a 24 nós). Essa solução funciona para cargas de trabalho de até 50.000 núcleos, taxa de transferência de até 2 GiB/s para gravações e até 14 GiB/s para leituras, um cache de até 192 TB e um servidor de arquivos de até 2 petabytes (PB).

  • Cargas de trabalho de média escala balanceadas ou com uso intensivo de gravação: considere usar os Arquivos NetApp do Azure para cargas de trabalho de até 4.000 núcleos, com uma taxa de transferência de até 6,5 GiB/s, armazenamento de até 100 TB/volume e um tamanho de arquivo máximo de 12 TB.

  • Cargas de trabalho em grande escala: use um serviço de arquivos paralelo orquestrado, como o Lustre ou o BeeGFS. Essa abordagem funciona para até 50.000 núcleos, com taxas de leitura/gravação de até 50 GiB/s e armazenamento de 500 TB. Para clusters ainda maiores, uma abordagem bare-metal pode ser mais econômica. Por exemplo, o Cray ClusterStor é uma solução de armazenamento HPC gerenciado com a flexibilidade de suportar clusters elásticos maiores em tempo real.

Implementar este cenário

Obtenha um exemplo de implementação desta arquitetura OPM Flow no GitHub.

Próximos passos