Editar

Executar software de simulação de reservatórios no Azure

Azure CycleCloud
Azure Key Vault
Azure Virtual Machines

A simulação do reservatório utiliza modelos informáticos intensivos de dados para prever fluxos complexos de fluidos como petróleo, água e gás sob a superfície da Terra. Este exemplo configura o software de simulação de reservatório numa infraestrutura de computação de alto desempenho (HPC) do Azure. O Azure permite executar este tipo de carga de trabalho com o máximo desempenho, escalabilidade e eficiência de custos.

Arquitetura

Diagrama que demonstra a arquitetura de simulação do reservatório.

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de trabalho

Este diagrama oferece uma descrição geral de alto nível da arquitetura utilizada no exemplo. O fluxo de trabalho é o seguinte:

  1. Os utilizadores iniciam sessão no nó principal através de SSH para preparar os modelos para os recursos de computação.

  2. O PBS Pro 19.1 é executado no nó principal e agenda as tarefas nos nós de computação.

  3. O OPM Flow é executado nos nós de computação. As VMs de computação são implementadas como um conjunto de dimensionamento de máquinas virtuais, um grupo de VMs idênticas que são dimensionadas para satisfazer as exigências das tarefas de computação.

  4. O OPM Flow envia resultados calculados para uma partilha de ficheiros no nó principal. Um disco premium está ligado ao nó principal e configurado como um servidor NFS para os nós de computação e a VM de visualização.

  5. O OPM ResInsight em execução numa VM Do Windows Standard-NV6 apresenta visualizações 3D de resultados. Os utilizadores podem aceder à VM de visualização através de RDP.

Componentes

Principais tecnologias utilizadas para implementar esta arquitetura:

Detalhes do cenário

A arquitetura neste exemplo suporta o OPM Flow, um popular pacote de simulação de reservatórios de petróleo e gás open source da iniciativa Open Porous Media (OPM). O software OPM Flow é executado em máquinas virtuais (VMs) do Azure HPC que proporcionam um desempenho próximo ou melhor do que as infraestruturas no local atuais.

Os utilizadores ligam-se a uma VM de nó principal do Linux para submeter modelos aos recursos HPC através do software de agendamento de tarefas PBS Pro 19.1. Os recursos HPC executam o OPM Flow e enviam resultados calculados para uma partilha de ficheiros. Neste exemplo, a partilha de ficheiros é um espaço de sistema de ficheiros de rede (NFS) de 4 terabytes (TB) na VM do nó principal. Dependendo do modelo e dos requisitos de entrada e saída (E/S), pode utilizar outras opções de armazenamento .

Uma VM do Microsoft Azure com o OPM ResInsight, uma ferramenta de visualização open source, acede à partilha de ficheiros para modelar e visualizar os resultados calculados. Os utilizadores podem ligar-se à VM através do protocolo RDP (remote desktop protocol) para ver as visualizações.

A utilização de uma VM do Azure poupa as despesas de uma estação de trabalho de visualização de alta qualidade. As aplicações OPM beneficiam do hardware HPC e de uma localização de armazenamento partilhada para os ficheiros de entrada e saída.

Potenciais casos de utilização

  • Efetue a modelação do reservatório 3D e a visualização de dados sísmicos.

  • Teste INTERSECT, um simulador de reservatório de alta resolução da Schlumberger. Pode ver uma implementação INTERSECT de exemplo no GitHub.

  • Teste o Nexus Landmark-Halliburton com uma configuração semelhante no Azure.

Considerações

Estas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser utilizados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, veja Microsoft Azure Well-Architected Framework.

Este exemplo utiliza a série HB de VMs de alto desempenho. A série HB está otimizada para aplicações condicionadas por largura de banda de memória, como a dinâmica de fluidos computacionais (CFD) e a VM Standard_HB120rs_v2 é a mais recente da série. Para hardware baseado em Intel, a VM Standard_HC44rs é uma opção.

Para testar esta arquitetura do OPM Flow no Azure, a implementação de exemplo do GitHub instala o caso Norne, um caso de referência aberta de um verdadeiro campo petrolífero do Mar norueguês. Para executar este caso de teste, tem de:

  • Utilize o Azure Key Vault para armazenar chaves e segredos, um requisito dos scripts de configuração do GitHub.

  • Instale as bibliotecas PACKage de Álgebra Linear (LAPACK) em todos os nós de computação. Os scripts de instalação do GitHub incluem este passo.

  • Instale o HP Remote Graphics Software (RGS) em qualquer computador que pretenda utilizar como recetor para as visualizações. Neste exemplo, um utilizador liga-se à VM de visualização para executar o ResInsight e ver o caso Norne.

Programador de tarefas

As cargas de trabalho com muita computação beneficiam de software de orquestração HPC que pode implementar e gerir a infraestrutura de armazenamento e computação HPC. A arquitetura de exemplo inclui duas formas de implementar a computação: a arquitetura azurehpc ou o Azure CycleCloud.

O Azure CycleCloud é uma ferramenta para criar, gerir, operar e otimizar clusters de HPC e grandes computação no Azure. Pode utilizá-lo para aprovisionar dinamicamente clusters HPC do Azure e orquestrar dados e tarefas para fluxos de trabalho híbridos e na cloud. O Azure CycleCloud também suporta vários gestores de cargas de trabalho para as cargas de trabalho HPC no Azure, tais como Motor de Grelha, HPC Pack, HTCondor, LSF, PBS Pro, Slurm e Symphony.

Rede

Este exemplo de carga de trabalho implementa as VMs em sub-redes diferentes. Para segurança adicional, pode definir grupos de segurança de rede para cada sub-rede. Por exemplo, pode definir regras de segurança que permitem ou negam o tráfego de rede de ou para os vários nós. Se não precisar deste nível de segurança, não precisa de sub-redes separadas para esta implementação.

Armazenamento

As necessidades de armazenamento e acesso de dados variam bastante, consoante a escala da carga de trabalho. O Azure suporta várias abordagens para gerir a velocidade e capacidade das aplicações HPC. O repositório do GitHub azurehpc inclui scripts de HPC do Azure de exemplo.

As seguintes abordagens são comuns na indústria petrolífera e do gás. Escolha a solução mais adequada aos seus requisitos exclusivos de E/S e capacidade.

  • Para cargas de trabalho de baixa escala como o exemplo atual, considere executar NFS no nó principal, utilizando uma VM da série Lsv2 otimizada para armazenamento com discos efémeros grandes ou VMs da série D com o Azure Armazenamento Premium, consoante os seus requisitos. Esta solução adequa-se a cargas de trabalho com 500 núcleos ou menos, débito de até 1,5 gigabytes por segundo (GiB/s) e até 19 TB de armazenamento de RAM e 100 TB.

  • Cargas de trabalho de leitura intensiva média a grande escala: Considere utilizar o Avere vFXT para o Azure (6 a 24 nós). Esta solução funciona para cargas de trabalho de até 50 000 núcleos, débito até 2 GiB/s para escritas e até 14 GiB/s para leituras, uma cache de até 192 TB e um servidor de ficheiros de até 2 petabytes (PB).

  • Cargas de trabalho de média escala equilibradas ou com utilização intensiva de escrita: Considere utilizar Azure NetApp Files para cargas de trabalho de até 4000 núcleos, com um débito até 6,5 GiB/s, armazenamento até 100 TB/volume e um tamanho de ficheiro maximizativo de 12 TB.

  • Cargas de trabalho de grande escala: Utilize um serviço de ficheiros paralelo orquestrado, como o Lustre ou o BeeGFS. Esta abordagem funciona para até 50 000 núcleos, com taxas de leitura/escrita até 50 GiB/s e 500 TB de armazenamento. Para clusters ainda maiores, uma abordagem bare-metal pode ser mais económica. Por exemplo, o ClusterStor Cray é uma solução de armazenamento HPC gerida com flexibilidade para suportar clusters elásticos maiores de imediato.

Implementar este cenário

Obtenha um exemplo de implementação desta arquitetura do OPM Flow no GitHub.

Passos seguintes