Bewerken

Reservoirsimulatiesoftware uitvoeren in Azure

Azure CycleCloud
Azure Key Vault
Azure Virtual Machines

Reservoirsimulatie maakt gebruik van gegevensintensieve computermodellen om complexe stromen vloeistoffen zoals olie, water en gas onder het aardoppervlak te voorspellen. In dit voorbeeld wordt reservoirsimulatiesoftware ingesteld op een HPC-infrastructuur (High Performance Computing) van Azure. Azure maakt het mogelijk om dit type workload uit te voeren met maximale prestaties, schaalbaarheid en kostenefficiëntie.

Architectuur

Diagram waarin de architectuur van de reservoirsimulatie wordt gedemonstreerd.

Een Visio-bestand van deze architectuur downloaden.

Werkstroom

Dit diagram biedt een algemeen overzicht van de architectuur die in het voorbeeld wordt gebruikt. De werkstroom is als volgt:

  1. Gebruikers melden zich via SSH aan bij het hoofdknooppunt om hun modellen voor te bereiden op de rekenresources.

  2. PBS Pro 19.1 wordt uitgevoerd op het hoofdknooppunt en plant de taken op de rekenknooppunten.

  3. OPM Flow wordt uitgevoerd op de rekenknooppunten. De reken-VM's worden geïmplementeerd als een virtuele-machineschaalset, een groep identieke VM's die worden geschaald om te voldoen aan de vereisten van de rekentaken.

  4. OPM Flow verzendt berekende resultaten naar een bestandsshare op het hoofdknooppunt. Er wordt een Premium-schijf verbonden met het hoofdknooppunt en ingesteld als een NFS-server voor de rekenknooppunten en de visualisatie-VM.

  5. OPM ResInsight die wordt uitgevoerd op een Standard-NV6 Windows-VM geeft 3D-visualisaties van resultaten weer. Gebruikers hebben toegang tot de visualisatie-VM via RDP.

Onderdelen

Belangrijke technologieën die worden gebruikt om deze architectuur te implementeren:

Scenariodetails

De architectuur in dit voorbeeld ondersteunt OPM Flow, een populair opensource-simulatiepakket voor olie- en gasreservoirs van het OPM-initiatief (Open Porous Media). De OPM Flow-software wordt uitgevoerd op virtuele Azure HPC-machines (VM's) die prestaties leveren die bijna of beter zijn dan de huidige on-premises infrastructuren.

Gebruikers maken verbinding met een linux-hoofdknooppunt-VM om modellen naar de HPC-resources te verzenden via PBS Pro 19.1-software voor taakplanning. De HPC-resources voeren OPM Flow uit en verzenden berekende resultaten naar een bestandsshare. In dit voorbeeld is de bestandsshare een NFS-ruimte (Network File System) van 4 terabyte (TB) op de VM van het hoofdknooppunt. Afhankelijk van uw model en uw I/O-vereisten (invoer en uitvoer), kunt u andere opslagopties gebruiken.

Een Microsoft Azure-VM met OPM ResInsight, een opensource-visualisatieprogramma, opent de bestandsshare om de berekende resultaten te modelleren en te visualiseren . Gebruikers kunnen verbinding maken met de VM via RDP (Remote Desktop Protocol) om de visualisaties weer te geven.

Het gebruik van een Azure-VM bespaart de kosten van een hoogwaardig visualisatiewerkstation. De OPM-toepassingen profiteren van HPC-hardware en een gedeelde opslaglocatie voor de invoer- en uitvoerbestanden.

Potentiële gebruikscases

  • 3D-reservoirmodellering en visualisatie van seismische gegevens uitvoeren.

  • Test INTERSECT, een reservoirsimulator met hoge resolutie van Schlumberger. U ziet een voorbeeld van een INTERSECT-implementatie op GitHub.

  • Test Nexus door Landmark-Halliburton met behulp van een vergelijkbare installatie in Azure.

Overwegingen

Deze overwegingen implementeren de pijlers van het Azure Well-Architected Framework, een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.

In dit voorbeeld wordt de HB-serie van high-performance VM's gebruikt. De HB-serie is geoptimaliseerd voor toepassingen die worden aangestuurd door geheugenbandbreedte, zoals Computational Fluid Dynamics (CFD), en de Standard_HB120rs_v2 VM is de nieuwste in de serie. Voor Intel-hardware is de Standard_HC44rs-VM een optie.

Om deze OPM Flow-architectuur in Azure te testen, installeert de GitHub-voorbeeld-implementatie de Norne-case, een open-benchmarkcase van een echt Noorse zeeolieveld. Als u deze testcase wilt uitvoeren, moet u het volgende doen:

  • Gebruik Azure Key Vault voor het opslaan van sleutels en geheimen, een vereiste voor de GitHub-installatiescripts.

  • Installeer de LAPACK-bibliotheken (Linear Algebra PACKage) op alle rekenknooppunten. De GitHub-installatiescripts bevatten deze stap.

  • Installeer HP Remote Graphics Software (RGS) op elke computer die u wilt gebruiken als ontvanger voor de visualisaties. In dit voorbeeld maakt een gebruiker verbinding met de visualisatie-VM om ResInsight uit te voeren en de Norne-case weer te geven.

Taakplanner

Rekenintensieve workloads profiteren van HPC-indelingssoftware waarmee de HPC-reken- en opslaginfrastructuur kan worden geïmplementeerd en beheerd. De voorbeeldarchitectuur bevat twee manieren om rekenkracht te implementeren: het azurehpc-framework of Azure CycleCloud.

Azure CycleCloud is een hulpprogramma voor het maken, beheren, uitvoeren en optimaliseren van HPC en grote rekenclusters in Azure. U kunt deze gebruiken om Azure HPC-clusters dynamisch in te richten en gegevens en taken te organiseren voor hybride en cloudwerkstromen. Azure CycleCloud ondersteunt ook verschillende workloadmanagers voor uw HPC-workloads in Azure, zoals Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro, Slurm en Symphony.

Netwerk

Met deze voorbeeldworkload worden de VM's binnen verschillende subnetten geïmplementeerd. Voor extra beveiliging kunt u netwerkbeveiligingsgroepen definiëren voor elk subnet. U kunt bijvoorbeeld beveiligingsregels instellen die netwerkverkeer naar of van de verschillende knooppunten toestaan of weigeren. Als u dit beveiligingsniveau niet nodig hebt, hebt u geen afzonderlijke subnetten nodig voor deze implementatie.

Storage

De behoeften voor gegevensopslag en -toegang variëren sterk, afhankelijk van de schaal van de workload. Azure ondersteunt verschillende benaderingen voor het beheren van de snelheid en capaciteit van HPC-toepassingen. De azurehpc GitHub-opslagplaats bevat voorbeelden van Azure HPC-scripts.

De volgende benaderingen zijn gebruikelijk in de olie- en gasindustrie. Kies de oplossing die het meest geschikt is voor uw unieke I/O- en capaciteitsvereisten.

  • Voor workloads met een lage schaal, zoals het huidige voorbeeld, kunt u overwegen om NFS uit te voeren op het hoofdknooppunt, met behulp van een voor opslag geoptimaliseerde VM uit de Lsv2-serie met grote kortstondige schijven of vm's uit de D-serie met Azure Premium Storage, afhankelijk van uw vereisten. Deze oplossing is geschikt voor workloads met 500 kernen of minder, een doorvoer van maximaal 1,5 gigabyte per seconde (GiB/s) en maximaal 19 TB RAM en 100 TB opslagruimte.

  • Middelgrote tot grote leesintensieve workloads: Overweeg het gebruik van Avere vFXT voor Azure (6 tot 24 knooppunten). Deze oplossing werkt voor workloads van maximaal 50.000 kernen, doorvoer tot 2 GiB/s voor schrijfbewerkingen en maximaal 14 GiB/s voor leesbewerkingen, een cache van maximaal 192 TB en een bestandsserver van maximaal 2 petabytes (PB).

  • Evenwichtige of schrijfintensieve werkbelastingen op gemiddelde schaal: Overweeg het gebruik van Azure NetApp Files voor workloads van maximaal 4000 kernen, met een doorvoer tot 6,5 GiB/s, opslag tot 100 TB/volume en een maximale bestandsgrootte van 12 TB.

  • Grootschalige workloads: Gebruik een beheerde parallelle bestandsservice, zoals Lustre of BeeGFS. Deze aanpak werkt voor maximaal 50.000 kernen, met lees-/schrijfsnelheden tot 50 GiB/s en 500 TB opslag. Voor nog grotere clusters kan een bare-metalbenadering rendabeler zijn. Cray ClusterStor is bijvoorbeeld een beheerde HPC-opslagoplossing met de flexibiliteit om onmiddellijk grotere elastische clusters te ondersteunen.

Dit scenario implementeren

Bekijk een voorbeeld van de implementatie van deze OPM Flow-architectuur op GitHub.

Volgende stappen