Simulace nádrží používá počítačové modely náročné na data k predikci složitých toků tekutin, jako je olej, voda a plyn pod povrchem země. Tento příklad nastaví simulační software zásobníku v infrastruktuře vysokovýkonných výpočetních prostředí (HPC) Azure. Azure umožňuje spouštět tento typ úlohy s maximálním výkonem, škálovatelností a nákladovou efektivitou.
Architektura
Stáhněte si soubor aplikace Visio s touto architekturou.
Workflow
Tento diagram nabízí základní přehled architektury použité v příkladu. Pracovní postup je následující:
Uživatelé se přihlásí k hlavnímu uzlu přes SSH a připraví své modely na výpočetní prostředky.
PBS Pro 19.1 běží na hlavním uzlu a naplánuje úlohy na výpočetních uzlech.
Tok OPM běží na výpočetních uzlech. Výpočetní virtuální počítače se nasazují jako škálovací sada virtuálních počítačů, skupina identických virtuálních počítačů, které se škálují tak, aby splňovaly požadavky výpočetních úloh.
Tok OPM odesílá počítané výsledky do sdílené složky na hlavním uzlu. Disk Úrovně Premium je připojený k hlavnímu uzlu a je nastavený jako server NFS pro výpočetní uzly a virtuální počítač vizualizace.
OpM ResInsight běžící na virtuálním počítači s Windows Standard-NV6 zobrazuje 3D vizualizace výsledků. Uživatelé mají přístup k virtuálnímu počítači vizualizace prostřednictvím protokolu RDP.
Komponenty
Klíčové technologie používané k implementaci této architektury:
- Azure CycleCloud
- Azure NetApp Files
- Škálovací sady virtuálních počítačů Azure
- Key Vault
- Virtuální počítače s Linuxem v Azure
- Virtual Machines
Podrobnosti scénáře
Architektura v tomto příkladu podporuje OPM Flow, oblíbený opensourcový balíček simulace ropy a zásobníku plynu z iniciativy Open Porous Media (OPM). Software OPM Flow běží na virtuálních počítačích Azure HPC, které poskytují výkon téměř nebo lépe než aktuální místní infrastruktury.
Uživatelé se připojují k virtuálnímu počítači s hlavním uzlem Linuxu a odesílají modely do prostředků HPC prostřednictvím softwaru pro plánování úloh PBS Pro 19.1. Prostředky PROSTŘEDÍ HPC spouštějí OPM Flow a odesílají počítané výsledky do sdílené složky. V tomto příkladu je sdílená složka 4 terabajtovým síťovým systémem souborů (NFS) na virtuálním počítači s hlavním uzlem. V závislosti na požadavcích na váš model a vstupně-výstupní operace můžete použít další možnosti úložiště .
Virtuální počítač Microsoft Azure, na kterém běží OPM ResInsight, opensourcový vizualizační nástroj, přistupuje ke sdílené složce k modelování a vizualizaci počítaných výsledků. Uživatelé se můžou k virtuálnímu počítači připojit přes protokol RDP (Remote Desktop Protocol) a zobrazit vizualizace.
Použití virtuálního počítače Azure šetří náklady na pracovní stanici s vysokou vizualizací. Aplikace OPM využívají hardware PROSTŘEDÍ HPC a sdílené umístění úložiště pro vstupní a výstupní soubory.
Potenciální případy použití
Modelování 3D nádrží a vizualizace seismických dat
Test INTERSECT, simulátor zásobníku s vysokým rozlišením z Schlumberger. Na GitHubu můžete vidět ukázkovou implementaci INTERSECT.
Otestujte Nexus by Landmark-Halliburton pomocí podobného nastavení v Azure.
Důležité informace
Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.
Tento příklad používá řadu HB-series vysoce výkonných virtuálních počítačů. Řada HB-series je optimalizovaná pro aplikace řízené šířkou pásma paměti, jako je výpočetní dynamika tekutin (CFD) a virtuální počítač Standard_HB120rs_v2 je nejnovější v řadě. U hardwaru založeného na technologii Intel je možnost Standard_HC44rs virtuální počítač.
Pro otestování této architektury OPM Flow v Azure nainstaluje ukázková implementace GitHubu případ Norne, což je otevřený srovnávací případ skutečného norského námořního pole. Chcete-li spustit tento testovací případ, musíte:
Azure Key Vault použijte k ukládání klíčů a tajných kódů, které jsou předpokladem instalačních skriptů GitHubu.
Nainstalujte knihovny LINEAR Algebra PACKage (LAPACK) na všechny výpočetní uzly. Tento krok zahrnuje instalační skripty GitHubu.
Nainstalujte software HP Remote Graphics Software (RGS) do libovolného počítače, který chcete použít jako přijímač pro vizualizace. V tomto příkladu se uživatel připojí k virtuálnímu počítači vizualizace, aby spustil ResInsight a zobrazil případ Norne.
Plánovač úloh
Úlohy náročné na výpočetní výkon využívají software pro orchestraci prostředí HPC, který dokáže nasadit a spravovat výpočetní a úložný infrastrukturu prostředí HPC. Ukázková architektura zahrnuje dva způsoby nasazení výpočetních prostředků: architekturu azurehpc nebo Azure CycleCloud.
Azure CycleCloud je nástroj pro vytváření, správu, provoz a optimalizaci clusterů HPC a velkých výpočetních clusterů v Azure. Můžete ho použít k dynamickému zřizování clusterů Azure HPC a orchestraci dat a úloh pro hybridní a cloudové pracovní postupy. Azure CycleCloud také podporuje několik správců úloh pro úlohy PROSTŘEDÍ HPC v Azure, jako jsou Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro, Slurm a Symphony.
Síť
Tato ukázková úloha nasadí virtuální počítače v různých podsítích. Pro další zabezpečení můžete definovat skupiny zabezpečení sítě pro každou podsíť. Můžete například nastavit pravidla zabezpečení, která povolují nebo zakazují síťový provoz do nebo z různých uzlů. Pokud tuto úroveň zabezpečení nepotřebujete, pro tuto implementaci nepotřebujete samostatné podsítě.
Úložiště
Úložiště dat a přístup se značně liší v závislosti na škálování úloh. podpora Azure několik přístupů ke správě rychlosti a kapacity aplikací HPC. Úložiště Azurehpc GitHub obsahuje ukázkové skripty Azure HPC.
V odvětví ropy a plynu jsou běžné následující přístupy. Vyberte řešení, které nejlépe vyhovuje vašim jedinečným požadavkům na vstupně-výstupní operace a kapacitu.
U úloh s nízkým škálováním, jako je aktuální příklad, zvažte spuštění systému souborů NFS na hlavním uzlu pomocí virtuálního počítače Lsv2-series optimalizovaného pro úložiště s velkými dočasnými disky nebo virtuální počítače řady D-series s Azure Premium Storage v závislosti na vašich požadavcích. Toto řešení vyhovuje úlohám s 500 jádry nebo méně, propustností až 1,5 gigabajtů za sekundu (GiB/s) a až 19 TB paměti RAM a 100 TB úložiště.
Střední až rozsáhlé úlohy náročné na čtení: Zvažte použití Avere vFXT pro Azure (6 až 24 uzlů). Toto řešení funguje pro úlohy až 50 000 jader, propustnost až 2 GiB/s pro zápisy a až 14 GiB/s pro čtení, mezipaměť až 192 TB a souborový server až 2 petabajty (PB).
Vyvážené nebo středně náročné úlohy náročné na zápis: Zvažte použití služby Azure NetApp Files pro úlohy až 4 000 jader s propustností až 6,5 GiB/s, úložištěm až 100 TB/s a maximální velikostí souboru 12 TB.
Rozsáhlé úlohy: Použijte orchestrovanou paralelní souborovou službu, jako je Lustre nebo BeeGFS. Tento přístup funguje až pro 50 000 jader s rychlostí čtení a zápisu až do 50 GiB/s a 500 TB úložiště. U ještě větších clusterů může být přístup holých počítačů nákladově efektivnější. Cray ClusterStor je například spravované řešení úložiště HPC s flexibilitou pro podporu větších elastických clusterů za běhu.
Nasazení tohoto scénáře
Získejte ukázkovou implementaci této architektury OPM Flow na GitHubu.
Další kroky
- Přečtěte si článek HPC: Olej a plyn v blogu Azure .
- Získejte přehled O Avere vFXT pro Azure.
- Projděte si kontrolní seznam k výkonu a škálovatelnosti služby Azure Storage.
- Prozkoumejte ukázkovou úlohu pro počítačové inženýrství (CAE) v Azure.
- Přečtěte si o prostředí HPC v Azure.