Szerkesztés

Megosztás a következőn keresztül:

Tartályszimulációs szoftver futtatása az Azure-on

Azure CycleCloud
Azure Key Vault
Azure Virtual Machines

A tározószimuláció adatintenzív számítógépes modelleket használ olyan összetett folyadékáramlások előrejelzésére, mint az olaj, a víz és a gáz a Föld felszíne alatt. Ez a példa egy nagy teljesítményű Azure-beli számítási (HPC) infrastruktúrán állítja be a tározószimulációs szoftvereket. Az Azure lehetővé teszi az ilyen típusú számítási feladatok maximális teljesítmény, méretezhetőség és költséghatékonyság mellett történő futtatását.

Architektúra

A tározószimulációs architektúrát bemutató ábra.

Töltse le az architektúra Visio-fájlját.

Munkafolyamat

Ez a diagram magas szintű áttekintést nyújt a példában használt architektúráról. A munkafolyamat a következő:

  1. A felhasználók SSH-n keresztül jelentkeznek be a fő csomópontra, hogy felkészítsék modelljeiket a számítási erőforrásokra.

  2. A PBS Pro 19.1 a fő csomóponton fut, és ütemezi a feladatokat a számítási csomópontokon.

  3. Az OPM Flow a számítási csomópontokon fut. A számítási virtuális gépek virtuálisgép-méretezési csoportként vannak üzembe helyezve, amely azonos virtuális gépek csoportja, amelyek a számítási feladatok igényeinek megfelelően méretezhetők.

  4. Az OPM Flow kiszámított eredményeket küld a fő csomóponton lévő fájlmegosztásnak. A prémium lemez csatlakozik a fő csomóponthoz, és NFS-kiszolgálóként van beállítva a számítási csomópontokhoz és a vizualizációs virtuális géphez.

  5. A Standard-NV6 Windows rendszerű virtuális gépen futó OPM ResInsight 3D-vizualizációkat jelenít meg az eredményekről. A felhasználók RDP-vel érhetik el a vizualizációs virtuális gépet.

Összetevők

Az architektúra implementálásához használt főbb technológiák:

Forgatókönyv részletei

A példában szereplő architektúra támogatja az OPM Flow-t, amely egy népszerű nyílt forráskódú olaj- és gáztároló-szimulációs csomag az Open Porous Media (OPM) kezdeményezésből. Az OPM Flow szoftver olyan Azure HPC virtuális gépeken (virtuális gépeken) fut, amelyek a jelenlegi helyszíni infrastruktúrákhoz képest közel vagy jobb teljesítményt nyújtanak.

A felhasználók linuxos fő csomóponti virtuális géphez csatlakoznak, hogy modelleket küldjenek a HPC-erőforrásoknak a PBS Pro 19.1 feladatütemezési szoftveren keresztül. A HPC-erőforrások OPM Flow-t futtatnak, és a számított eredményeket fájlmegosztásba küldik. Ebben a példában a fájlmegosztás egy 4 terabájtos (TB) hálózati fájlrendszer (NFS) terület a fő csomópont virtuális gépén. A modelltől, valamint a bemeneti és kimeneti (I/O) követelményektől függően más tárolási lehetőségeket is használhat.

Az OPM ResInsightot, nyílt forráskódú vizualizációs eszközt futtató Microsoft Azure-beli virtuális gép hozzáfér a fájlmegosztáshoz a számított eredmények modellezéséhez és megjelenítéséhez. A felhasználók távoli asztali protokollon (RDP) keresztül csatlakozhatnak a virtuális géphez a vizualizációk megtekintéséhez.

Az Azure-beli virtuális gépek használata megkíméli egy csúcskategóriás vizualizációs munkaállomás költségeit. Az OPM-alkalmazások kihasználják a HPC hardvert és a bemeneti és kimeneti fájlok megosztott tárolási helyét.

Lehetséges használati esetek

  • A szeizmikus adatok 3D-tározóinak modellezése és vizualizációja.

  • Tesztelje az INTERSECT-et, a Schlumberger nagy felbontású tartályszimulátorát. A GitHubon látható egy minta INTERSECT-implementáció .

  • Tesztelje a Nexust Landmark-Halliburtonnal hasonló beállítással az Azure-ban.

Megfontolások

Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amely a számítási feladatok minőségének javítására használható vezérelvek halmaza. További információ: Microsoft Azure Well-Architected Framework.

Ez a példa a nagy teljesítményű virtuális gépek HB sorozatát használja. A HB-sorozat a memória sávszélessége által hajtott alkalmazásokhoz van optimalizálva, például számítási folyadékdinamika (CFD), és a Standard_HB120rs_v2 virtuális gép a sorozat legújabb része. Intel-alapú hardverek esetén a Standard_HC44rs virtuális gép egy lehetőség.

Az OPM Flow-architektúra Azure-beli teszteléséhez a GitHub példa implementációja telepíti a Norne-esetet, amely egy valódi norvég-tengeri olajmező nyílt benchmark-esete. A teszteset futtatásához a következőt kell tennie:

  • Kulcsok és titkos kódok tárolásához használja az Azure Key Vaultot, amely a GitHub beállítási szkriptjeinek követelménye.

  • Telepítse a Linear Algebra PACKage (LAPACK) kódtárakat az összes számítási csomópontra. A GitHub telepítési szkriptjei tartalmazzák ezt a lépést.

  • Telepítse a HP Remote Graphics Software (RGS) szoftvert minden olyan számítógépre, amelyet fogadóként szeretne használni a vizualizációkhoz. Ebben a példában egy felhasználó csatlakozik a vizualizációs virtuális géphez a ResInsight futtatásához és a Norne-eset megtekintéséhez.

Feladatütemező

A nagy számítási igényű számítási feladatok kihasználhatják a HPC vezénylési szoftverét, amely képes üzembe helyezni és felügyelni a HPC számítási és tárolási infrastruktúrát. A példaarchitektúra két módszert tartalmaz a számítás üzembe helyezésére: az azurehpc-keretrendszert vagy az Azure CycleCloudot.

Az Azure CycleCloud egy eszköz HPC- és nagy számítási fürtök létrehozására, kezelésére, működtetésére és optimalizálására az Azure-ban. Használatával dinamikusan építhet ki Azure HPC-fürtöket, és vezényelhet adatokat és feladatokat hibrid és felhőbeli munkafolyamatokhoz. Az Azure CycleCloud számos számítási feladatkezelőt is támogat az Azure-beli HPC számítási feladatokhoz, például a Grid Engine, a HPC Pack, a HTCondor, az LSF, a PBS Pro, a Slurm és a Symphony esetében.

Network (Hálózat)

Ez a példa számítási feladat különböző alhálózatokon helyezi üzembe a virtuális gépeket. További biztonság érdekében minden alhálózathoz megadhatja a hálózati biztonsági csoportokat . Beállíthatja például azokat a biztonsági szabályokat, amelyek engedélyezik vagy letiltják a hálózati forgalmat a különböző csomópontokra vagy csomópontokról. Ha nincs szüksége erre a biztonsági szintre, nincs szükség külön alhálózatokra a megvalósításhoz.

Tárolás

Az adattárolásra és a hozzáférésre a számítási feladatok méretétől függően széles körben van szükség. Azure-támogatás számos módszert alkalmaz a HPC-alkalmazások sebességének és kapacitásának kezelésére. Az azurehpc GitHub-adattár például Azure HPC-szkripteket tartalmaz.

A következő megközelítések gyakoriak az olaj- és gáziparban. Válassza ki az egyedi I/O- és kapacitáskövetelményeknek leginkább megfelelő megoldást.

  • Az olyan alacsony méretű számítási feladatok esetében, mint az aktuális példa, fontolja meg az NFS futtatását a főcsomóponton, egy tárolóoptimalizált Lsv2 sorozatú virtuális gép használatával nagy méretű rövid élettartamú lemezekkel, vagy az Azure Premium Storage-beli D sorozatú virtuális gépek használatával, a követelményektől függően. Ez a megoldás megfelel az 500 magos vagy kevesebb, másodpercenként akár 1,5 gigabájtos átviteli sebességgel (GiB/s) és legfeljebb 19 TB RAM-mal és 100 TB-os tárhellyel rendelkező számítási feladatoknak.

  • Közepes és nagy méretű olvasásigényes számítási feladatok: Fontolja meg az Avere vFXT használatát az Azure-hoz (6–24 csomópont). Ez a megoldás legfeljebb 50 000 magos számítási feladatokhoz, írásokhoz legfeljebb 2 GiB/s átviteli sebességre, olvasáshoz pedig legfeljebb 14 GiB/s-ra, legfeljebb 192 TB-os gyorsítótárra és legfeljebb 2 petabájtos (PB) fájlkiszolgálóra használható.

  • Kiegyensúlyozott vagy írásigényes, közepes méretű számítási feladatok: Fontolja meg az Azure NetApp Files használatát akár 4000 magos számítási feladatokhoz, akár 6,5 GiB/s átviteli sebességgel, akár 100 TB/kötet tárolásával és 12 TB maximális fájlmérettel.

  • Nagy léptékű számítási feladatok: Vezényelt párhuzamos fájlszolgáltatás, például Lustre vagy BeeGFS használata. Ez a megközelítés legfeljebb 50 000 magon működik, 50 GiB/s olvasási/írási sebességgel és 500 TB tárterülettel. A még nagyobb fürtök esetében az operációs rendszer nélküli megközelítés költséghatékonyabb lehet. A Cray ClusterStor például egy felügyelt HPC tárolási megoldás, amely rugalmasan támogatja a nagyobb rugalmas fürtöket menet közben.

A forgatókönyv üzembe helyezése

Az OPM Flow-architektúra gitHubon történő implementációjának bemutatása.

Következő lépések