Simulasi reservoir menggunakan model komputer intensif data untuk memprediksi alur cairan yang kompleks seperti minyak, air, dan gas di bawah permukaan bumi. Contoh ini menyiapkan perangkat lunak simulasi reservoir pada infrastruktur komputasi berperforma tinggi (HPC) Azure. Azure memungkinkan untuk menjalankan jenis beban kerja ini dengan performa maksimum, skalabilitas, dan efisiensi biaya.
Sistem
Unduh file Visio arsitektur ini.
Alur kerja
Diagram ini menawarkan gambaran tingkat tinggi dari arsitektur yang digunakan dalam contoh. Alur kerja adalah sebagai berikut:
Pengguna masuk ke node head melalui SSH guna mempersiapkan model untuk sumber daya komputasi.
PBS Pro 19.1 berjalan pada node head dan menjadwalkan pekerjaan di node komputasi.
OPM Flow berjalan pada node komputasi. VM komputasi digunakan sebagai set skala mesin virtual, sekelompok VM identik yang menskalakan untuk memenuhi tuntutan tugas komputasi.
OPM Flow mengirimkan hasil yang dihitung ke berbagi file pada node head. Disk premium terhubung ke node head dan disiapkan sebagai server NFS untuk node komputasi dan VM visualisasi.
OPM ResInsight yang berjalan pada VM Windows Standard-NV6 menampilkan visualisasi hasil 3D. Pengguna dapat mengakses visualisasi VM melalui RDP.
Komponen
Teknologi utama yang digunakan untuk mengimplementasikan arsitektur ini:
- Azure CycleCloud
- Azure NetApp Files
- Kumpulan Skala Komputer Virtual Azure
- Key Vault
- Komputer virtual Linux di Azure
- Virtual Machines
Detail skenario
Arsitektur dalam contoh ini mendukung OPM Flow, paket simulasi reservoir minyak dan gas sumber terbuka yang populer dari inisiatif Open Porous Media (OPM). Perangkat lunak OPM Flow berjalan pada mesin virtual (VM) Azure HPC yang memberikan performa lebih dekat atau lebih baik daripada infrastruktur lokal saat ini.
Pengguna terhubung ke VM head node Linux untuk mengirimkan model ke sumber daya HPC melalui PBS Pro perangkat lunak penjadwalan kerja 19.1. Sumber daya HPC menjalankan OPM Flow dan mengirim hasil yang dihitung ke berbagi file. Dalam contoh ini, berbagi file adalah ruang sistem file jaringan (NFS) 4 terabyte (TB) pada VM node head. Bergantung pada model Anda dan persyaratan input dan output (I/O), Anda dapat menggunakan opsi penyimpanan lainnya.
Microsoft Azure VM yang menjalankan OPM ResInsight, alat visualisasi sumber terbuka, mengakses berbagi file untuk memodelkan dan memvisualisasikan hasil terhitung. Pengguna dapat terhubung ke VM melalui remote desktop protocol (RDP) untuk melihat visualisasi.
Menggunakan Azure VM menghemat biaya stasiun kerja visualisasi kelas atas. Aplikasi OPM mendapat keuntungan dari perangkat keras HPC dan lokasi penyimpanan bersama untuk file input dan output.
Kemungkinan kasus penggunaan
Lakukan pemodelan reservoir 3D dan visualisasi data seismik.
Uji INTERSECT, simulator reservoir resolusi tinggi dari Schlumberger. Anda dapat melihat contoh implementasi INTERSECT pada GitHub.
Uji Nexus berdasarkan Landmark-Halliburton menggunakan penyiapan serupa di Azure.
Pertimbangan
Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat digunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.
Contoh ini menggunakan seri HB VM berperforma tinggi. Seri HB dioptimalkan untuk aplikasi yang didorong oleh bandwidth memori, seperti dinamika fluida komputasi (CFD), dan Standard_HB120rs_v2 VM adalah yang terbaru dalam seri ini. Untuk perangkat keras berbasis Intel, VM Standard_HC44rs adalah opsi.
Untuk menguji arsitektur OPM Flow ini di Azure, implementasi contoh GitHub menginstal kasus Norne, kasus tolok ukur terbuka dari ladang minyak Laut Norwegia yang sebenarnya. Untuk menjalankan kasus pengujian ini, Anda harus:
Menggunakan Azure Key Vault untuk menyimpan kunci dan rahasia, persyaratan skrip penyiapan GitHub.
Menginstal pustaka Linear Algebra PACKage (LAPACK) di semua node komputasi. Skrip instalasi GitHub menyertakan langkah ini.
Menginstal HP Remote Graphics Software (RGS) di komputer mana pun yang ingin Anda gunakan sebagai penerima untuk visualisasi. Dalam contoh ini, pengguna terhubung ke VM visualisasi untuk menjalankan ResInsight dan melihat kasus Norne.
Penjadwal pekerjaanan
Beban kerja intensif komputasi mendapat keuntungan dari perangkat lunak orkestrasi HPC yang dapat menyebarkan dan mengelola infrastruktur komputasi dan penyimpanan HPC. Contoh arsitektur mencakup dua cara untuk menyebarkan komputasi: kerangka kerja azurehpc atau Azure CycleCloud.
Azure CycleCloud adalah alat untuk membuat, mengelola, mengoperasikan, dan mengoptimalkan HPC dan kluster komputasi besar di Azure. Anda dapat menggunakannya untuk memprovisikan kluster Azure HPC secara dinamis dan mengatur data serta pekerjaan untuk alur kerja hibrid dan cloud. Azure CycleCloud juga mendukung beberapa pengelola beban kerja untuk beban kerja HPC Anda di Azure, seperti Grid Engine, HPC Pack, HTCondor, LSF, PBS Pro, Slurm, dan Symphony.
Jaringan
Contoh beban kerja ini menyebarkan VM dalam subnet yang berbeda. Untuk keamanan tambahan, Anda dapat menentukan kelompok keamanan jaringan untuk setiap subnet. Misalnya, Anda dapat menetapkan aturan keamanan yang memungkinkan atau menolak lalu lintas jaringan ke atau dari berbagai node. Jika tidak memerlukan tingkat keamanan ini, Anda tidak memerlukan subnet terpisah untuk implementasi ini.
Penyimpanan
Kebutuhan penyimpanan dan akses data sangat bervariasi, tergantung pada skala beban kerja. Azure mendukung beberapa pendekatan untuk mengelola kecepatan dan kapasitas aplikasi HPC. Repositori GitHub azurehpc menyertakan contoh skrip Azure HPC.
Pendekatan berikut umum dalam industri minyak dan gas. Pilih solusi yang paling sesuai dengan I/O unik Anda dan persyaratan kapasitas.
Untuk beban kerja skala rendah seperti contoh saat ini, pertimbangkan untuk menjalankan NFS pada node head, menggunakan VM seri Lsv2 yang dioptimalkan penyimpanan dengan disk sementara besar, atau VM seri D dengan Azure Premium Storage, tergantung pada kebutuhan Anda. Solusi ini sesuai dengan beban kerja dengan 500 core atau kurang, throughput hingga 1,5 gigabyte per detik (GiB/dtk), dan RAM hingga 19 TB dan penyimpanan 100 TB.
Beban kerja intensif baca skala menengah hingga besar: Pertimbangkan untuk menggunakan Avere vFXT for Azure (6 hingga 24 node). Solusi ini bekerja untuk beban kerja hingga 50.000 core, throughput hingga 2 GiB/dtk untuk menulis dan hingga 14 GiB/dtk untuk dibaca, cache hingga 192 TB, dan server file hingga 2 petabyte (PB).
Beban kerja skala menengah yang seimbang atau tulis intensif: Pertimbangkan untuk menggunakan Azure NetApp Files untuk beban kerja hingga 4.000 inti, dengan throughput hingga 6,5 GiB/dtk, penyimpanan hingga 100 TB/volume, dan ukuran file maksimal 12 TB.
Beban kerja berskala besar: Gunakan layanan file paralel yang diatur, seperti Lustre atau BeeGFS. Pendekatan ini bekerja hingga 50.000 core, dengan tingkat baca/tulis hingga 50 GiB/dtk, dan penyimpanan 500 TB. Untuk kelompok yang lebih besar, pendekatan bare-metal mungkin lebih hemat biaya. Misalnya, Cray ClusterStor adalah solusi penyimpanan HPC terkelola dengan fleksibilitas untuk mendukung kluster elastis yang lebih besar dengan cepat.
Menyebarkan skenario ini
Dapatkan contoh implementasi arsitektur Flow OPM ini di GitHub.
Langkah berikutnya
- Baca blog HPC: Minyak dan Gas di Azure.
- Dapatkan gambaran umum Avere vFXT for Azure.
- Tinjau daftar periksa performa dan skalabilitas Azure Storage.
- Jelajahi contoh beban kerja untuk teknik dengan bantuan komputer (CAE) di Azure.
- Pelajari tentang HPC di Azure.