Zona pendaratan Azure untuk HPC

  • Artikel

Metodologi Siap dari Cloud Adoption Framework for Azure dapat memandu Anda menyiapkan lingkungan Anda untuk adopsi cloud. Selama fase kesiapan, Anda dapat menggunakan zona pendaratan Azure. Zona pendaratan adalah akselerator teknis yang menyediakan blok penyusun dasar untuk lingkungan adopsi cloud apa pun. Zona pendaratan dapat mengotomatiskan konfigurasi lingkungan Azure Anda, selaras dengan panduan praktik terbaik dari Cloud Adoption Framework. Saat mempersiapkan komputasi berkinerja tinggi (HPC), Anda mungkin menemukan konfigurasi lingkungan yang bergantung pada kasus dan persyaratan penggunaan industri Anda.

Arsitektur konseptual zona arahan Azure

Saat menyiapkan lingkungan untuk adopsi cloud berkelanjutan, Anda dapat menggunakan arsitektur konseptual zona pendaratan Azure yang mewakili status akhir target. Untuk HPC, ada beberapa referensi arsitektur konseptual yang didasarkan pada tiga industri yang saat ini ditangani oleh Cloud Adoption Framework:

Pertimbangkan referensi arsitektur ini saat Anda mengembangkan visi jangka panjang untuk zona pendaratan Anda. Referensi ini menyediakan titik awal. Berdasarkan persyaratan bisnis organisasi dan kebutuhan pengguna akhir, Anda mungkin perlu memodifikasinya.

Evaluasi untuk HPC

Keputusan yang Anda buat selama penilaian dampak strategis dan perencanaan teknis memengaruhi konfigurasi zona pendaratan yang Anda pilih untuk penyebaran HPC Anda di Azure. Kami menyarankan agar Anda mempertimbangkan pertanyaan berikut:

  • Seberapa matang lingkungan Anda di Azure? Apakah dalam tahap pembuktian konsep? Atau apakah sudah menjadi aplikasi dewasa yang melayani pengguna? Bergantung pada tahapnya, Anda dapat menyertakan atau menghilangkan tata kelola, keamanan, atau organisasi sumber daya.
  • Apakah aplikasi yang Anda bangun di Azure berumur pendek atau proyek yang sudah lama ada? Jawaban atas pertanyaan ini dapat membantu Anda memilih opsi komputasi dan penyimpanan Anda.
  • Apakah organisasi Anda mengharuskan orang mengakses sumber daya Azure di berbagai tingkatan?

Seperti yang Anda lihat dari pertanyaan-pertanyaan ini, model penyebaran bervariasi tergantung pada bisnis, industri, dan penggunaan aplikasi Anda.

Akselerasi zona pendaratan Azure untuk HPC

Azure Batch dan Azure CycleCloud adalah layanan pihak ke-1 yang disediakan Azure sementara Azure HPC OnDemand Platform (AzHOP) adalah otomatisasi yang dibangun di atas Azure Cycle Cloud yang memberikan mekanisme penyebaran end-to-end untuk solusi kluster HPC lengkap di Azure.

Azure Batch

  • Batch dirancang untuk menjalankan pekerjaan batch paralel dan HPC skala besar secara efisien di Azure.
  • Batch membuat dan mengelola kumpulan simpul komputasi, atau komputer virtual (VM). Anda juga dapat menggunakan Batch untuk menginstal aplikasi yang ingin Anda jalankan dan menjadwalkan pekerjaan untuk dijalankan pada simpul.
  • Tidak ada perangkat lunak kluster atau penjadwal pekerjaan untuk menginstal, mengelola, atau menskalakan.
  • Batch bekerja dengan baik dengan beban kerja paralel intrinsik. Beban kerja ini memiliki aplikasi yang dapat berjalan secara independen, dengan setiap instans menyelesaikan bagian dari pekerjaan.
  • Anda juga dapat menggunakan Batch untuk menjalankan beban kerja yang digabungkan dengan erat, di mana aplikasi yang Anda jalankan perlu berkomunikasi satu sama lain daripada berjalan secara independen.
  • Tugas batch dapat berjalan langsung pada VM, atau simpul, di kumpulan Batch. Tetapi Anda juga dapat menyiapkan kumpulan Batch untuk menjalankan tugas di kontainer yang kompatibel dengan Docker pada simpul.

Azure CycleCloud

  • Ini mendukung berbagai penjadwal HPC, seperti SLURM, OpenPBS, PBSPro, LSF, Grid Engine, dan HTCondor12.
  • Ini memungkinkan Anda untuk menyediakan infrastruktur untuk sistem HPC, seperti komputer virtual, set skala, antarmuka jaringan, dan disk.
  • Ini secara otomatis menskalakan infrastruktur untuk menjalankan pekerjaan secara efisien dalam skala apa pun berdasarkan beban pekerjaan, ketersediaan, dan persyaratan waktu.
  • Ini menyediakan format templat yang kaya, deklaratif untuk membangun lingkungan HPC lengkap di Azure.
  • Ini terintegrasi dengan layanan Azure seperti Azure Monitor dan alat Azure Cost Management.

AzHop

  • AzHop menyediakan mekanisme penyebaran end-to-end untuk infrastruktur HPC dasar di Azure yang menggunakan CycleCloud untuk mengatur pekerjaan.
  • Ini memberikan solusi kluster HPC lengkap yang siap bagi pengguna untuk menjalankan aplikasi dan itu mudah bagi administrator HPC untuk menyebarkan dan mengelola.
  • AzHop menggunakan berbagai aplikasi bawaan yang dapat Anda gunakan "apa adanya", atau Anda dapat dengan mudah menyesuaikan dan memperluas untuk memenuhi persyaratan yang tidak terukur.
  • Ini termasuk portal Open OnDemand untuk akses pengguna terpadu, akses shell jarak jauh, akses visualisasi jarak jauh, pengiriman pekerjaan, akses file, dan banyak lagi.
  • Ini menggunakan Direktori Aktif untuk autentikasi pengguna dan kontrol domain.
  • Ini menggunakan OpenPBS atau Utilitas Linux Sederhana untuk Manajemen Sumber Daya (SLURM) sebagai penjadwal pekerjaan.
  • Provisi sumber daya dinamis dan penskalaan otomatis dilakukan oleh antrean pekerjaan yang telah dikonfigurasi sebelumnya cycleCloud dan pemeriksaan kesehatan terintegrasi untuk menghindari simpul nonoptimal dengan cepat.
  • Azure NetApp Files memberikan sistem file bersama untuk direktori dan aplikasi beranda.

Bagan perbandingan

Fitur Azure Batch Azure CycleCloud
Scheduler API dan alat Batch tersedia. Anda juga dapat menggunakan skrip baris perintah cloud-native di portal Azure. Anda dapat menggunakan penjadwal HPC standar seperti SLURM, OpenPBS, PBSPro, LSF, Grid Engine, dan HTCondor. Atau Anda dapat memperluas plugin autoscaling Azure CycleCloud untuk bekerja dengan penjadwal Anda sendiri.
Sumber daya komputasi Node software as a service (SaaS) – platform as a service (PaaS). Perangkat lunak PaaS – PaaS.
Alat pemantauan Azure Monitor. Azure Monitor dan Grafana.
Penyesuaian Anda dapat menggunakan kumpulan gambar kustom, gambar pihak ketiga, atau akses API Batch. Anda dapat menggunakan RESTful API komprehensif untuk menyesuaikan dan memperluas fungsionalitas, menyebarkan penjadwal Anda sendiri, dan mendukung manajer beban kerja yang ada.
Integrasi Alur Azure Synapse Analytics, Azure Data Factory, dan Azure CLI. CLI bawaan untuk Windows dan Linux.
Tipe pengguna Pengembang. Administrator dan pengguna HPC klasik.
Jenis kerja Batch dan alur kerja. Alur kerja yang digabungkan dengan erat yang menggunakan Message Passing Interface (MPI).
Dukungan Windows Disediakan. Tergantung pada pilihan penjadwal.

Azure CycleCloud dan Azure Batch adalah alat canggih untuk tugas HPC di Azure, tetapi dirancang untuk kasus penggunaan yang berbeda.

Azure CycleCloud adalah alat yang ramah perusahaan untuk mengatur dan mengelola lingkungan HPC di Azure. Hal ini ditargetkan pada administrator HPC dan pengguna yang ingin menyebarkan lingkungan HPC dengan penjadwal tertentu dalam pikiran. Azure CycleCloud menyediakan alat canggih untuk membangun lingkungan HPC lengkap di Azure, termasuk server Berbagi File Jaringan (NFS), sistem file paralel, host masuk, server lisensi, dan layanan direktori. Ini berguna untuk organisasi yang telah mengoperasikan lingkungan HPC untuk sementara waktu dan telah mengumpulkan keahlian bertahun-tahun dan peralatan internal di sekitar penjadwal tertentu.

Sebaliknya, Batch sebagian besar ditujukan untuk pengembang dan tim yang membangun kemampuan ke dalam produk atau layanan mereka sendiri. Batch mencakup penjadwalnya sendiri dan dirancang untuk menjalankan pekerjaan paralel skala besar secara efisien tanpa perangkat lunak penjadwal kluster atau pekerjaan. Batch berguna ketika Anda tidak perlu mengelola penjadwal beban kerja.

Singkatnya, gunakan Azure CycleCloud saat Anda ingin menyebarkan lingkungan HPC dengan mengingat penjadwal tertentu dan memerlukan lingkungan HPC lengkap. Gunakan Batch saat Anda mengembangkan produk atau layanan yang memerlukan pemrosesan paralel skala besar dan Anda tidak ingin mengelola penjadwal beban kerja.

Langkah berikutnya