Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Slurm adalah salah satu manajer beban kerja sumber terbuka yang paling populer dan banyak digunakan untuk AI, HPC, dan komputasi cloud. Dengan Slurm, Anda dapat menjalankan aplikasi paralel dan terdistribusi skala besar di sekumpulan simpul komputasi. Ini menyediakan fitur seperti penjadwalan pekerjaan, manajemen sumber daya, toleransi kesalahan, dan manajemen daya. Banyak superkomputer top dunia, lembaga penelitian, universitas, dan perusahaan menggunakan Slurm.
Namun, menyiapkan dan mengelola kluster Slurm di cloud dapat menjadi tantangan dan memakan waktu, terutama jika Anda tidak terbiasa dengan lingkungan cloud atau konfigurasi Slurm. Anda perlu menangani tugas seperti provisi dan penskalaan simpul komputasi, menginstal dan memperbarui perangkat lunak Slurm, mengonfigurasi jaringan dan penyimpanan, memantau kesehatan dan performa kluster, dan memecahkan masalah pemecahan masalah. Tugas-tugas ini dapat mengalihkan perhatian Anda dari penelitian inti atau tujuan bisnis Anda dan mengurangi produktivitas dan efisiensi beban kerja AI dan HPC Anda.
Azure CycleCloud Workspace for Slurm adalah templat solusi Azure Marketplace yang dapat Anda gunakan untuk membuat, mengonfigurasi, dan menyebarkan kluster Slurm yang telah ditentukan sebelumnya dengan CycleCloud di Azure. Anda tidak memerlukan pengetahuan sebelumnya tentang Azure atau Slurm. Solusi ini sebelumnya mengonfigurasi kluster Slurm dengan PMix v4, Pyxis, dan enroot untuk mendukung pekerjaan Slurm AI/HPC dalam wadah kontainer. Anda dapat mengakses simpul masuk yang disediakan menggunakan SSH atau Visual Studio Code untuk melakukan tugas umum seperti mengirimkan dan mengelola pekerjaan Slurm.
Meskipun Azure CycleCloud sudah memungkinkan Anda melakukan beberapa tugas ini, Azure CycleCloud tidak menyebarkan infrastruktur AI/HPC untuk Anda. Anda harus berurusan dengan tugas seperti menginstal dan mengonfigurasi CycleCloud, mengonfigurasi jaringan dan penyimpanan, serta membuat dan mengonfigurasi kluster Slurm. Ruang Kerja Azure CycleCloud untuk Slurm menjalankan tugas-tugas ini untuk Anda dalam templat solusi Marketplace yang dapat Anda sebarkan langsung dari portal Microsoft Azure atau melalui Azure CLI. Anda siap dalam beberapa menit dan bukan hari atau minggu.
Manfaat Ruang Kerja Azure CycleCloud untuk Slurm
Azure CycleCloud adalah solusi yang bagus saat Anda ingin membangun lingkungan AI/HPC di Azure, baik untuk mengangkat dan menggeser beberapa beban kerja AI/HPC lokal Anda atau untuk membangun yang baru. Namun, membangun lingkungan AI/HPC end-to-end penuh bukanlah tugas yang mudah. Anda harus memutuskan cara merancang jaringan Anda, komponen penyimpanan mana yang akan digunakan sebagai sistem file bersama, jenis VM mana yang akan digunakan untuk menjalankan beban kerja Anda, dan banyak hal kecil yang dapat membuat proyek Anda kompleks untuk dikirimkan.
Azure CycleCloud Workspace for Slurm menawarkan beberapa manfaat bagi pengguna yang ingin menjalankan beban kerja Slurm di Azure, seperti:
Pembuatan kluster yang mudah dan cepat: Anda dapat membuat kluster Slurm di Azure dalam beberapa menit dengan mengikuti beberapa langkah sederhana di GUI. Proses ini lebih cepat dari hari atau minggu kerja di masa lalu tanpa Azure CycleCloud Workspace for Slurm. Anda dapat memilih dari berbagai ukuran dan jenis komputer virtual (VM) Azure. Anda dapat menyesuaikan pengaturan kluster seperti jumlah simpul, konfigurasi jaringan, opsi penyimpanan dari Azure NetApp Files ke Azure Managed Lustre Filesystem, dan parameter Slurm.
Manajemen kluster yang fleksibel dan dinamis: Azure CycleCloud meningkatkan atau menurunkan skala kluster Slurm. Anda dapat memantau status, performa, dan pemanfaatan kluster. Anda dapat melihat log dan metrik kluster di GUI. Anda juga dapat menghapus kluster Slurm saat tidak lagi diperlukan dan hanya membayar sumber daya yang Anda gunakan.
Bagaimana cara membuat Ruang Kerja Azure CycleCloud untuk Slurm?
Anda dapat menyebarkan Ruang Kerja Azure CycleCloud untuk Slurm dari Azure Marketplace atau dengan menggunakan Azure CLI. Untuk menyebarkan dari Marketplace, cari Slurm, lalu pilih Buat. Untuk melakukan deployment menggunakan Azure CLI, Anda perlu membuat file parameter input terlebih dahulu, kemudian melakukan penyebaran dengan menggunakan perintah az deployment sub create. Untuk petunjuk terperinci, lihat Cara menyebarkan lingkungan CycleCloud Slurm Workspace menggunakan CLI.
Apa Bukan Ruang Kerja Azure CycleCloud untuk Slurm?
Ruang Kerja Azure CycleCloud untuk Slurm bukan layanan PaaS. Seluruh infrastruktur digelar di penyewa Anda, yang memungkinkan Anda untuk menggelar semuanya (implementasi greenfield) atau menentukan sumber daya yang ada untuk digunakan kembali (implementasi brownfield), seperti grup sumber daya target, jaringan virtual, Azure NetApp Files, dan lainnya.
Gambaran Ruang Kerja Azure CycleCloud untuk Lingkungan yang Sudah Dikerahkan Slurm
Berikut adalah arsitektur khas yang diterapkan oleh Azure CycleCloud Workspace untuk Slurm. Arsitektur ini mencakup sumber daya wajib seperti komputer virtual untuk menjalankan CycleCloud, sistem file bersama untuk direktori beranda pengguna, dan akun penyimpanan untuk penyimpanan proyek CycleCloud.
Ruang Kerja Azure CycleCloud untuk Slurm dapat menyebarkan jaringan virtual, atau Anda dapat menggunakan jaringan virtual yang ada untuk pembuatan sumber daya. Secara opsional, Anda dapat membuat Azure Managed Lustre Filesystem di subnetnya sendiri.
Jika aturan keamanan perusahaan Anda tidak mengizinkan alamat IP publik (dan banyak yang tidak), Anda dapat membuat peering jaringan virtual ke jaringan virtual yang ada dalam pola hub dan spoke, yaitu struktur jaringan di mana koneksi dilakukan dari satu titik pusat ke beberapa titik lainnya. Hub berisi semua layanan konektivitas, seperti gateway jaringan virtual atau Azure Bastion.
Akhirnya, di lingkungan tanpa IP publik dan tanpa VPN, Anda memerlukan Bastion. Bastion memberi Anda akses aman ke portal web CycleCloud dan memungkinkan Anda menggunakan SSH untuk terhubung ke simpul autentikasi.