CycleCloud: Konsep inti

Pada yang paling mendasar, sistem Komputasi Performa Tinggi (HPC) adalah kumpulan sumber daya komputasi yang didukung oleh sistem file berkinerja dan saling terhubung oleh jaringan latensi rendah. Penjadwal HPC, aplikasi perangkat lunak yang menjadwalkan pekerjaan, biasanya mengelola sumber daya komputasi ini.

Membangun sistem HPC individual di Azure dari unit infrastruktur dasar seperti komputer virtual, disk, dan antarmuka jaringan dapat rumit, terutama jika sumber daya ini sementara - hanya ada untuk waktu yang diperlukan untuk menyelesaikan tugas HPC. Selain itu, Anda mungkin ingin membuat beberapa lingkungan HPC terpisah yang disesuaikan dengan berbagai unit bisnis, tim peneliti, atau individu. Mengelola beberapa sistem HPC ini dapat secara operasional kompleks.

Apa itu CycleCloud?

Azure CycleCloud adalah alat yang membantu membangun sistem HPC di Azure. Ini mengatur sistem ini sehingga ukurannya secara elastis sesuai dengan tugas HPC, tanpa repot mengelola blok penyusun Azure dasar. Tim profesional HPC berpengalaman merancang CycleCloud untuk administrator dan pengguna HPC, terutama pengguna yang ingin membangun sistem HPC di Azure yang menyerupai infrastruktur HPC internal mereka.

Secara operasional, CycleCloud adalah server aplikasi yang Anda instal di VM Linux di Azure, atau di server lokal yang memiliki akses ke API dan sumber daya Azure. CycleCloud memperoleh dan memprovisikan Azure VM untuk membangun kluster CycleCloud yang dapat mengintegrasikan penjadwal dan aplikasi pengguna. CycleCloud juga menyediakan integrasi penskalaan otomatis untuk sejumlah penjadwal HPC dan agen CycleCloud yang berjalan di Azure VM.

Server aplikasi

Server aplikasi ini menyediakan:

• REST API untuk membuat dan mengelola sistem HPC di Azure.
• Antarmuka pengguna grafis yang Anda gunakan untuk mengelola dan memantau sistem HPC.
• CLI yang memfasilitasi integrasi CycleCloud ke alur kerja yang ada.
• Datastore NoSQL internal yang menyimpan kluster dan status simpul.
• Sistem alokasi dan orkestrasi yang memperoleh dan mengelola Azure VM.
• Sistem pemantauan simpul untuk VM yang ada yang memperingatkan perubahan status.

Integrasi

CycleCloud juga menyediakan integrasi ke penjadwal umum dan Azure VM. Integrasi ini menyediakan:

• Persiapan node dan sistem konfigurasi untuk mengonversi VM yang disediakan menjadi simpul HPC.
• Penskalaan otomatis untuk penjadwal HPC yang menerjemahkan persyaratan tugas penjadwal HPC ke dalam sumber daya Azure.

Apa yang dapat dilakukan CycleCloud

CycleCloud ditargetkan pada operator HPC (administrator dan pengguna) yang menyebarkan sistem HPC di Azure. Mereka ingin mereplikasi infrastruktur yang mereka jalankan secara internal, dari penjadwal HPC hingga titik pemasangan sistem file untuk penginstalan aplikasi dan akses data. Pengguna ini terutama mencari dukungan untuk aplikasi, mesin alur kerja, dan alur komputasi tanpa harus memutar kembali proses internal mereka.

CycleCloud menyediakan sintaks templat yang kaya dan deklaratif yang memungkinkan Anda menggambarkan sistem HPC Anda. Anda dapat menentukan topologi kluster, yang mencakup jumlah dan jenis node kluster, titik pemasangan, dan aplikasi yang Anda sebarkan pada setiap simpul. CycleCloud dirancang untuk bekerja dengan penjadwal HPC seperti PBSPro, Slurm, IBM LSF, Grid Engine, dan HT Condor. Anda dapat membuat antrean yang berbeda di setiap penjadwal dan memetakannya ke simpul komputasi dengan ukuran VM yang berbeda di Azure. Selain itu, plugin autoscale terintegrasi dengan node kepala penjadwal. Mereka mendengarkan antrean pekerjaan di setiap sistem dan mengukur kluster komputasi dengan berinteraksi dengan REST API skala otomatis yang berjalan di server aplikasi.

Selain menyediakan dan membuat simpul HPC, CycleCloud juga menyediakan kerangka kerja untuk menyiapkan dan mengonfigurasi komputer virtual. Ini menyediakan sistem untuk mengonversi VM telanjang menjadi komponen fungsional sistem HPC. Melalui kerangka kerja ini, Anda dapat melakukan konfigurasi last-mile pada VM.

Selain itu, CycleCloud menyediakan fitur-fitur berikut:

• Akses pengguna

  CycleCloud memiliki dukungan bawaan untuk membuat akun pengguna lokal pada setiap simpul sistem HPC. Dengan sistem ini, Anda dapat mengontrol akses pengguna melalui satu bidang manajemen tanpa menyebarkan layanan direktori.

• Pemantauan

  Metrik tingkat node dikumpulkan dan ditampilkan di UI CycleCloud. Metrik ini berguna untuk memantau beban pada sistem. Anda dapat menghubungkannya ke layanan pelaporan dan pemberitahuan.

• Penebangan

  CycleCloud menyediakan sistem untuk aktivitas pengelogan dan peristiwa di tingkat node dan server aplikasi.

• Portabilitas

  Sistem tidak mengamanatkan bahwa Anda menggunakan gambar VM atau sistem operasi tertentu. CycleCloud mendukung sistem operasi Windows dan Linux utama pada simpul HPC. Selain itu, Anda dapat membangun gambar VM Anda sendiri dan menggunakannya di sistem HPC Anda.

• Infrastruktur sebagai kode

  Karena semua yang dibuat di CycleCloud ditentukan dalam templat dan skrip konfigurasi, Anda dapat membuat sistem HPC disebarkan melalui CycleCloud berulang dan portabel. Pendekatan ini memberikan konsistensi bagi operator yang menyebarkan sistem HPC di lingkungan yang berbeda: Sandbox, Pengembangan, Pengujian, dan Produksi. Operator juga dapat menyebarkan sistem HPC yang identik untuk grup bisnis atau tim yang berbeda untuk memisahkan masalah akuntansi.

• Beban kerja yang berhubungan longgar atau erat

  Kluster HPC yang dibuat oleh CycleCloud dirancang untuk mendukung tidak hanya pekerjaan paralel yang digabungkan secara longgar atau memalukan di mana skala (ukuran kluster) adalah perhatian utama. Kluster CycleCloud juga dirancang dengan mempertimbangkan jaringan InfiniBand Azure, mendukung beban kerja yang digabungkan erat atau berbasis MPI di mana kedekatan simpul dan latensi jaringan menjadi faktor kritis. Konsep pengembangan skala dan terintegrasi erat ini tertanam dalam integrasi penjadwal yang didukung oleh CycleCloud.

Lanjutkan ke Konsep Kluster & Node