Istilah komputasi skala besar menggambarkan beban kerja dengan skala besar yang membutuhkan banyak inti, sering kali berjumlah ratusan atau ribuan. Skenario termasuk perenderan gambar, dinamika fluid, pemodelan risiko keuangan, eksplorasi minyak, desain obat, dan analisis tekanan teknik, antara lain.
Berikut adalah beberapa karakteristik umum aplikasi komputasi skala besar:
- Pekerjaan dapat dibagi menjadi tugas-tugas diskret, yang dapat dijalankan di banyak inti secara bersamaan.
- Setiap tugas terbatas. Tugas ini mengambil beberapa input, melakukan pemrosesan, dan menghasilkan output. Seluruh aplikasi berjalan untuk waktu yang terbatas (menit ke hari). Pola umum adalah menyediakan sejumlah besar inti dalam ledakan, lalu berputar ke nol setelah aplikasi selesai.
- Aplikasi tidak perlu tetap aktif 24/7. Namun, sistem harus menangani kegagalan node atau crash aplikasi.
- Untuk beberapa aplikasi, tugas bersifat independen dan dapat berjalan secara paralel. Dalam kasus lain, tugas digabungkan dengan erat, artinya mereka harus berinteraksi atau bertukar hasil perantara. Dalam hal ini, pertimbangkan untuk menggunakan teknologi jaringan berkecepatan tinggi seperti InfiniBand dan akses memori langsung jarak jauh (RDMA).
- Tergantung beban kerja, Anda mungkin menggunakan ukuran VM intensif komputasi (H16r, H16mr, dan A9).
Kapan harus menggunakan arsitektur ini
- Operasi yang intensif secara komputasi seperti simulasi dan penghitungan angka.
- Simulasi yang intensif secara komputasi dan harus dibagi ke seluruh CPU di beberapa komputer (10-1000 detik).
- Simulasi yang membutuhkan terlalu banyak memori untuk satu komputer, dan harus dibagi ke beberapa komputer.
- Komputasi yang berjalan lama yang akan memerlukan waktu terlalu lama untuk diselesaikan pada satu komputer.
- Komputasi yang lebih kecil yang harus dijalankan 100 atau 1000 kali, seperti simulasi Monte Carlo.
Keuntungan
- Performa tinggi dengan pemrosesan "yang benar-benar paralel".
- Dapat memanfaatkan ratusan atau ribuan inti komputer untuk menyelesaikan masalah besar dengan lebih cepat.
- Akses ke perangkat keras berperforma tinggi khusus, dengan jaringan InfiniBand berkecepatan tinggi khusus.
- Anda dapat menyediakan VM sesuai kebutuhan untuk melakukan pekerjaan, lalu memutuskannya.
Tantangan
- Mengelola infrastruktur VM.
- Mengelola volume penghitungan angka
- Menyediakan ribuan inti secara tepat waktu.
- Untuk tugas yang digabungkan dengan erat, menambahkan lebih banyak inti dapat mengakibatkan hasil yang semakin berkurang. Anda mungkin perlu bereksperimen untuk menemukan jumlah inti yang optimal.
Komputasi skala besar menggunakan Azure Batch
Azure Batch adalah layanan terkelola untuk menjalankan aplikasi komputasi berperforma tinggi (HPC) dalam skala besar.
Menggunakan Azure Batch, Anda dapat mengonfigurasi kumpulan VM, dan mengunggah aplikasi dan file data. Kemudian layanan Batch menyediakan VM, menetapkan tugas ke VM, menjalankan tugas, dan memantau kemajuan. Batch dapat secara otomatis menskalakan VM sebagai respons terhadap beban kerja. Batch juga menyediakan penjadwalan pekerjaan.
Komputasi besar yang berjalan di Virtual Machines
Anda dapat menggunakan Microsoft HPC Pack untuk mengelola sekelompok VM, dan menjadwalkan serta memantau pekerjaan HPC. Dengan pendekatan ini, Anda harus menyediakan dan mengelola VM dan infrastruktur jaringan. Pertimbangkan pendekatan ini jika Anda memiliki beban kerja HPC yang ada dan ingin memindahkan sebagian atau semuanya ke Azure. Anda dapat memindahkan seluruh kluster HPC ke Azure, atau Anda dapat menyimpan kluster HPC Anda secara lokal tetapi menggunakan Azure untuk kapasitas ledakan. Untuk informasi selengkapnya, lihat Solusi Batch dan HPC untuk beban kerja komputasi skala besar.
HPC Pack yang disebarkan ke Azure
Dalam skenario ini, kluster HPC dibuat sepenuhnya dalam Azure.
Node kepala menyediakan layanan manajemen dan penjadwalan pekerjaan ke kluster. Untuk tugas yang digabungkan dengan erat, gunakan jaringan RDMA yang menyediakan bandwidth yang sangat tinggi, komunikasi berlatensi rendah antar VM. Untuk informasi selengkapnya, lihat Menyebarkan kluster HPC Pack 2016 di Azure.
Meningkatkan kluster HPC ke Azure
Dalam skenario ini, organisasi menjalankan HPC Pack lokal, dan menggunakan Azure VM untuk kapasitas ledakan. Node kepala kluster bersifat lokal. ExpressRoute atau VPN Gateway menghubungkan jaringan lokal ke Azure VNet.
