Menyiapkan kluster komputasi performa tinggi hibrid (HPC) dengan Microsoft HPC Pack dan simpul Komputasi Azure PaaS sesuai permintaan

Gunakan Microsoft HPC Pack 2016 Update 1 (atau versi yang lebih baru) dan Azure untuk menyiapkan kluster kecil komputasi performa tinggi hibrid (HPC). Kluster yang ditampilkan dalam artikel ini terdiri dari simpul kepala HPC Pack lokal dan beberapa simpul komputasi yang Anda sebarkan sesuai permintaan di layanan cloud Azure. Anda kemudian dapat menjalankan pekerjaan komputasi pada kluster hibrid.

kluster HPC Hibrid

Tutorial ini menunjukkan satu pendekatan, kadang-kadang disebut kluster "burst ke cloud," untuk menggunakan sumber daya Azure yang dapat diskalakan dan sesuai permintaan untuk menjalankan aplikasi intensif komputasi.

Tutorial ini tidak mengasumsikan pengalaman sebelumnya dengan kluster komputasi atau HPC Pack. Ini dimaksudkan hanya untuk membantu Anda menyebarkan kluster komputasi hibrid dengan cepat untuk tujuan demonstrasi. Untuk pertimbangan dan langkah-langkah untuk menyebarkan kluster HPC Pack hibrid dalam skala yang lebih besar dalam lingkungan produksi, lihat panduan terperinci . Jika Anda ingin menggunakan HPC Pack versi sebelumnya, lihat dokumen HPC Pack 2012 R2

Prasyarat

• langganan Azure - Jika Anda tidak memiliki langganan Azure, Anda dapat membuat akun gratis hanya dalam beberapa menit.

• Komputer lokal yang menjalankan Windows Server 2012 R2 atau Windows Server 2016 - Gunakan komputer ini sebagai simpul kepala kluster HPC. Jika Anda belum menjalankan Windows Server, Anda dapat mengunduh dan menginstal versi evaluasi .

  • Komputer harus digabungkan ke domain Direktori Aktif. Untuk tujuan pengujian, Anda dapat mengonfigurasi komputer head node sebagai pengendali domain. Untuk menambahkan peran server Active Directory Domain Services dan mempromosikan komputer head node sebagai pengendali domain, lihat dokumentasi untuk Windows Server.
  • Untuk mendukung HPC Pack, sistem operasi harus diinstal dalam salah satu bahasa ini: Inggris, Jepang, atau Cina (Sederhana).
  • Verifikasi bahwa pembaruan penting dan penting diinstal.

• HPC Pack 2016 - Unduh paket penginstalan untuk versi terbaru secara gratis dan salin file ke komputer head node.

• akun Domain - Akun ini harus dikonfigurasi dengan izin Administrator lokal pada simpul kepala untuk menginstal HPC Pack.

• konektivitas TCP pada port 443 dari simpul kepala ke Azure (out-bound).

Memasang HPC Pack pada head node

Anda terlebih dahulu menginstal Microsoft HPC Pack di komputer lokal yang menjalankan Windows Server. Komputer ini menjadi simpul kepala kluster.

1. Masuk ke simpul kepala dengan menggunakan akun domain yang memiliki izin Administrator lokal.

2. Mulai Wizard Penginstalan Paket HPC dengan menjalankan Setup.exe dari file penginstalan HPC Pack.

3. Pada layar Penyiapan HPC Pack 2016 , klik Penginstalan baru atau tambahkan fitur baru ke penginstalan yang ada.

   Penyiapan HPC Pack 2016

4. Pada halaman Perjanjian Pengguna Perangkat Lunak Microsoft , klik Berikutnya.

5. Pada halaman Pilih Jenis Penginstalan, klik Buat kluster HPC baru dengan membuat simpul kepala, lalu klik Berikutnya.

6. Wizard menjalankan beberapa pengujian pra-penginstalan. Klik Berikutnya di halaman Aturan Penginstalan jika semua pengujian lulus. Jika tidak, tinjau informasi yang diberikan dan buat perubahan yang diperlukan di lingkungan Anda. Kemudian jalankan pengujian lagi atau jika perlu mulai Wizard Penginstalan lagi.

7. Pada halaman Konfigurasi HPC DB , pastikan Head Node dipilih untuk semua database HPC, lalu klik Berikutnya.

   Konfigurasi DB

8. Terima pilihan default pada halaman wizard yang tersisa. Pada halaman Instal Komponen yang Diperlukan , klik Instal.

   

9. Setelah penginstalan selesai, batalkan pemeriksaan Mulai Pengelola Kluster HPC lalu klik Selesai. (Anda memulai HPC Cluster Manager di langkah selanjutnya.)

   

Menyiapkan langganan Azure

Lakukan langkah-langkah berikut di portal Microsoft Azure dengan langganan Azure Anda. Setelah menyelesaikan langkah-langkah ini, Anda dapat menyebarkan simpul Azure dari simpul kepala lokal.

Nota

Catat juga ID langganan Azure Anda, yang Anda butuhkan nanti. Temukan ID di Langganan di portal.

Mengunggah sertifikat manajemen default

Versi HPC Pack sebelumnya menginstal sertifikat yang ditandatangani sendiri pada head node, yang disebut sertifikat Default Microsoft HPC Azure Management, yang dapat Anda unggah sebagai sertifikat manajemen Azure. Tetapi dari HPC Pack 2016 Update 1 sertifikat ini tidak disediakan secara default sehingga Anda perlu menyiapkan sertifikasi yang ditandatangani sendiri dengan perintah pada simpul kepala dan mengekspor sertifikat sebagai tmpfolder\hpccert.cer:

New-SelfSignedCertificate -Subject "CN=HPC Pack Management" -KeySpec KeyExchange -TextExtension @("2.5.29.37={text}1.3.6.1.5.5.7.3.1,1.3.6.1.5.5.7.3.2") -CertStoreLocation cert:\LocalMachine\My -KeyExportPolicy Exportable -NotAfter (Get-Date).AddYears(5) -NotBefore (get-Date).AddDays(-1)

1. Dari komputer simpul kepala, impor sertifikasi dari tmpfolder\hpccert.cer ke LocalMachine\My. Harap dicatat bahwa tidak seperti versi HPC Pack sebelumnya, Anda tidak perlu mengimpor sertifikasi untuk LocalMachine\Trusted Root lagi.

2. Masuk ke portal Microsoft Azure .

3. Klik langganan >your_subscription_name.

4. Klik sertifikat Management>Unggah, Telusuri simpul kepala untuk file tmpfolder\hpccert.cer. Kemudian, klik Unggah.

Sertifikat HPC Azure Management Default muncul dalam daftar sertifikat manajemen.

Membuat layanan cloud Azure

Nota

Untuk performa terbaik, buat layanan cloud dan akun penyimpanan (di langkah selanjutnya) di wilayah geografis yang sama.

1. Di portal, klik Cloud services (klasik)>+Tambahkan.

2. Ketik nama DNS untuk layanan, pilih grup sumber daya dan lokasi, lalu klik Buat.

Membuat akun penyimpanan Azure

1. Di portal, klik akun Penyimpanan (klasik)>+Tambahkan.

2. Ketik nama untuk akun tersebut, dan pilih model penyebaran Klasik .

3. Pilih grup sumber daya dan lokasi, dan biarkan pengaturan lain pada nilai default. Lalu klik Buat. Di sini Anda harus Baru atau Pilih Grup Sumber Daya dengan awalan Default-Storage-<your_picked_Location> jika tidak, layanan tidak akan dapat menemukan akun penyimpanan.

Mengonfigurasi simpul kepala

Untuk menggunakan HPC Cluster Manager untuk menyebarkan simpul Azure dan mengirimkan pekerjaan, pertama-tama lakukan beberapa langkah konfigurasi kluster yang diperlukan.

1. Pada head node, mulai HPC Cluster Manager. Jika kotak dialog Pilih Simpul Kepala muncul, klik Komputer Lokal. Daftar Tugas Penyebaran muncul.

2. Di bawah Tugas penyebaran yang diperlukan, klik Mengonfigurasi jaringan Anda.

   Jaringan

3. Di Wizard Konfigurasi Jaringan, pilih Semua simpul hanya pada jaringan perusahaan (Topologi 5). Konfigurasi jaringan ini adalah yang paling sederhana untuk tujuan demonstrasi.

   

4. Klik Berikutnya untuk menerima nilai default pada halaman panduan yang tersisa. Kemudian, pada tab Tinjau, klik Konfigurasikan untuk menyelesaikan konfigurasi jaringan.

5. DiDaftar Tugas Penyebaran , klik Berikan kredensial penginstalan.

6. Dalam kotak dialog Kredensial Penginstalan, ketik kredensial akun domain yang Anda gunakan untuk menginstal HPC Pack. Lalu klik OK.

   Kredensial Penginstalan

7. DiDaftar Tugas Penyebaran , klik Mengonfigurasi penamaan simpul baru.

8. Dalam kotak dialog Tentukan Seri Penamaan Simpul, terima seri penamaan default dan klik OK. Selesaikan langkah ini meskipun simpul Azure yang Anda tambahkan dalam tutorial ini diberi nama secara otomatis.

   Penamaan Simpul

9. DiDaftar Tugas Penyebaran , klik Buat templat simpul. Kemudian dalam tutorial, Anda menggunakan templat node untuk menambahkan simpul Azure ke kluster.

10. Di Wizard Buat Templat Simpul, lakukan hal berikut ini:

    sebuah. Pada halaman Pilih Jenis Templat Simpul, klik templat simpul Windows Azure, lalu klik Berikutnya.

    Templat Simpul

    b. Klik Berikutnya untuk menerima nama templat default.

    c. Pada halaman Berikan Informasi Langganan, masukkan ID langganan Azure Anda (tersedia di informasi akun Azure Anda). Kemudian, disertifikat Management, telusuri Microsoft HPC Azure Management Default. Kemudian klik Berikutnya.

    Templat Simpul

    d. Pada halaman Berikan Informasi Layanan, pilih layanan cloud dan akun penyimpanan yang Anda buat di langkah sebelumnya. Lalu klik Berikutnya.

    Templat Simpul

    e. Klik Berikutnya untuk menerima nilai default pada Tentukan Simpul Proksi, Tentukan Peran Pekerja dan Tentukan halaman Skrip Pengaktifan wizard. Harap dicatat bahwa skrip ini akan dijalankan selama provisi sebelum node siap sebagai offline. Dan ada dua registri bagi Anda untuk menyetel perilaku default. Misalnya jika admin mengatur kunci registri Microsoft.Hpc.Azure.AzureStartupTaskFailureEnable ke 1, penyebaran akan menunggu hingga skrip startup selesai dieksekusi sebelum mengatur simpul yang dapat dijangkau untuk pekerjaan: HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\HPC Name:Microsoft.Hpc.Azure.AzureStartupTaskFailureEnable Type:REG_DWORD; (default is 0) dan HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\HPC Name:Microsoft.Hpc.Azure.AzureStartupTaskTimeoutSec Type:REG_DWORD; (default is 1800)

    f. Klik Berikutnya untuk menerima nilai default pada halaman Siapkan Microsoft Azure Virtual Network. Jika Anda menggunakan Azure VPN atau rute ekspres dengan terowongan paksa, Anda harus menggunakan Azure Internal Load Balancing, Anda cukup mengambil satu IP statis yang valid dan gratis dari subnet.

    Templat Simpul

    g. Klik Berikutnya untuk memberikan kredensial pada halaman Mengonfigurasi Kredensial Desktop Jauh. Klik Berikutnya untuk mengonfigurasi Kebijakan Ketersediaan. Jika Anda ingin mengaktifkan penyusutan pertumbuhan otomatis nanti, silakan pilih Start and stop nodes manually. Kemudian, pada tab Tinjau , klik Buat untuk membuat templat simpul.

    Nota

    Secara default, templat simpul Azure menyertakan pengaturan bagi Anda untuk memulai (provisi) dan menghentikan simpul secara manual, menggunakan HPC Cluster Manager, yang nantinya Anda dapat mengonfigurasi Pertumbuhan otomatis menyusut. Anda dapat secara opsional mengonfigurasi jadwal untuk memulai dan menghentikan simpul Azure secara otomatis.

Menambahkan simpul Azure ke kluster

Sekarang gunakan templat simpul untuk menambahkan simpul Azure ke kluster. Menambahkan simpul ke kluster menyimpan informasi konfigurasinya sehingga Anda dapat memulai (memprovisikan)nya kapan saja di layanan cloud. Langganan Anda hanya dikenakan biaya untuk simpul Azure setelah instans berjalan di layanan cloud.

Ikuti langkah-langkah ini untuk menambahkan dua simpul Kecil.

1. Di HPC Cluster Manager, klik Node Management (disebut Resource Management dalam versi HPC Pack saat ini) >Tambahkan Node.

   Simpul

2. Di halaman Tambahkan Wizard Simpul, pada halaman Pilih Metode Penyebaran , klik Tambahkan simpul Windows Azure, lalu klik Berikutnya.

   Azure Node

3. Pada halaman Tentukan Simpul Baru , pilih templat simpul Azure yang Anda buat sebelumnya (dipanggil secara default Templat AzureNode Default). Kemudian tentukan 2 simpul ukuran Small, lalu klik Berikutnya.

   

4. Pada halaman Menyelesaikan Tambahkan Wizard Simpul, klik Selesai.

   Dua node Azure, bernama AzureCN-0001 dan AzureCN-0002 , sekarang muncul di HPC Cluster Manager. Keduanya berada dalam status Tidak Disebarkan.

   

Memulai simpul Azure

Saat Anda ingin menggunakan sumber daya kluster di Azure, gunakan HPC Cluster Manager untuk memulai (memprovisikan) simpul Azure dan membuatnya online.

1. Di HPC Cluster Manager, klik Node Management (disebut Resource Management dalam versi HPC Pack saat ini), dan pilih simpul Azure.

2. Klik Mulai, lalu klik OK.

   Simpul Mulai

   Simpul beralih ke status Provisi . Lihat log provisi untuk melacak kemajuan provisi.

   Simpul Provisi

3. Setelah beberapa menit, simpul Azure menyelesaikan provisi dan berada dalam status Offline . Dalam status ini, instans peran berjalan tetapi belum dapat menerima pekerjaan kluster.

4. Untuk mengonfirmasi bahwa instans peran berjalan, di portal Microsoft Azure, klik Cloud Services (klasik)>your_cloud_service_name.

   Anda akan melihat dua instans HpcWorkerRole (node) yang berjalan dalam layanan. HPC Pack juga secara otomatis menyebarkan dua instans HpcProxy (ukuran Sedang) untuk menangani komunikasi antara simpul kepala dan Azure.

   Instans

5. Untuk membuat simpul Azure online menjalankan pekerjaan kluster, pilih simpul, klik kanan, lalu klik Bawa Online.

   Simpul Offline

   Manajer Kluster HPC menunjukkan bahwa simpul berada dalam status Online .

Menjalankan perintah di seluruh kluster

Untuk memeriksa penginstalan, gunakan perintah hpc pack clusrun untuk menjalankan perintah atau aplikasi pada satu atau beberapa node kluster. Sebagai contoh sederhana, gunakan clusrun untuk mendapatkan konfigurasi IP simpul Azure.

1. Pada simpul kepala, buka prompt perintah sebagai administrator.

2. Ketik perintah berikut:

   clusrun /nodes:azurecn* ipconfig

3. Jika diminta, masukkan kata sandi administrator kluster Anda. Anda akan melihat output perintah yang mirip dengan yang berikut ini.

   Clusrun

Menjalankan pekerjaan pengujian

Sekarang kirimkan pekerjaan pengujian yang berjalan pada kluster hibrid. Contoh ini adalah pekerjaan pembersihan parametrik sederhana (jenis komputasi paralel intrinsik). Contoh ini menjalankan subtugas yang menambahkan bilangan bulat ke dirinya sendiri dengan menggunakan perintah set /a. Semua simpul dalam kluster berkontribusi untuk menyelesaikan subtugas untuk bilangan bulat dari 1 hingga 100.

1. Di Manajer Kluster HPC, klik Job Management>Pekerjaan Pembersihan Parametrik Baru.

   Pekerjaan Baru

2. Dalam kotak dialog Pekerjaan Pembersihan Parametris Baru , di baris Perintah , ketik (menimpa baris perintah default yang muncul). Biarkan nilai default untuk pengaturan yang tersisa, lalu klik Kirim untuk mengirimkan pekerjaan.

   Pembersihan Parametrik

3. Setelah pekerjaan selesai, klik dua kali tugas Tugas Sapuan Saya.

4. Klik Tampilkan Tugas, lalu klik subtugas untuk melihat output terhitung subtugas tersebut.

   Hasil Tugas

5. Untuk melihat simpul mana yang melakukan perhitungan untuk subtugas tersebut, klik Simpul yang Dialokasikan. (Kluster Anda mungkin menampilkan nama simpul yang berbeda.)

   Hasil Tugas

Menghentikan simpul Azure

Setelah Anda mencoba kluster, hentikan simpul Azure untuk menghindari biaya yang tidak perlu ke akun Anda. Langkah ini menghentikan layanan cloud dan menghapus instans peran Azure.

1. Di MANAJER Kluster HPC, di Manajemen Simpul (disebut Resource Management di versi HPC Pack sebelumnya), pilih kedua simpul Azure. Kemudian, klik Hentikan.

   

2. Dalam kotak dialog Hentikan simpul Windows Azure, klik Hentikan.

3. Simpul beralih ke status Berhenti. Setelah beberapa menit, MANAJER Kluster HPC menunjukkan bahwa simpul Tidak Disebarkan.

   

4. Untuk mengonfirmasi bahwa instans peran tidak lagi berjalan di Azure, di portal Microsoft Azure, klik Layanan cloud (klasik)>your_cloud_service_name. Tidak ada instans yang disebarkan di lingkungan produksi.

   Ini menyelesaikan tutorial.

Mengaktifkan penyusutan pertumbuhan otomatis untuk simpul peran pekerja Azure

Jika Anda tidak ingin memulai dan menghentikan simpul peran pekerja Azure secara manual, Anda dapat mengaktifkan Penyusutan Pertumbuhan Otomatis untuk memulai simpul secara otomatis ketika ada pekerjaan dalam antrean dan menghentikan simpul secara otomatis saat diam.

Untuk mengaktifkan properti AutoGrowShrink

Set-HpcClusterProperty –EnableGrowShrink 1

Setelah mengaktifkan properti ini, Anda dapat mengirimkan pekerjaan lagi dan memeriksa apakah simpul peran pekerja azure dimulai secara otomatis. Buka HPC Cluster Manager dan buka Panel Manajemen sumber daya , pilih operasi tampilan AzureOperations, Anda akan melihat semua operasi penyusutan azure tumbuh. Harap periksa juga pertumbuhan otomatis hpcpack untuk detail selengkapnya.

Langkah berikutnya

• Pelajari hpcpack.exe dan hpcsync.exe untuk memindahkan data Anda ke simpul cloud Anda.
• Untuk menyiapkan penyebaran kluster HPC Pack hibrid dalam skala yang lebih besar, lihat Burst ke Azure Worker Role Instances dengan Microsoft HPC Pack.
• Untuk cara lain membuat kluster HPC Pack di Azure, termasuk menggunakan templat Azure Resource Manager, lihat Mulai menggunakan kluster paket HPC di Azure.