Burst ke Azure Batch dengan Microsoft HPC Pack

Topik ini berisi informasi tentang memperluas kluster HPC Pack Anda untuk menyertakan kumpulan Azure Batch sebagai sumber daya komputasi. Dengan menggunakan kumpulan Azure Batch ini, Anda dapat meningkatkan ("burst") kapasitas kluster HPC sesuai permintaan. Untuk informasi selengkapnya, lihat dokumentasi layanan Azure Batch .

Dalam topik ini:

• Prasyarat

• Langkah 1: Membuat akun Azure Batch

• Langkah 2: Membuat templat kumpulan Azure Batch

• Langkah 3: Menambahkan kumpulan Azure Batch

• Langkah 4: Mulai kumpulan

• Langkah 5: Jalankan pekerjaan di kumpulan

• Langkah 6: Hentikan kumpulan

Prasyarat

• kluster HPC Pack - Anda harus membuat dan mengonfigurasi setidaknya simpul kepala kluster. Fitur burst to Batch tersedia mulai dari HPC Pack 2012 R2 Update 3.

• langganan Azure - Jika Anda belum memiliki langganan, daftar untuk uji coba gratis , gunakan manfaat pelanggan MSDN, atau jelajahi opsi pembelian lainnya.

Langkah 1: Membuat akun Azure Batch

• akun Azure Batch- Lihat Membuat dan mengelola akun Azure Batch untuk membuat akun Batch di portal Microsoft Azure .. Anda akan memerlukan informasi akun berikut (tersedia di portal) untuk meluas ke Batch dari HPC Pack 2012 R2 Update 3.

  • Nama akun batch
  • URL akun batch
  • Kunci akun batch

Dari HPC Pack 2016 Update 1 aktif, Anda mungkin memerlukan informasi akun berikut untuk meledak ke Batch dari HPC Pack sesuai dengan berbagai mode alokasi sumber daya Azure Batch (Layanan Batch atau Langganan Pengguna) dan metode autentikasi klien (Kunci Akses Batch atau Azure AD):

1. Serivce Batch dengan Kunci Akses
   • Nama akun batch
   • URL akun batch
   • Kunci akun batch
2. Layanan Batch atau Langganan Pengguna dengan Microsoft Azure ACTIVE Directory
   • Instans AAD Batch
   • Id Penyewa AAD Batch
   • Batch AAD ClientApp Id
   • Kunci ClientApp AAD Batch
   • Nama akun batch
   • URL akun batch

Periksa tabel berikut untuk memutuskan jenis akun Batch dan metode autentikasi mana yang akan dipilih. Anda juga dapat memeriksa blog ini dan dokumen ini untuk memahami lebih lanjut tentang mode alokasi kumpulan Langganan Pengguna dan cara menggunakan autentikasi Azure AD untuk layanan Azure Batch.

Mode Alokasi Jenis Akun/Kumpulan	Metode Autentikasi	Jenis gambar VM	VM Prioritas Rendah	VNet
Layanan Batch	Kunci Akses/ Microsoft Azure AD	PaaS/IaaS (MarketPlaceImage) / IaaS (CustomImage melalui Microsoft Azure AD)	Ya	Ya (melalui Microsoft Azure AD)
Langganan Pengguna	Azure ACTIVE Directory	IaaS (MarketPlaceImage)/ IaaS (CustomImage)	Tidak.	Ya

Gunakan Azure CLI untuk membuat akun Batch dengan mode alokasi Kumpulan Layanan Batch dan gunakan Kunci Akses Batch untuk autentikasi seperti di bawah ini:

# Authenticate CLI session.
az login

# Select the subscription
az account set -s mysubscription

# Create a resource group.
az group create --name myresourcegroup --location mylocation

# Let's add a storage account reference to the Batch account for use as 'auto-storage'
# for applications. We'll start by creating the storage account.
az storage account create -g myresourcegroup -n mystorageaccount -l mylocation --sku Standard_LRS

# Create a Batch account.
az batch account create -g myresourcegroup -n mybatchaccount -l mylocation --storage-account mystorageaccount

# Now we can display the details of our created account.
az batch account show -g myresourcegroup -n mybatchaccount

# We can view the access keys to the Batch Account for future client authentication.
az batch account keys list -g myresourcegroup -n mybatchaccount

Menggunakan Azure CLI untuk membuat akun Batch dengan mode alokasi kumpulan Langganan Pengguna

# Authenticate CLI session.
az login

# Select the subscription
az account set -s mysubscription

# Allow Azure Batch to access the subscription (one-time operation).
az role assignment create --assignee MicrosoftAzureBatch --role contributor

# Create a resource group.
az group create --name myresourcegroup --location mylocation

# A Batch account that will allocate pools in the user's subscription must be configured
# with a Key Vault located in the same region. Let's create this first.
az keyvault create --resource-group myresourcegroup --name mykeyvault --location mylocation --enabled-for-deployment true     --enabled-for-disk-encryption true --enabled-for-template-deployment true

# We will add an access-policy to the Key Vault to allow access by the Batch Service.
az keyvault set-policy --resource-group myresourcegroup --name mykeyvault --spn ddbf3205-c6bd-46ae-8127-60eb93363864 --key-permissions all --secret-permissions all

# Now we can create the Batch account, referencing the Key Vault either by name (if they exist in the same resource group) or by its full resource ID.
az batch account create --resource-group myresourcegroup --name mybatchaccount –location mylocation --keyvault mykeyvault

Untuk mengonfigurasi Azure AD untuk autentikasi Batch dan mendapatkan info AAD Batch

1. DapatkanInstans AAD Batch . Jika menggunakan Azure Cloud global, instans AAD https://login.microsoftonline.com/.
2. Dapatkan Id Penyewa AAD Batch. Di portal Microsoft Azure, klik Layanan Lainnya, cari dan pilih Azure Active Directory, pilih Direktori Aktif Anda dengan memilih akun Anda di sudut kanan atas halaman dan klik properti . Salin nilai GUID yang disediakan untuk ID Direktori . Nilai ini juga disebut ID penyewa.
3. Daftarkan aplikasi klien Batch dan dapatkan Batch AAD ClientApp Id.

• Di portal Microsoft Azure, pilih penyewa Microsoft Azure ACTIVE Directory Anda dengan memilih akun Anda di sudut kanan atas halaman. - Pilih Layanan lainnya, cari dan pilih Pendaftaran Aplikasi . - Klik +Pendaftaran aplikasi baru. - IsiNama , pilih aplikasi Web / API sebagai Jenis aplikasi, dan isi nilai khusus untuk aplikasi Anda misalnya untuk URI Masuk. Klik Buat. - Setelah aplikasi berhasil dibuat, pilih aplikasi dalam daftar Pendaftaran Aplikasi, dan klik Properti. Salin nilai GUID yang disediakan untukID Aplikasi , nilai tersebut akan digunakan sebagai Id ClientApp Batch AAD.

4. Konfigurasikan untuk menggunakan perwakilan layanan untuk autentikasi dan dapatkan Batch AAD ClientApp Key.

• Minta kunci rahasia untuk aplikasi. Pilih aplikasi yang dibuat dalam daftarPendaftaran Aplikasi , dan klik Kunci , ketik Deskripsi kunci dan pilih Durasi, lalu klik Simpan. Salin nilai yang ditampilkan yang akan digunakan sebagai Batch AAD ClientApp Key. - Tetapkan peran RBAC ke aplikasi untuk mengautentikasi dengan perwakilan layanan. Pilih Layanan lainnya, cari dan pilih akun Batch, klik akun batch yang dibuat dan pilih Access Control (IAM). Klik +ADD, pilih Peran Kontributor dan aplikasi yang terdaftar. Klik Simpan.

Catatan

Perhatikan bahwa autentikasi Azure ACTIVE Directory didukung oleh mode Layanan Batch dan mode Langganan Pengguna akun Batch.

Important: Setelah dikonfigurasi Azure AD untuk autentikasi Batch dengan info AAD Batch berikut yang diperoleh, buka HPC Cluster Manager, di bawah Konfigurasi --> Daftar Tugas Penyebaran, klik Atur Konfigurasi Azure Batch untuk mengisi info yang sesuai dalam formulir, lalu klik OK. Langkah ini diperlukan saat menggunakan Azure AD untuk autentikasi Batch dalam HPC Pack.

• Instans AAD Batch
• Id Penyewa AAD Batch
• Batch AAD ClientApp Id
• Kunci ClientApp AAD Batch

Atau, Anda dapat menggunakan cmdlet HPC Powershell untuk mengatur info AAD Batch seperti yang ditunjukkan di bawah ini:

# HPC PowerShell
Set-HpcClusterRegistry -BatchAADInstance '<AAD Instance e.g. https://login.microsoftonline.com/>' -BatchAADTenantId <TenantGUID> -BatchAADClientAppId <AppGUID> -BatchAADClientAppKey '<AppKey>'

Langkah 2: Membuat templat kumpulan Azure Batch

Untuk membuat templat kumpulan Azure Batch, gunakan Wizard Buat Templat Simpul di HPC Cluster Manager.

Untuk membuat templat kumpulan Batch

1. Mulai Manajer Kluster HPC .

2. DiKonfigurasi , diPanel Navigasi , klik Templat Simpul .

3. Di panel Tindakan , klik Baru.
   Wizard Buat Templat Simpul muncul.

4. Pada halaman Pilih Jenis Templat Simpul , klik templat kumpulan Azure Batch, lalu klik Berikutnya.

5. Pada halaman Tentukan Nama Templat, ketik nama untuk templat simpul, dan secara opsional ketik deskripsi untuknya. Klik Berikutnya.

6. Pada halaman Berikan informasi akun Azure Batch, isi nama akun Batch. Jika jenis akun Batch adalah Layanan Batch, pilih BatchService sebagai jenis akun Batch. Jika menggunakan Kunci Akses Batch untuk autentikasi, isi kunci sebagai Kunci Akun , jika menggunakan autentikasi Microsoft Azure AD, biarkan kosong. Jika jenis akun Batch adalah Langganan Pengguna, pilih UserSubscription sebagai jenis akun Batch. Isi url akun Batch dan String Koneksi Azure Storage yang kami peroleh sebelumnya, lalu klik Berikutnya.

Catatan

saat autentikasi AAD diperlukan, pastikan Instans AAD Batch, Id Penyewa AAD Batch, Id ClientApp AAD Batch, dan Kunci ClientApp AAD Batch sudah diatur dalam Daftar Tugas Penyebaran , atau validasi akun akan gagal dengan kesalahan "Akun Azure Batch tidak valid. Silakan periksa pengaturan akun Azure Batch." saat mengklik Berikutnya.

7. Pada halaman konfigurasi Azure Batch Autoscale , biarkan Aktifkan Skala Otomatis tidak dicentang, dan klik Berikutnya.

8. Pada halaman Mengonfigurasi Kredensial Desktop Jauh dan SSH, secara opsional berikan kredensial pengguna yang akan dibuat pada simpul komputasi kumpulan Azure Batch selama penyebaran. Anda dapat menggunakan kredensial nanti untuk menyambungkan ke simpul komputasi kumpulan. Untuk simpul Linux, Anda juga dapat menentukan Kunci Umum SSH dan SSH Private Key File(.ppk) ke SSH ke simpul melalui putty.exe. Lihat di sini cara membuat kunci publik dan file kunci privat untuk PuTTY. Perhatikan jika Anda menentukan kata sandi dan kunci SSH, kunci SSH akan digunakan untuk koneksi. Anda juga perlu menyalin file kunci privat (.ppk) yang dihasilkan ke folder %CCP_HOME%Bin untuk membuka SSH ke simpul dari HPC Cluster Manager. Klik Berikutnya.

9. Pada halaman Tentukan Skrip Startup, dengan HPC Pack 2012 R2 Update 3, secara opsional tentukan tugas mulai Azure Batch .

   • Baris Perintah - perintah dijalankan saat simpul komputasi Azure Batch dimulai
   • URL Sumber Blob - Lokasi penyimpanan Azure file yang sebelumnya Anda unggah dan yang akan secara otomatis diunduh ke simpul komputasi Azure Batch
   • Jalur File Lokal - lokasi untuk mengunduh file pada simpul komputasi Azure Batch
     Dalam HPC Pack 2016 Update 1 atau versi yang lebih baru, secara opsional tentukan baris perintah atau nama skrip startup untuk dijalankan pada semua simpul komputasi Azure Batch di kumpulan Batch. Saat ini skrip startup hanya didukung untuk simpul Linux. Misalnya, jika Anda ingin menjalankan skrip bernama startup.sh pada semua simpul Linux di kumpulan Batch saat dimulai, Anda perlu menggunakan alat baris perintah HpcPack.exe untuk membuat zip dan mengunggah skrip ke akun penyimpanan Azure seperti di bawah ini, lalu menentukan startup.sh di Baris Perintah :

   HpcPack.exe create startup.sh.zip startup.sh 
   HpcPack.exe upload startup.sh.zip /account:<StorageAccountName> /key:<StorageAccountKey>
   

10. Klik Berikutnya dan tinjau semua pengaturan templat yang ditentukan. Klik Buat untuk menghasilkan templat simpul kumpulan Azure Batch.

Langkah 3: Menambahkan kumpulan Azure Batch

Gunakan Wizard Tambahkan Simpul di HPC Cluster Manager untuk menambahkan simpul komputasi kumpulan Batch.

Untuk menambahkan kumpulan Azure Batch

1. Di Manajer Kluster HPC, di Resource Management, di panel Tindakan , klik Tambahkan Simpul. Wizard Tambahkan Simpul muncul.

2. Pada halaman Pilih Metode Penyebaran , klik Tambahkan kumpulan Azure Batch, lalu klik Berikutnya.

3. Pada halaman Tentukan Informasi Kumpulan Azure Batch, pilih templat kumpulan Azure Batch. Menurut jenis akun Batch dalam templat yang dipilih, tentukan informasi kumpulan sebagai berikut:
   Jika jenis akun Batch adalah Batch Service,

   • Jumlah Simpul Komputasi - jumlah simpul komputasi (instans komputer virtual) di kumpulan Azure Batch baru
   • Apakah komputer virtual VM Khusus atau VM Prioritas Rendah
   • Pilih jenis gambar untuk PaaS atau IaaSMarketPlace. UntukPaaS , pilihkeluarga OS . Misalnya Windows Server 2016. UntukIaaSMarketPlace , pilihPenerbit , Penawaran , dan Sku. Misalnya Canonical, UbuntuServer, 16.04-LTS.
   • Ukuran Simpul Komputasi - ukuran peran dari setiap simpul komputasi.
   • Tugas Maks Per Simpul Komputasi - jumlah maksimum tugas bersamaan untuk dijalankan pada setiap simpul komputasi. Angka default sama dengan jumlah inti dalam ukuran peran yang dipilih. Jumlah maksimum tiga kali lebih besar dari jumlah inti aktual. Perhatikan Tugas Maks Per Simpul Komputasi dikalikan dengan Jumlah Simpul Komputasi sama dengan total inti simpul kumpulan Batch.
   • Paket Aplikasi – secara opsional tentukan paket aplikasi yang sudah ditambahkan di akun Batch dalam format id <>:<Versi>, id<>:<Versi>, ... Jika jenis akun Batch adalah Langganan Pengguna,
   • Jumlah Simpul Komputasi – (seperti di atas)
   • Pilih jenis gambar untuk IaaSMarketPlace atau IaaSCustomImage. Untuk IaaSMarketPlace, pilih Penerbit, Penawaran, dan Sku. Misalnya Canonical, UbuntuServer, 16.04-LTS. Untuk IaaSCustomImage, selain Penerbit, Penawaran, dan Sku, Id Sumber Daya Gambar Kustom juga diperlukan dalam format /subscriptions/{subscriptionId}/resourceGroups/{resourceGroup}/providers/Microsoft.Compute/images/{imageName}
   • Ukuran Simpul Komputasi – (seperti di atas)
   • Tugas Maks Per Simpul Komputasi – (seperti di atas)
   • Paket Aplikasi – (seperti di atas)
   • VNet – secara opsional tentukan Id Subnet untuk kumpulan Batch. Lihat dokumen ini cara membuat VNet dan Subnet kustom dan mendapatkan Id Subnet. Periksa juga persyaratan Batch untuk VNet kustom yang ditentukan dalam dokumen ini.

   Catatan

   Lihat dokumen ini cara mengambil gambar dari VM Linux dan mendapatkan Id Sumber Daya Gambar. Untuk gambar VM kustom atau VNet kustom (lihat di bawah), diperlukan untuk secara eksplisit menetapkan aplikasi klien Batch peran Kontributor ke sumber daya melalui kontrol Akses (IAM). Atau kegagalan 'BadRequest' dapat terjadi saat memulai kumpulan Batch.

Langkah 4: Mulai kumpulan

Anda harus memulai kumpulan sebelum menjalankan pekerjaan di dalamnya.

Untuk memulai kumpulan Azure Batch

1. Di Resource Management, diPanel Navigasi , klik simpul atau Kumpulan Azure Batch.

2. Dalam tampilan List atau Heat Map, pilih satu atau beberapa kumpulan Azure Batch.

3. Di panel Tindakan , klik Mulai.

   Kotak dialog Mulai Kumpulan Azure Batch muncul. Klik Mulai.

4. Status simpul berubah dari Tidak Disebarkan menjadiProvisi .

   Jika Anda ingin melacak kemajuan provisi, pilih kumpulan, lalu diPanel Detail , klik tab Log Provisi. Kumpulan Azure Batch harus dibuat dalam waktu kurang dari 1 menit dan status berubah menjadi Offline.

Pertimbangan tambahan

• Memantau status simpul komputasi Azure Batch- Setelah kumpulan Azure Batch siap, simpul komputasi Azure Batch masih dibuat dan dimulai. Untuk memantau status simpul, pilih kumpulan lalu di panel detail , klik Simpul Komputasi Azure Batch.

• Desktop Jarak Jauh atau SSH ke simpul komputasi - Setelah simpul komputasi di kumpulan Azure Batch dimulai (status simpul Menganggur ), Anda dapat terhubung oleh Desktop Jauh atau SSH ke setiap simpul komputasi jika Anda mengonfigurasi pengaturan templat untuk melakukannya, misalnya, untuk melakukan beberapa konfigurasi manual atau pemecahan masalah. Untuk melakukan ini, pilih satu atau beberapa kumpulan Azure Batch, lalu di panel Tindakan , klik Desktop Jarak Jauh/SSH. Saat menyambungkan ke simpul Linux melalui SSH, diperlukan untuk menyalin file kunci privat (.ppk) yang dihasilkan ke folder %CCP_HOME%Bin pada komputer klien.

• Menampilkan tugas startup - Jika Anda menentukan tugas startup di templat kumpulan Azure Batch, setelah kumpulan Azure Batch dimulai, Anda dapat melihat output terperinci dari tugas startup dengan menjalankan cmdlet HPC PowerShell berikut:

  Get-HpcBatchPoolStartTask -Name <PoolName>   
  

• Tampilan peta panas - Saat kumpulan Azure Batch berjalan, lihat peta panas kumpulan. Di Manajemen Sumber Daya pada panel navigasi, klik simpul , lalu pilih tampilan Peta Panas . Anda juga dapat memeriksa peta panas per VM untuk simpul Linux di kumpulan. Di Resource Management pada panel navigasi, klik kumpulan Azure Batch, lalu pilih tampilan Peta Panas . Saat ini penghitung kinerja berikut dikumpulkan:

  • Penggunaan CPU
  • Disk Throughput
  • Ruang Disk Kosong
  • Penggunaan Jaringan
  • Memori Fisik yang Tersedia

.

Langkah 5: Jalankan pekerjaan di kumpulan

Saat ini, HPC Pack mendukung menjalankan pekerjaan batch/parametrik/mpi normal dan perintah clusrun pada kumpulan Azure Batch. Harap perhatikan rekomendasi berikut untuk menggunakan clusrun dengan Batch:

• Jalankan clusrun pekerjaan pada kumpulan Azure Batch saat tidak ada pekerjaan lain yang berjalan di kumpulan. Jika ada pekerjaan atau tugas lain yang berjalan, pekerjaan clusrun mungkin perlu menunggu tugas yang sedang berjalan selesai.

• Pekerjaan yang berjalan pada kumpulan Azure Batch secara default tidak mengembalikan output tugas ke HPC Pack, karena potensi dampak performa. Anda dapat menentukan tugas rilis simpul dalam pekerjaan untuk mengambil output tugas jika Anda mau. Untuk mengambil output tugas, ubah properti kluster berikut melalui HPC PowerShell:

  Set-HpcClusterProperty -GetAzureBatchTaskOutput $true  
  

Langkah 6: Hentikan kumpulan

Saat Anda tidak menggunakan kumpulan Batch, hentikan sumber daya Azure. Ini mendeprovisi simpul komputasi kumpulan, mengurangi biaya penggunaan kumpulan Batch.

Untuk menghentikan kumpulan

1. DiResource Management , di Panel Navigasi , klik simpul atau Kumpulan Azure Batch.

2. Dalam tampilan Daftar atau Heat Map, pilih satu atau beberapa kumpulan Azure Batch yang ingin Anda hentikan.

3. Di panel Tindakan , klik Hentikan.

   Kotak dialog Hentikan Kumpulan Azure Batch muncul. Klik Hentikan.

4. Jika Anda ingin melacak kemajuan penghentian, pilih simpul, lalu diPanel Detail , klik tab Log Provisi.

Lihat Juga

Microsoft HPC Pack: Penyebaran Simpul