Buat kluster komputasi Windows performa tinggi (HPC) dengan skrip penyebaran HPC Pack IaaS

Artikel
12/29/2016

Penting

Komputer virtual klasik akan dihentikan pada 1 Maret 2023.

Jika Anda menggunakan sumber IaaS dari ASM, harap menyelesaikan migrasi sebelum 1 Maret 2023. Kami mendorong Anda untuk beralih lebih cepat untuk memanfaatkan banyak peningkatan fitur di Azure Resource Manager.

Untuk mengetahui informasi selengkapnya, lihat Migrasikan sumber IaaS Anda ke Azure Resource Manager sebelum 1 Maret 2023.

Jalankan skrip PowerShell penyebaran HPC Pack IaaS untuk menyebarkan kluster R2 HPC Pack 2012 lengkap untuk beban kerja Windows di komputer virtual Azure. Kluster ini terdiri dari simpul kepala yang bergabung dengan Active Directory yang menjalankan Windows Server dan Microsoft HPC Pack, dan sumber daya komputasi Windows tambahan yang Anda tentukan. Jika Anda ingin menyebarkan kluster HPC Pack di Azure untuk beban kerja Linux, lihat Membuat kluster HPC Linux dengan skrip penyebaran HPC Pack IaaS.

Penting

Skrip PowerShell yang dijelaskan dalam artikel ini membuat kluster Microsoft HPC Pack 2012 R2 di Azure menggunakan model penyebaran klasik. Microsoft merekomendasikan agar sebagian besar penyebaran baru menggunakan model Resource Manager. Selain itu, skrip yang dijelaskan dalam artikel ini tidak mendukung HPC Pack 2016. Untuk informasi tentang templat Resource Manager untuk HPC Pack 2012 R2 dan HPC Pack 2016, lihat opsi penyebaran kluster HPC Pack di Azure.

Bergantung pada lingkungan dan pilihan Anda, skrip dapat membuat semua infrastruktur kluster, termasuk jaringan virtual Azure, akun penyimpanan, layanan cloud, pengontrol domain, database SQL jarak jauh atau lokal, simpul kepala, dan simpul kluster tambahan. Atau, skrip dapat menggunakan infrastruktur Azure yang sudah ada sebelumnya dan hanya membuat node kluster HPC.

Untuk informasi latar belakang tentang perencanaan kluster HPC Pack, lihat konten Evaluasi dan Perencanaan Produk dan Memulai di Perpustakaan TechNet R2 HPC Pack 2012.

Prasyarat

Langganan Azure: Anda dapat menggunakan langganan di layanan Azure Global atau Azure China. Batas langganan Anda memengaruhi jumlah dan jenis simpul kluster yang dapat Anda sebarkan. Untuk informasi, lihat Batas langganan dan layanan Azure, kuota, dan batasan.
Windows komputer klien dengan Azure PowerShell 0.8.10 atau yang lebih baru diinstal dan dikonfigurasi: Lihat Memulai dengan Azure PowerShell untuk instruksi instalasi dan langkah-langkah untuk terhubung ke langganan Azure Anda.
Skrip penyebaran HPC Pack IaaS: Unduh dan bongkar versi terbaru skrip dari Pusat Unduhan Microsoft. Periksa versi skrip dengan menjalankan New-HPCIaaSCluster.ps1 –Version. Artikel ini didasarkan pada versi 4.5.2 dari skrip.
File konfigurasi skrip: Buat file XML yang digunakan skrip untuk mengonfigurasi kluster HPC. Untuk informasi dan contoh, lihat bagian nanti di artikel ini dan Manual file.rtf yang menyertai skrip penyebaran.

Sintaks

New-HPCIaaSCluster.ps1 [-ConfigFile] <String> [-AdminUserName]<String> [[-AdminPassword] <String>] [[-HPCImageName] <String>] [[-LogFile] <String>] [-Force] [-NoCleanOnFailure] [-PSSessionSkipCACheck] [<CommonParameters>]

Catatan

Jalankan skrip sebagai administrator.

Parameter

ConfigFile: Menentukan jalur file file konfigurasi untuk menggambarkan kluster HPC. Lihat selengkapnya tentang file konfigurasi dalam topik ini, atau di Manual file.rtf di folder yang berisi skrip.
AdminUserName: Menentukan nama pengguna. Jika hutan domain dibuat oleh skrip, ini menjadi nama pengguna administrator lokal untuk semua VM dan nama administrator domain. Jika hutan domain sudah ada, ini menentukan pengguna domain sebagai nama pengguna administrator lokal untuk menginstal HPC Pack.
AdminPassword: Menentukan kata sandi administrator. Jika tidak ditentukan dalam baris perintah, skrip meminta Anda untuk memasukkan kata sandi.
HPCImageName (opsional): Menentukan nama gambar VM Paket HPC yang digunakan untuk menyebarkan kluster HPC. Ini harus menjadi gambar HPC Pack yang disediakan Microsoft dari Marketplace Azure. Jika tidak ditentukan (biasanya direkomendasikan), skrip memilih gambar HPC Pack 2012 R2 terbaru yang diterbitkan. Gambar terbaru didasarkan pada Windows Server 2012 R2 Datacenter dengan HPC Pack 2012 R2 Update 3 diinstal.

Catatan

Penyebaran gagal jika Anda tidak menentukan gambar Paket HPC yang valid.
LogFile (opsional): Menentukan jalur file log penyebaran. Jika tidak ditentukan, skrip membuat file log di direktori sementara komputer yang menjalankan skrip.
Paksa (opsional): Menekan semua petunjuk konfirmasi.
NoCleanOnFailure (opsional): Menentukan bahwa VM Azure yang tidak berhasil disebarkan tidak dihapus. Hapus VM ini secara manual sebelum mengatur ulang skrip untuk melanjutkan penyebaran, atau penyebaran mungkin gagal.
PSSessionSkipCACheck (opsional): Untuk setiap layanan cloud dengan VM yang disebarkan oleh skrip ini, sertifikat yang ditandatangani sendiri secara otomatis dibuat oleh Azure, dan semua VM di layanan cloud menggunakan sertifikat ini sebagai sertifikat manajemen jarak jauh Windows (WinRM) default. Untuk menyebarkan fitur HPC di VM Azure ini, skrip secara default menginstal sementara sertifikat ini di penyimpanan Otoritas Sertifikasi Akar Tepercaya Komputer Lokal dari komputer klien untuk menekan kesalahan keamanan "CA yang tidak tepercaya" selama eksekusi skrip. Sertifikat dihapus saat skrip selesai. Jika parameter ini ditentukan, sertifikat tidak diinstal di komputer klien, dan peringatan keamanan ditekan.

Penting

Parameter ini tidak direkomendasikan untuk penyebaran produksi.

Contoh

Contoh berikut membuat kluster Paket HPC menggunakan file konfigurasi MyConfigFile.xml, dan menentukan kredensial administrator untuk menginstal kluster.

.\New-HPCIaaSCluster.ps1 –ConfigFile MyConfigFile.xml -AdminUserName <username> –AdminPassword <password>

Pertimbangan tambahan

Skrip secara opsional dapat mengaktifkan pengiriman pekerjaan melalui portal web HPC Pack atau HPC Pack REST API.
Skrip secara opsional dapat menjalankan skrip pra dan pasca-konfigurasi khusus pada simpul kepala jika Anda ingin menginstal perangkat lunak tambahan atau mengonfigurasi pengaturan lain.

File Konfigurasi

File konfigurasi untuk skrip penyebaran adalah file XML. File skema HPCIaaSClusterConfig.xsd ada di folder skrip penyebaran HPC Pack IaaS. IaaSClusterConfig adalah elemen root dari file konfigurasi, yang berisi elemen turunan yang dijelaskan secara rinci dalam Manual file.rtf di folder skrip penyebaran.

Contoh file konfigurasi

Dalam contoh berikut, ganti nilai Anda sendiri untuk Id atau nama langganan Anda dan nama akun dan layanan.

Contoh 1

File konfigurasi berikut menyebarkan kluster HPC Pack yang memiliki simpul kepala dengan database lokal dan lima node komputasi yang menjalankan sistem operasi R2 Windows Server 2012. Semua layanan cloud dibuat langsung di lokasi AS Barat. Node kepala bertindak sebagai pengontrol domain dari hutan domain.

<?xml version="1.0" encoding="utf-8" ?>
<IaaSClusterConfig>
  <Subscription>
    <SubscriptionId>08701940-C02E-452F-B0B1-39D50119F267</SubscriptionId>
    <StorageAccount>mystorageaccount</StorageAccount>
  </Subscription>
  <Location>West US</Location>  
  <VNet>
    <VNetName>MyVNet</VNetName>
    <SubnetName>Subnet-1</SubnetName>
  </VNet>
  <Domain>
    <DCOption>HeadNodeAsDC</DCOption>
    <DomainFQDN>hpc.local</DomainFQDN>
  </Domain>
  <Database>
    <DBOption>LocalDB</DBOption>
  </Database>
  <HeadNode>
    <VMName>MyHeadNode</VMName>
    <ServiceName>MyHPCService</ServiceName>
    <VMSize>ExtraLarge</VMSize>
  </HeadNode>
  <ComputeNodes>
    <VMNamePattern>MyHPCCN-%1000%</VMNamePattern>
    <ServiceName>MyHPCCNService</ServiceName>
    <VMSize>Medium</VMSize>
    <NodeCount>5</NodeCount>
    <OSVersion>WindowsServer2012R2</OSVersion>
  </ComputeNodes>
</IaaSClusterConfig>

Contoh 2

File konfigurasi berikut menyebarkan kluster HPC Pack di hutan domain yang ada. Cluster ini memiliki 1 node kepala dengan database lokal dan 12 node komputasi dengan ekstensi VM BGInfo diterapkan. Instalasi otomatis pembaruan Windows dinonaktifkan untuk semua VM di hutan domain. Semua layanan cloud dibuat langsung di lokasi Asia Timur. Node komputasi dibuat di tiga layanan cloud dan tiga akun penyimpanan: MyHPCCN-0001 ke MyHPCCN-0005 di MyHPCCNService01 dan mycnstorage01; MyHPCCN-0006 ke MyHPCCN0010 di MyHPCCNService02 dan mycnstorage02; dan MyHPCCN-0011 ke MyHPCCN-0012 di MyHPCCNService03 dan mycnstorage03). Node komputasi dibuat dari gambar pribadi yang ada yang diambil dari node komputasi. Layanan tumbuh dan menyusut otomatis diaktifkan dengan interval tumbuh dan menyusut default.

<?xml version="1.0" encoding="utf-8" ?>
<IaaSClusterConfig>
  <Subscription>
    <SubscriptionName>Subscription-1</SubscriptionName>
    <StorageAccount>mystorageaccount</StorageAccount>
  </Subscription>
  <Location>East Asia</Location>  
  <VNet>
    <VNetName>MyVNet</VNetName>
    <SubnetName>Subnet-1</SubnetName>
  </VNet>
  <Domain>
    <DCOption>NewDC</DCOption>
    <DomainFQDN>hpc.local</DomainFQDN>
    <DomainController>
      <VMName>MyDCServer</VMName>
      <ServiceName>MyHPCService</ServiceName>
      <VMSize>Large</VMSize>
      </DomainController>
     <NoWindowsAutoUpdate />
  </Domain>
  <Database>
    <DBOption>LocalDB</DBOption>
  </Database>
  <HeadNode>
    <VMName>MyHeadNode</VMName>
    <ServiceName>MyHPCService</ServiceName>
    <VMSize>ExtraLarge</VMSize>
  </HeadNode>
  <Certificates>
    <Certificate>
      <Id>1</Id>
      <PfxFile>d:\mytestcert1.pfx</PfxFile>
      <Password>MyPsw!!2</Password>
    </Certificate>
  </Certificates>
  <ComputeNodes>
    <VMNamePattern>MyHPCCN-%0001%</VMNamePattern>
<ServiceNamePattern>MyHPCCNService%01%</ServiceNamePattern>
<MaxNodeCountPerService>5</MaxNodeCountPerService>
<StorageAccountNamePattern>mycnstorage%01%</StorageAccountNamePattern>
    <VMSize>Medium</VMSize>
    <NodeCount>12</NodeCount>
    <ImageName HPCPackInstalled=”true”>MyHPCComputeNodeImage</ImageName>
    <VMExtensions>
       <VMExtension>
          <ExtensionName>BGInfo</ExtensionName>
          <Publisher>Microsoft.Compute</Publisher>
          <Version>1.*</Version>
       </VMExtension>
    </VMExtensions>
  </ComputeNodes>
  <AutoGrowShrink>
    <CertificateId>1</CertificateId>
  </AutoGrowShrink>
</IaaSClusterConfig>

Contoh 3

File konfigurasi berikut menyebarkan kluster HPC Pack di hutan domain yang ada. Cluster berisi satu head node, satu server database dengan disk data 500 GB, dua node broker yang menjalankan sistem operasi Windows Server 2012 R2, dan lima node komputasi yang menjalankan sistem operasi Windows Server 2012 R2. Layanan cloud MyHPCCNService dibuat di grup afinitas MyIBAffinityGroup, dan layanan cloud lainnya dibuat di grup afinitas MyAffinityGroup. HPC Job Scheduler REST API dan portal web HPC diaktifkan pada head node.

<?xml version="1.0" encoding="utf-8" ?>
<IaaSClusterConfig>
  <Subscription>
    <SubscriptionName>Subscription-1</SubscriptionName>
    <StorageAccount>mystorageaccount</StorageAccount>
  </Subscription>
  <AffinityGroup>MyAffinityGroup</AffinityGroup>
  <Location>East Asia</Location>  
  <VNet>
    <VNetName>MyVNet</VNetName>
    <SubnetName>Subnet-1</SubnetName>
  </VNet>    
  <Domain>
    <DCOption>ExistingDC</DCOption>
    <DomainFQDN>hpc.local</DomainFQDN>
  </Domain>
  <Database>
    <DBOption>NewRemoteDB</DBOption>
    <DBVersion>SQLServer2014_Enterprise</DBVersion>
    <DBServer>
      <VMName>MyDBServer</VMName>
      <ServiceName>MyHPCService</ServiceName>
      <VMSize>ExtraLarge</VMSize>
      <DataDiskSizeInGB>500</DataDiskSizeInGB>
    </DBServer>
  </Database>
  <HeadNode>
    <VMName>MyHeadNode</VMName>
    <ServiceName>MyHPCService</ServiceName>
    <VMSize>ExtraLarge</VMSize>
    <EnableRESTAPI />
    <EnableWebPortal />
  </HeadNode>
  <ComputeNodes>
    <VMNamePattern>MyHPCCN-%0000%</VMNamePattern>
    <ServiceName>MyHPCCNService</ServiceName>
    <VMSize>A8</VMSize>
<NodeCount>5</NodeCount>
<AffinityGroup>MyIBAffinityGroup</AffinityGroup>
  </ComputeNodes>
  <BrokerNodes>
    <VMNamePattern>MyHPCBN-%0000%</VMNamePattern>
    <ServiceName>MyHPCBNService</ServiceName>
    <VMSize>Medium</VMSize>
    <NodeCount>2</NodeCount>
  </BrokerNodes>
</IaaSClusterConfig>

Contoh 4

File konfigurasi berikut menyebarkan kluster HPC Pack di hutan domain yang ada. Kluster ini memiliki dua simpul kepala dengan database lokal, dua templat simpul Azure dibuat, dan tiga ukuran node Azure Sedang dibuat untuk templat simpul Azure AzureTemplate1. File skrip berjalan pada simpul kepala setelah simpul kepala dikonfigurasi.

<?xml version="1.0" encoding="utf-8" ?>
<IaaSClusterConfig>
  <Subscription>
    <SubscriptionName>Subscription-1</SubscriptionName>
    <StorageAccount>mystorageaccount</StorageAccount>
  </Subscription>
  <AffinityGroup>MyAffinityGroup</AffinityGroup>
  <Location>East Asia</Location>  
  <VNet>
    <VNetName>MyVNet</VNetName>
    <SubnetName>Subnet-1</SubnetName>
  </VNet>
  <Domain>
    <DCOption>ExistingDC</DCOption>
    <DomainFQDN>hpc.local</DomainFQDN>
  </Domain>
  <Database>
    <DBOption>LocalDB</DBOption>
  </Database>
  <HeadNode>
    <VMName>MyHeadNode</VMName>
    <ServiceName>MyHPCService</ServiceName>
<VMSize>ExtraLarge</VMSize>
    <PostConfigScript>c:\MyHNPostActions.ps1</PostConfigScript>
  </HeadNode>
  <Certificates>
    <Certificate>
      <Id>1</Id>
      <PfxFile>d:\mytestcert1.pfx</PfxFile>
      <Password>MyPsw!!2</Password>
    </Certificate>
    <Certificate>
      <Id>2</Id>
      <PfxFile>d:\mytestcert2.pfx</PfxFile>
    </Certificate>    
  </Certificates>
  <AzureBurst>
    <AzureNodeTemplate>
      <TemplateName>AzureTemplate1</TemplateName>
      <SubscriptionId>bb9252ba-831f-4c9d-ae14-9a38e6da8ee4</SubscriptionId>
      <CertificateId>1</CertificateId>
      <ServiceName>mytestsvc1</ServiceName>
      <StorageAccount>myteststorage1</StorageAccount>
      <NodeCount>3</NodeCount>
      <RoleSize>Medium</RoleSize>
    </AzureNodeTemplate>
    <AzureNodeTemplate>
      <TemplateName>AzureTemplate2</TemplateName>
      <SubscriptionId>ad4b9f9f-05f2-4c74-a83f-f2eb73000e0b</SubscriptionId>
      <CertificateId>1</CertificateId>
      <ServiceName>mytestsvc2</ServiceName>
      <StorageAccount>myteststorage2</StorageAccount>
      <Proxy>
        <UsesStaticProxyCount>false</UsesStaticProxyCount>     
        <ProxyRatio>100</ProxyRatio>
        <ProxyRatioBase>400</ProxyRatioBase>
      </Proxy>
      <OSVersion>WindowsServer2012</OSVersion>
    </AzureNodeTemplate>
  </AzureBurst>
</IaaSClusterConfig>

Pemecahan Masalah

Kesalahan "VNet tidak ada" - Jika Anda menjalankan skrip untuk menyebarkan beberapa kluster di Azure secara bersamaan di bawah satu langganan, satu atau beberapa penyebaran mungkin gagal dengan kesalahan "VNet VNet_Name tidak ada". Jika kesalahan ini terjadi, jalankan skrip lagi untuk penyebaran yang gagal.
Masalah mengakses Internet dari jaringan virtual Azure - Jika Anda membuat kluster dengan pengontrol domain baru dengan menggunakan skrip penyebaran, atau Anda secara manual mempromosikan VM simpul kepala ke pengontrol domain, Anda mungkin mengalami masalah saat menghubungkan VM ke Internet. Masalah ini dapat terjadi jika server DNS forwarder dikonfigurasi secara otomatis pada pengontrol domain, dan server DNS forwarder ini tidak teratasi dengan benar.

Untuk mengatasi masalah ini, masuk ke pengontrol domain dan hapus pengaturan konfigurasi forwarder atau konfigurasikan server DNS forwarder yang valid. Untuk mengonfigurasi pengaturan ini, di Server Manager klik ToolsDNS> untuk membuka DNS Manager, lalu klik dua kali Forwarder.
Masalah mengakses jaringan RDMA dari VM intensif komputasi - Jika Anda menambahkan Windows komputasi Server atau VM node broker menggunakan ukuran berkemampuan RDMA seperti A8 atau A9, Anda mungkin mengalami masalah saat menghubungkan VM tersebut ke jaringan aplikasi RDMA. Salah satu alasan masalah ini terjadi adalah jika ekstensi HpcVmDrivers tidak diinstal dengan benar saat VM ditambahkan ke kluster. Misalnya, ekstensi mungkin macet dalam status penginstalan.

Untuk mengatasi masalah ini, pertama-tama periksa keadaan ekstensi di VM. Jika ekstensi tidak diinstal dengan benar, coba hapus node dari kluster HPC dan kemudian tambahkan node lagi. Misalnya, Anda dapat menambahkan VM node komputasi dengan menjalankan skrip Add-HpcIaaSNode.ps1 pada simpul kepala.

Langkah berikutnya

Coba jalankan beban kerja pengujian pada kluster. Misalnya, lihat panduan HPC Pack memulai.
Untuk tutorial untuk membuat skrip penyebaran kluster dan menjalankan beban kerja HPC, lihat Memulai dengan kluster Paket HPC di Azure untuk menjalankan beban kerja Excel dan SOA.
Coba alat HPC Pack untuk memulai, menghentikan, menambah, dan menghapus node komputasi dari kluster yang Anda buat. Lihat Mengelola node komputasi dalam kluster Paket HPC di Azure.
Untuk menyiapkan untuk mengirimkan pekerjaan ke kluster dari komputer lokal, lihat Mengirimkan pekerjaan HPC dari komputer lokal ke kluster Paket HPC di Azure.

Bagikan melalui