Membuat kumpulan Azure Batch di jaringan virtual

  • Artikel

Saat membuat kumpulan Azure Batch, Anda dapat memprovisikan kumpulan dalam subnet Azure Virtual Network yang Anda tentukan. Artikel ini menjelaskan cara menyiapkan kumpulan Batch di Virtual Network.

Mengapa menggunakan Virtual Network?

Simpul komputasi dalam kumpulan dapat berkomunikasi satu sama lain, seperti menjalankan tugas multi-instans, tanpa memerlukan Virtual Network terpisah. Namun, secara default, simpul dalam kumpulan tidak dapat berkomunikasi dengan komputer virtual (VM) apa pun yang berada di luar kumpulan, seperti lisensi atau server file.

Untuk memungkinkan simpul komputasi berkomunikasi dengan aman dengan komputer virtual lain, atau dengan jaringan lokal, Anda dapat memprovisikan kumpulan di subnet Virtual Network.

Prasyarat

  • Autentikasi. Untuk menggunakan Azure Virtual Network, API klien Batch harus menggunakan autentikasi Microsoft Entra. Untuk mempelajari selengkapnya, lihat Mengautentikasi solusi layanan Batch dengan Direktori Aktif.

  • Azure Virtual Network. Untuk menyiapkan Virtual Network dengan satu atau beberapa subnet terlebih dahulu, Anda dapat menggunakan portal Azure, Azure PowerShell, Microsoft Azure CLI (CLI), atau metode lainnya.

    • Untuk membuat Virtual Network berbasis Azure Resource Manager, lihat Membuat jaringan virtual. Virtual Network berbasis Resource Manager direkomendasikan untuk penyebaran baru, dan hanya didukung pada kumpulan yang menggunakan Konfigurasi Komputer Virtual.

    • Untuk membuat Virtual Network klasik, lihat Membuat jaringan virtual (klasik) dengan beberapa subnet. Virtual Network klasik hanya didukung pada kumpulan yang menggunakan Konfigurasi Cloud Services.

      Penting

      Hindari menggunakan 172.17.0.0/16 untuk VNet kumpulan Azure Batch. Ini adalah default untuk jaringan penghubung Docker dan mungkin bertentangan dengan jaringan lain yang ingin Anda sambungkan ke VNet. Membuat jaringan virtual untuk kumpulan Azure Batch memerlukan perencanaan infrastruktur jaringan Anda yang cermat.

Persyaratan jaringan virtual umum

  • Virtual Network harus berada di langganan dan wilayah yang sama dengan akun Batch yang Anda gunakan untuk membuat kumpulan Anda.

  • Subnet yang ditentukan untuk kumpulan harus memiliki cukup alamat IP yang tidak ditetapkan untuk mengakomodasi jumlah VM yang ditargetkan untuk kumpulan, cukup untuk mengakomodasi targetDedicatedNodes properti dan targetLowPriorityNodes kumpulan. Jika subnet tidak memiliki alamat IP yang cukup belum ditetapkan, kumpulan mengalokasikan sebagian simpul komputasi, dan terjadi kesalahan ukuran.

  • Jika Anda tidak menggunakan Komunikasi Simpul Komputasi Yang Disederhanakan, Anda perlu menyelesaikan titik akhir Azure Storage Anda dengan menggunakan server DNS kustom apa pun yang melayani jaringan virtual Anda. Secara khusus, URL formulir <account>.table.core.windows.net, <account>.queue.core.windows.net, dan <account>.blob.core.windows.net harus dapat dipecahkan.

  • Beberapa kumpulan dapat dibuat di jaringan virtual yang sama atau di subnet yang sama (selama memiliki ruang alamat yang memadai). Satu kumpulan tidak dapat ada di beberapa jaringan virtual atau subnet.

Persyaratan jaringan virtual lainnya berbeda, tergantung pada apakah kumpulan Batch berada di VirtualMachineConfiguration atau CloudServiceConfiguration. VirtualMachineConfiguration untuk kumpulan Batch disarankan, karena CloudServiceConfiguration kumpulan tidak digunakan lagi.

Penting

Kumpulan batch dapat dikonfigurasi dalam salah satu dari dua mode komunikasi simpul. Mode komunikasi node klasik adalah tempat layanan Batch memulai komunikasi ke simpul komputasi. Mode komunikasi simpul yang disederhanakan adalah tempat simpul komputasi memulai komunikasi ke Layanan Batch.

  • Jaringan virtual atau jaringan virtual serekan apa pun yang akan digunakan untuk kumpulan Batch seharusnya tidak memiliki rentang alamat IP yang tumpang tindih dengan jaringan atau perutean yang ditentukan perangkat lunak pada simpul komputasi. Sumber umum untuk konflik adalah dari penggunaan runtime kontainer, seperti docker. Docker akan membuat jembatan jaringan default dengan rentang subnet yang ditentukan dari 172.17.0.0/16. Setiap layanan yang berjalan dalam jaringan virtual di ruang alamat IP default tersebut akan bertentangan dengan layanan pada simpul komputasi, seperti akses jarak jauh melalui SSH.

Kumpulan dalam Konfigurasi Komputer Virtual

Persyaratan:

  • Virtual Network yang Didukung: Hanya jaringan virtual berbasis Azure Resource Manager.
  • ID subnet: saat menentukan subnet menggunakan API Batch, gunakan pengidentifikasi sumber daya subnet. Pengidentifikasi subnet berbentuk:

/subscriptions/{subscription}/resourceGroups/{group}/providers/Microsoft.Network/virtualNetworks/{network}/subnets/{subnet}

  • Izin: periksa apakah kebijakan keamanan atau kunci pada langganan Virtual Network atau grup sumber daya membatasi izin pengguna untuk mengelola Virtual Network.
  • Sumber daya jaringan: Batch secara otomatis membuat lebih banyak sumber daya jaringan dalam grup sumber daya yang berisi Virtual Network.

Penting

Untuk setiap 100 simpul khusus atau berprioritas rendah, Batch membuat satu kelompok keamanan jaringan (NSG), satu alamat IP publik, dan satu penyeimbang beban. Sumber daya ini dibatasi oleh kuota sumber daya langganan. Untuk kumpulan besar, Anda mungkin perlu meminta peningkatan kuota untuk satu atau beberapa sumber daya ini.

Grup keamanan jaringan untuk kumpulan Konfigurasi Komputer Virtual: Default batch

Batch membuat kelompok keamanan jaringan (NSG) di tingkat antarmuka jaringan setiap penyebaran Set Skala Komputer Virtual dalam kumpulan Batch. Untuk kumpulan yang tidak memiliki alamat IP publik di bawah komunikasi simpul komputasi simplified , NSG tidak dibuat.

Untuk menyediakan komunikasi yang diperlukan antara simpul komputasi dan layanan Batch, NSG ini dikonfigurasi singgah sehingga:

  • Lalu lintas TCP masuk pada port 29876 dan 29877 dari alamat IP layanan Batch yang sesuai dengan BatchNodeManagement.tag layanan wilayah . Aturan ini hanya dibuat dalam classic mode komunikasi kumpulan.
  • Lalu lintas TCP masuk pada port 22 (node Linux) atau port 3389 (node Windows) untuk mengizinkan akses jarak jauh untuk SSH atau RDP pada port default. Untuk jenis tugas multi-instans tertentu di Linux, seperti MPI, Anda mungkin perlu mengizinkan lalu lintas SSH untuk IP di subnet yang berisi simpul komputasi Batch. Runtime MPI tertentu mungkin memerlukan peluncuran melalui SSH, yang biasanya dirutekan pada ruang alamat IP privat. Lalu lintas ini mungkin diblokir per aturan NSG tingkat subnet.
  • Keluar lalu lintas apa pun pada port 443 ke alamat IP layanan Batch yang sesuai dengan BatchNodeManagement.tag layanan wilayah .
  • Lalu lintas keluar pada port mana pun ke jaringan virtual. Aturan ini mungkin diubah per aturan NSG tingkat subnet.
  • Lalu lintas keluar pada port mana pun ke Internet. Aturan ini mungkin diubah per aturan NSG tingkat subnet.

Penting

Berhati-hatilah jika Anda mengubah atau menambahkan aturan masuk atau keluar di NSG yang dikonfigurasi Batch. Jika komunikasi ke node komputasi dalam subnet yang ditentukan ditolak oleh NSG, layanan Batch akan menyetel status node komputasi ke tidak dapat digunakan. Selain itu, tidak ada kunci sumber daya yang harus diterapkan ke sumber daya apa pun yang dibuat oleh Batch, karena ini dapat mencegah pembersihan sumber daya sebagai akibat dari tindakan yang dimulai pengguna seperti menghapus kumpulan.

Grup keamanan jaringan untuk kumpulan Konfigurasi Komputer Virtual: Menentukan aturan tingkat subnet

Jika Anda memiliki NSG yang terkait dengan subnet untuk simpul komputasi Batch, Anda harus mengonfigurasi NSG ini dengan setidaknya aturan keamanan masuk dan keluar yang ditampilkan dalam tabel berikut.

Peringatan

Alamat IP layanan Batch dapat berubah seiring waktu. Oleh karena itu, Anda harus menggunakan BatchNodeManagement.tag layanan wilayah untuk aturan NSG yang ditunjukkan dalam tabel berikut. Hindari mengisi aturan NSG dengan alamat IP layanan Batch tertentu.

Aturan keamanan masuk

Tag Layanan Sumber atau Alamat IP Port Tujuan Protokol Mode Komunikasi Kumpulan Wajib
BatchNodeManagement.tag layanan wilayah 29876-29877 TCP Klasik Ya
Alamat IP sumber untuk mengakses simpul komputasi dari jarak jauh 3389 (Windows), 22 (Linux) TCP Klasik atau Disederhanakan No

Konfigurasikan lalu lintas masuk pada port 3389 (Windows) atau 22 (Linux) hanya jika Anda perlu mengizinkan akses jarak jauh ke simpul komputasi dari sumber luar pada port RDP atau SSH default. Anda mungkin perlu mengizinkan lalu lintas SSH di Linux jika Anda memerlukan dukungan untuk tugas multi-instans dengan runtime Antarmuka Passing Pesan (MPI) tertentu di subnet yang berisi simpul komputasi Batch karena lalu lintas dapat diblokir per aturan NSG tingkat subnet. Lalu lintas MPI biasanya melalui ruang alamat IP privat, tetapi dapat bervariasi antara runtime MPI dan konfigurasi runtime. Mengizinkan lalu lintas pada port ini tidak benar-benar diperlukan agar simpul komputasi kumpulan dapat digunakan. Anda juga dapat menonaktifkan akses jarak jauh default pada port ini melalui konfigurasi titik akhir kumpulan.

Aturan keamanan keluar

Tag Layanan Tujuan Port Tujuan Protokol Mode Komunikasi Kumpulan Wajib
BatchNodeManagement.tag layanan wilayah 443 * Disederhanakan Ya
Penyimpanan.tag layanan wilayah 443 TCP Klasik Ya

Keluar ke BatchNodeManagement.tag layanan wilayah diperlukan dalam classic mode komunikasi kumpulan jika Anda menggunakan tugas Job Manager atau jika tugas Anda harus berkomunikasi kembali ke layanan Batch. Untuk keluar ke BatchNodeManagement.wilayah dalam simplified mode komunikasi kumpulan, layanan Batch saat ini hanya menggunakan protokol TCP, tetapi UDP mungkin diperlukan untuk kompatibilitas di masa mendatang. Untuk kumpulan tanpa alamat IP publik menggunakan simplified mode komunikasi dan dengan titik akhir privat manajemen simpul, NSG tidak diperlukan. Untuk informasi selengkapnya tentang aturan keamanan keluar untuk BatchNodeManagement.tag layanan wilayah , lihat Menggunakan komunikasi simpul komputasi yang disederhanakan.

Kumpulan di Konfigurasi Cloud Services

Peringatan

Kumpulan Konfigurasi Microsoft Azure Cloud Services tidak digunakan lagi. Gunakan kumpulan Konfigurasi Komputer Virtual sebagai gantinya.

Persyaratan:

  • Virtual Network yang Didukung: Virtual Network Klasik saja.

  • ID subnet: saat menentukan subnet menggunakan API Batch, gunakan pengidentifikasi sumber daya subnet. Pengidentifikasi subnet berbentuk:

    /subscriptions/{subscription}/resourceGroups/{group}/providers/Microsoft.ClassicNetwork/virtualNetworks/{network}/subnets/{subnet}

  • Izin: Microsoft Azure Batch perwakilan layanan harus memiliki Classic Virtual Machine Contributor peran Azure untuk Virtual Network yang ditentukan.

Grup keamanan jaringan untuk kumpulan Konfigurasi Cloud Services

Subnet harus mengizinkan komunikasi masuk dari layanan Batch untuk dapat menjadwalkan tugas pada simpul komputasi, dan harus memungkinkan komunikasi keluar untuk berkomunikasi dengan Azure Storage atau sumber daya lainnya.

Anda tidak perlu menentukan NSG, karena Batch mengonfigurasi komunikasi masuk hanya dari alamat IP Batch ke simpul kumpulan. Namun, jika subnet yang ditentukan memiliki NSG dan/atau firewall terkait, konfigurasikan aturan keamanan masuk dan keluar seperti yang ditunjukkan pada tabel berikut. Jika komunikasi ke node komputasi di subnet yang ditentukan ditolak oleh NSG, layanan Batch menyetel status node komputasi ke tidak dapat digunakan.

Konfigurasikan lalu lintas masuk pada port 3389 untuk Windows jika Anda perlu mengizinkan akses RDP ke kumpulan node. Aturan ini tidak diperlukan agar simpul kumpulan dapat digunakan.

Aturan keamanan masuk

Alamat IP sumber Port sumber Tujuan Port tujuan Protokol Perbuatan
Apa pun

Meskipun aturan ini secara efektif memerlukan izin semua, layanan Batch menerapkan aturan ACL pada tingkat setiap simpul yang memfilter semua alamat IP layanan non-Batch.		 * Mana pun 10100, 20100, 30100 TCP Bolehkan
Opsional, untuk mengizinkan akses RDP ke node komputasi. * Mana pun 3389 TCP Bolehkan

Aturan keamanan keluar

Sumber Port sumber Tujuan Port tujuan Protokol Perbuatan
Apa pun * Apa pun 443 Apa pun Bolehkan

Membuat kumpulan dengan Virtual Network di portal Azure

Setelah membuat Virtual Network dan menetapkan subnet ke dalamnya, Anda dapat membuat kumpulan Batch dengan Virtual Network tersebut. Ikuti langkah-langkah berikut untuk membuat kumpulan dari portal Azure:

  1. Cari dan pilih Akun batch di bilah pencarian di bagian atas portal Azure. Pilih akun Batch Anda. Akun ini harus berada di langganan dan wilayah yang sama dengan grup sumber daya yang berisi Virtual Network yang ingin Anda gunakan.

  2. Pilih Kumpulan dari navigasi kiri.

  3. Pada jendela Kumpulan , pilih Tambahkan.

    Screenshot of the Pools page in a Batch account that highlights the Pools option in the left side navigation and add button on the Pools page.

  4. Pada halaman Tambahkan Kumpulan , pilih opsi dan masukkan informasi untuk kumpulan Anda. Untuk informasi selengkapnya tentang membuat kumpulan untuk akun Batch Anda, lihat Membuat kumpulan simpul komputasi. Ukuran node, Node khusus target, dan node Target Spot/berprioritas rendah, dan pengaturan opsional yang diinginkan.

  5. Di Virtual Network, pilih jaringan virtual dan subnet yang ingin Anda gunakan.

  6. Pilih Oke untuk membuat kumpulan Anda.

Penting

Jika Anda mencoba menghapus subnet yang sedang digunakan oleh kumpulan, Anda akan mendapatkan pesan kesalahan. Semua kumpulan yang menggunakan subnet harus dihapus sebelum Anda menghapus subnet itu.

Rute yang ditentukan pengguna untuk penerowongan paksa

Anda mungkin memiliki persyaratan di organisasi Anda untuk mengalihkan (memaksa) lalu lintas yang terikat internet dari subnet kembali ke lokasi lokal Anda untuk pemeriksaan dan pengelogan. Selain itu, Anda mungkin telah mengaktifkan penerowongan paksa untuk subnet di Virtual Network Anda.

Untuk memastikan bahwa simpul di kumpulan Anda berfungsi di Virtual Network yang telah mengaktifkan penerowongan paksa, Anda harus menambahkan rute yang ditentukan pengguna (UDR) berikut untuk subnet tersebut.

Untuk kumpulan mode komunikasi klasik:

  • Layanan Batch perlu berkomunikasi dengan simpul untuk menjadwalkan tugas. Untuk mengaktifkan komunikasi ini, tambahkan UDR yang sesuai dengan BatchNodeManagement.tag layanan wilayahdi wilayah tempat akun Batch Anda berada. Atur Jenis hop berikutnya ke Internet.

  • Pastikan jaringan lokal Anda tidak memblokir lalu lintas TCP keluar ke Azure Storage pada port tujuan 443 (khususnya, URL formulir *.table.core.windows.net, , *.queue.core.windows.netdan *.blob.core.windows.net).

Untuk kumpulan mode komunikasi yang disederhanakan tanpa menggunakan titik akhir privat manajemen simpul:

  • Pastikan jaringan lokal Anda tidak memblokir lalu lintas TCP/UDP keluar ke Azure Batch BatchNodeManagement.tag layanan wilayah pada port tujuan 443. Saat ini hanya protokol TCP yang digunakan, tetapi UDP mungkin diperlukan untuk kompatibilitas di masa mendatang.

Untuk semua kumpulan:

  • Jika Anda menggunakan pemasangan file virtual, tinjau persyaratan jaringan, dan pastikan bahwa tidak ada lalu lintas yang diperlukan yang diblokir.

Peringatan

Alamat IP layanan Batch dapat berubah seiring waktu. Untuk mencegah pemadaman karena perubahan alamat IP layanan Batch, jangan langsung menentukan alamat IP. Sebagai gantinya, gunakan BatchNodeManagement.tag layanan wilayah.

Langkah berikutnya