Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Gunakan Azure Batch untuk menjalankan tugas batch komputasi paralel dan kinerja tinggi (HPC) skala besar secara efisien di Azure. Azure Batch membuat dan mengelola kumpulan simpul komputasi (komputer virtual), menginstal aplikasi yang ingin Anda jalankan, dan menjadwalkan pekerjaan untuk berjalan pada simpul. Tidak ada perangkat lunak kluster atau penjadwal pekerjaan untuk menginstal, mengelola, atau menskalakan. Sebagai gantinya, gunakanBatch API dan alat, skrip baris perintah, atau portal Microsoft Azure untuk mengkonfigurasi, mengelola, dan memantau pekerjaan Anda.
Pengembang dapat menggunakan Batch sebagai layanan platform untuk membangun aplikasi SaaS atau aplikasi klien di mana eksekusi skala besar diperlukan. Misalnya, Anda dapat membangun layanan dengan Batch untuk menjalankan simulasi risiko Monte Carlo untuk perusahaan jasa keuangan, atau layanan untuk memproses banyak gambar.
Tidak ada biaya tambahan untuk menggunakan Batch. Anda hanya membayar sumber daya yang mendasar yang digunakan, seperti komputer virtual, penyimpanan, dan jaringan.
Untuk perbandingan antara Batch dan opsi solusi HPC lainnya di Azure, lihat Komputasi Kinerja Tinggi (HPC) di Azure.
Pilih layanan Azure untuk beban kerja batch dan HPC
Pilih layanan berdasarkan pengalaman penjadwalan dan tingkat kontrol infrastruktur yang dibutuhkan beban kerja Anda:
| Service | Paling pas | Model operasi |
|---|---|---|
| Azure Batch | Beban kerja paralel dan beban kerja dengan throughput tinggi yang dapat dijalankan sebagai tugas yang berdiri sendiri atau pekerjaan yang terkopel erat | Azure menyediakan penjadwalan sebagai layanan. Anda mengembangkan menggunakan API dan alat Batch tanpa harus mengoperasikan perangkat lunak klaster atau penjadwal. |
| Azure CycleCloud | Lingkungan HPC yang memerlukan penjadwal khusus, topologi klaster khusus, atau penyelarasan yang dekat dengan alur kerja on-premises yang sudah ada | Anda menerapkan dan mengelola konfigurasi penjadwal dan klaster. CycleCloud menyiapkan dan menskalakan secara otomatis infrastruktur Azure. |
| Azure CycleCloud Workspace for Slurm | Tim yang menginginkan lingkungan Slurm siap diterapkan untuk beban kerja HPC atau AI | Solusi Marketplace menerapkan komponen CycleCloud, Slurm, jaringan, penyimpanan, dan akses dalam langganan Azure Anda. |
Gunakan beban kerja Anda saat ini sebagai faktor penentu:
| Titik awal | Lebih suka | Mengapa |
|---|---|---|
| Anda sedang membangun aplikasi yang dapat mengirimkan tugas independen atau pekerjaan MPI melalui API. | Azure Batch | Batch menyediakan layanan penjadwalan, sehingga tim Anda memiliki aplikasi beban kerja, bukan infrastruktur penjadwal. |
| Anda sudah memiliki skrip pekerjaan khusus penjadwal, antrean, kebijakan, atau integrasi yang harus tetap ada. | Azure CycleCloud | Memindahkan alur kerja tersebut ke Batch akan mengharuskan alur kerja itu dikonversi menjadi pool, pekerjaan, dan tugas Batch. CycleCloud mempertahankan model operasi penjadwal. |
| Anda membutuhkan Slurm tetapi tidak ingin merancang infrastruktur Azure pendukung dari komponen individual. | Ruang Kerja Azure CycleCloud untuk Slurm | Solusi Marketplace menyediakan lingkungan Slurm yang telah ditentukan sebelumnya yang dapat Anda konfigurasikan setelah penerapan. |
Jangan memilih Batch hanya untuk menghindari pengelolaan mesin virtual. Jika kompatibilitas penjadwal menjadi keharusan, menerjemahkan alur kerja penjadwal yang sudah ada ke dalam model pemrograman Batch dapat menjadi desain ulang aplikasi. Pilih CycleCloud atau Workspace untuk Slurm sebagai gantinya.
Sebelum implementasi produksi, catat mengapa Batch cocok, alternatif mana yang Anda tolak, perkiraan tugas puncak dan kapasitas, perilaku pemulihan untuk pekerjaan yang terganggu, serta waktu dan biaya yang dibenchmark per pekerjaan representatif. Untuk perencanaan kapasitas dan cadangan, lihat Rencanakan kapasitas batch. Untuk CycleCloud, lihat Rencanakan dan ukuran klaster HPC.
Jalankan beban kerja paralel
Batch bekerja dengan baik dengan beban kerja paralel intrinsik (juga dikenal sebagai beban kerja "paralel memalukan"). Beban kerja ini memiliki aplikasi yang dapat berjalan secara independen, dengan setiap instance menyelesaikan bagian dari pekerjaan tersebut. Ketika aplikasi dijalankan, akan mengakses beberapa data umum, tetapi tidak berkomunikasi dengan instans aplikasi lain. Oleh karena itu beban kerja paralel intrinsik dapat berjalan dalam skala besar, ditentukan oleh jumlah sumber daya komputasi yang tersedia untuk menjalankan aplikasi secara bersamaan.
Beberapa contoh beban kerja paralel intrinsik yang dapat Anda bawa ke Batch:
- Pemodelan risiko keuangan menggunakan simulasi Monte Carlo
- Penyajian gambar VFX dan 3D
- Analisis dan pemrosesan gambar
- Transkodifikasi media
- Analisis urutan genetik
- Pengenalan Karakter Optik (OCR)
- Penyerapan data, pemrosesan, dan operasi ETL
- Eksekusi uji perangkat lunak
Anda juga dapat menggunakan Batch untuk menjalankan beban kerja yang terhubung erat, di mana aplikasi yang Anda jalankan perlu berkomunikasi satu sama lain, daripada berjalan secara mandiri. Aplikasi yang digabungkan dengan ketat biasanya menggunakan API Message Passing Interface (MPI). Anda dapat menjalankan beban kerja yang terkopel erat di Batch dengan menggunakan Microsoft MPI atau Intel MPI. Tingkatkan kinerja aplikasi denganHPC khususdan ukuran komputer virtual yang dioptimalkanuntuk GPU.
Beberapa contoh beban kerja yang digabungkan dengan ketat:
- Analisis elemen terbatas
- Dinamika Fluida
- Pelatihan AI multi-node
Banyak pekerjaan yang digabungkan erat dapat dijalankan secara paralel menggunakan Batch. Misalnya, lakukan beberapa simulasi cairan yang mengalir melalui pipa dengan lebar pipa yang bervariasi.
Kapabilitas Batch tambahan
Batch mendukung beban kerja penyajian berskala besar dengan alat penyajian termasuk Autodesk Maya, 3ds Max, Arnold, dan V-Ray.
Anda dapat menjalankan pekerjaan Batch sebagai bagian dari alur kerja Azure yang lebih besar untuk mengubah data, dikelola oleh alat seperti Azure Data Factory.
Cara kerjanya
Skenario umum untuk Batch melibatkan penskalaan pekerjaan paralel intrinsik, seperti penyajian gambar untuk adegan 3D, pada kumpulan simpul komputasi. Kolam ini dapat menjadi "render farm" Anda yang menyediakan puluhan, ratusan, atau bahkan ribuan inti untuk pekerjaan render Anda.
Diagram berikut menunjukkan langkah-langkah dalam alur kerja Batch umum, dengan aplikasi klien atau layanan yang dihosting menggunakan Batch untuk menjalankan beban kerja paralel.
| Langkah | Deskripsi |
|---|---|
| 1. Unggah input filedan aplikasi untuk memproses file tersebut ke akun Azure Storage Anda. | File masukan dapat berupa data apa pun yang diolah oleh aplikasi Anda, seperti data pemodelan keuangan, atau file video yang akan ditranskodekan. File aplikasi dapat mencakup skrip atau aplikasi yang memproses data, seperti transcoder media. |
| 2. Buat pool simpul komputasi di akun Batch Anda, job untuk menjalankan beban kerja pada pool tersebut, dan task di dalam job. |
Simpul komputasi merupakan komputer virtual yang menjalankan tugas Anda. Tentukan properti untuk kumpulan Anda, seperti jumlah dan ukuran simpul, gambar komputer virtual Windows atau Linux, dan aplikasi untuk diinstal ketika simpul bergabung dengan kumpulan. Kelola biaya dan ukuran kumpulan dengan menggunakan mesin virtual Azure Spot atau dengan menskalakan secara otomatis jumlah node saat beban kerja berubah. Saat Anda menambahkan tugas ke pekerjaan, layanan Batch secara otomatis menjadwalkan tugas untuk eksekusi pada simpul komputasi di dalam kumpulan. Setiap tugas menggunakan aplikasi yang Anda unggah untuk memproses file input. |
| 3. Unduh input file dan aplikasi ke Batch | Sebelum setiap tugas dijalankan, ia dapat mengunduh data input yang diprosesnya ke simpul yang ditetapkan. Jika aplikasi belum diinstal pada simpul kumpulan, aplikasi dapat diunduh di sini sebagai gantinya. Ketika unduhan dari Azure Storage selesai, tugas dijalankan pada simpul yang ditetapkan. |
| 4. Memantau eksekusi tugas | Saat tugas berjalan, jalankan kueri Batch untuk memantau kemajuan pekerjaan dan tugas-tugasnya. Aplikasi atau layanan klien Anda berkomunikasi dengan layanan Batch melalui HTTPS. Karena Anda mungkin memantau ribuan tugas yang berjalan pada ribuan simpul komputasi, pastikan untuk mengkueri layanan Batch secara efisien. |
| 5. Unggah hasil tugas | Setelah tugas selesai, mereka dapat mengunggah data hasilnya ke Azure Storage. Anda juga dapat mengambil file langsung dari sistem file pada simpul komputasi. |
| 6. Unduh file keluaran | Ketika pemantauan Anda mendeteksi bahwa tugas dalam pekerjaan Anda telah selesai, aplikasi atau layanan klien Anda dapat mengunduh data {i>output |
Perlu diingat bahwa alur kerja sebelumnya hanyalah salah satu cara untuk menggunakan Batch, dan ada banyak fitur dan opsi lainnya. Misalnya, Anda dapat menjalankan beberapa tugas secara paralel pada setiap simpul komputasi. Atau Anda dapat menggunakan tugas persiapan dan penyelesaian pekerjaan untuk menyiapkan simpul untuk pekerjaan Anda, lalu membersihkan setelahnya.
LihatAlur kerja dan sumber daya layanan Batchuntuk gambaran umum fitur seperti kumpulan, simpul, pekerjaan, dan tugas. Lihat juga pembaruanLayanan Batch terbaru.
Residensi data di dalam wilayah
Azure Batch tidak memindahkan atau menyimpan data pelanggan di luar wilayah tempat data tersebut disebarkan.
Langkah berikutnya
Mulai menggunakan Azure Batch dengan salah satu panduan singkat berikut:
- Jalankan pekerjaan Batch pertama Anda dengan Azure CLI
- Jalankan pekerjaan Batch pertama Anda dengan portal Microsoft Azure
- Jalankan pekerjaan Batch pertama Anda menggunakan .NET API
- Jalankan pekerjaan Batch pertama Anda menggunakan Python API
- Membuat akun Batch menggunakan templat ARM
Untuk melanjutkan, lihat tutorial berikut untuk skenario menyeluruh: