Apa yang dimaksud dengan Azure Batch?

Gunakan Azure Batch untuk menjalankan tugas batch komputasi paralel dan kinerja tinggi (HPC) skala besar secara efisien di Azure. Azure Batch membuat dan mengelola kumpulan simpul komputasi (komputer virtual), menginstal aplikasi yang ingin Anda jalankan, dan menjadwalkan pekerjaan untuk berjalan pada simpul. Tidak ada perangkat lunak kluster atau penjadwal pekerjaan untuk menginstal, mengelola, atau menskalakan. Sebagai gantinya, gunakanBatch API dan alat, skrip baris perintah, atau portal Microsoft Azure untuk mengkonfigurasi, mengelola, dan memantau pekerjaan Anda.

Pengembang dapat menggunakan Batch sebagai layanan platform untuk membangun aplikasi SaaS atau aplikasi klien di mana eksekusi skala besar diperlukan. Misalnya, Anda dapat membangun layanan dengan Batch untuk menjalankan simulasi risiko Monte Carlo untuk perusahaan jasa keuangan, atau layanan untuk memproses banyak gambar.

Tidak ada biaya tambahan untuk menggunakan Batch. Anda hanya membayar sumber daya yang mendasar yang digunakan, seperti komputer virtual, penyimpanan, dan jaringan.

Untuk perbandingan antara Batch dan opsi solusi HPC lainnya di Azure, lihat Komputasi Kinerja Tinggi (HPC) di Azure.

Jalankan beban kerja paralel

Batch bekerja dengan baik dengan beban kerja paralel intrinsik (juga dikenal sebagai beban kerja "paralel memalukan"). Beban kerja ini memiliki aplikasi yang dapat berjalan secara independen, dengan setiap instance menyelesaikan bagian dari pekerjaan tersebut. Ketika aplikasi dijalankan, akan mengakses beberapa data umum, tetapi tidak berkomunikasi dengan instans aplikasi lain. Oleh karena itu beban kerja paralel intrinsik dapat berjalan dalam skala besar, ditentukan oleh jumlah sumber daya komputasi yang tersedia untuk menjalankan aplikasi secara bersamaan.

Beberapa contoh beban kerja paralel intrinsik yang dapat Anda bawa ke Batch:

  • Pemodelan risiko keuangan menggunakan simulasi Monte Carlo
  • Penyajian gambar VFX dan 3D
  • Analisis dan pemrosesan gambar
  • Transkodifikasi media
  • Analisis urutan genetik
  • Pengenalan Karakter Optik (OCR)
  • Penyerapan data, pemrosesan, dan operasi ETL
  • Eksekusi uji perangkat lunak

Anda juga dapat menggunakan Batch untuk menjalankan beban kerja yang terhubung erat, di mana aplikasi yang Anda jalankan perlu berkomunikasi satu sama lain, daripada berjalan secara mandiri. Aplikasi yang digabungkan dengan ketat biasanya menggunakan API Message Passing Interface (MPI). Anda dapat menjalankan beban kerja yang terkopel erat di Batch dengan menggunakan Microsoft MPI atau Intel MPI. Tingkatkan kinerja aplikasi denganHPC khususdan ukuran komputer virtual yang dioptimalkanuntuk GPU.

Beberapa contoh beban kerja yang digabungkan dengan ketat:

  • Analisis elemen terbatas
  • Dinamika Fluida
  • Pelatihan AI multi-node

Banyak pekerjaan yang digabungkan erat dapat dijalankan secara paralel menggunakan Batch. Misalnya, lakukan beberapa simulasi cairan yang mengalir melalui pipa dengan lebar pipa yang bervariasi.

Kapabilitas Batch tambahan

Batch mendukung beban kerja penyajian berskala besar dengan alat penyajian termasuk Autodesk Maya, 3ds Max, Arnold, dan V-Ray.

Anda dapat menjalankan pekerjaan Batch sebagai bagian dari alur kerja Azure yang lebih besar untuk mengubah data, dikelola oleh alat seperti Azure Data Factory.

Cara kerjanya

Skenario umum untuk Batch melibatkan penskalaan pekerjaan paralel intrinsik, seperti penyajian gambar untuk adegan 3D, pada kumpulan simpul komputasi. Kolam ini dapat menjadi "render farm" Anda yang menyediakan puluhan, ratusan, atau bahkan ribuan inti untuk pekerjaan render Anda.

Diagram berikut menunjukkan langkah-langkah dalam alur kerja Batch umum, dengan aplikasi klien atau layanan yang dihosting menggunakan Batch untuk menjalankan beban kerja paralel.

Diagram langkah-langkah dalam solusi Batch.

Langkah Deskripsi
1. Unggah input filedan aplikasi untuk memproses file tersebut ke akun Azure Storage Anda. File masukan dapat berupa data apa pun yang diolah oleh aplikasi Anda, seperti data pemodelan keuangan, atau file video yang akan ditranskodekan. File aplikasi dapat mencakup skrip atau aplikasi yang memproses data, seperti transcoder media.
2. Buat pool simpul komputasi di akun Batch Anda, job untuk menjalankan beban kerja pada pool tersebut, dan task di dalam job. Simpul komputasi merupakan komputer virtual yang menjalankan tugas Anda. Tentukan properti untuk kumpulan Anda, seperti jumlah dan ukuran simpul, gambar komputer virtual Windows atau Linux, dan aplikasi untuk diinstal ketika simpul bergabung dengan kumpulan. Kelola biaya dan ukuran kumpulan dengan menggunakan mesin virtual Azure Spot atau dengan menskalakan secara otomatis jumlah node saat beban kerja berubah.

Saat Anda menambahkan tugas ke pekerjaan, layanan Batch secara otomatis menjadwalkan tugas untuk eksekusi pada simpul komputasi di dalam kumpulan. Setiap tugas menggunakan aplikasi yang Anda unggah untuk memproses file input.
3. Unduh input file dan aplikasi ke Batch Sebelum setiap tugas dijalankan, ia dapat mengunduh data input yang diprosesnya ke simpul yang ditetapkan. Jika aplikasi belum diinstal pada simpul kumpulan, aplikasi dapat diunduh di sini sebagai gantinya. Ketika unduhan dari Azure Storage selesai, tugas dijalankan pada simpul yang ditetapkan.
4. Memantau eksekusi tugas Saat tugas berjalan, jalankan kueri Batch untuk memantau kemajuan pekerjaan dan tugas-tugasnya. Aplikasi atau layanan klien Anda berkomunikasi dengan layanan Batch melalui HTTPS. Karena Anda mungkin memantau ribuan tugas yang berjalan pada ribuan simpul komputasi, pastikan untuk mengkueri layanan Batch secara efisien.
5. Unggah hasil tugas Setelah tugas selesai, mereka dapat mengunggah data hasilnya ke Azure Storage. Anda juga dapat mengambil file langsung dari sistem file pada simpul komputasi.
6. Unduh file keluaran Ketika pemantauan Anda mendeteksi bahwa tugas dalam pekerjaan Anda telah selesai, aplikasi atau layanan klien Anda dapat mengunduh data {i>output

Perlu diingat bahwa alur kerja sebelumnya hanyalah salah satu cara untuk menggunakan Batch, dan ada banyak fitur dan opsi lainnya. Misalnya, Anda dapat menjalankan beberapa tugas secara paralel pada setiap simpul komputasi. Atau Anda dapat menggunakan tugas persiapan dan penyelesaian pekerjaan untuk menyiapkan simpul untuk pekerjaan Anda, lalu membersihkan setelahnya.

LihatAlur kerja dan sumber daya layanan Batchuntuk gambaran umum fitur seperti kumpulan, simpul, pekerjaan, dan tugas. Lihat juga pembaruanLayanan Batch terbaru.

Residensi data di dalam wilayah

Azure Batch tidak memindahkan atau menyimpan data pelanggan di luar wilayah tempat data tersebut disebarkan.

Langkah berikutnya

Mulai menggunakan Azure Batch dengan salah satu panduan singkat berikut:

Untuk melanjutkan, lihat tutorial berikut untuk skenario menyeluruh:

  • Last updated on