Mempertahankan output pekerjaan dan tugas

Tugas yang berjalan di Azure Batch dapat menghasilkan data output saat dijalankan. Data output tugas sering kali perlu disimpan untuk diambil oleh tugas lain dalam pekerjaan, aplikasi klien yang menjalankan pekerjaan, atau keduanya. Tugas menulis data output ke sistem file dari simpul komputasi Batch, tetapi semua data pada simpul akan hilang ketika di-image ulang atau ketika simpul keluar dari kumpulan. Tugas mungkin juga memiliki periode retensi file, setelah file yang dibuat oleh tugas dihapus. Untuk alasan ini, penting untuk mempertahankan output tugas yang akan Anda perlukan nanti ke penyimpanan data seperti Azure Storage.

Untuk opsi akun penyimpanan di Batch, lihat Akun batch dan akun Azure Storage.

Beberapa contoh umum output tugas meliputi:

  • File yang dibuat saat tugas memproses data input.
  • File log yang terkait dengan eksekusi tugas.

Artikel ini menjelaskan berbagai opsi untuk mempertahankan data output. Anda dapat mempertahankan data output dari tugas dan pekerjaan Batch ke Azure Storage, atau penyimpanan lainnya.

Opsi untuk mempertahankan output

Ada beberapa cara untuk mempertahankan data output. Pilih metode terbaik untuk skenario Anda:

API layanan Batch

Anda dapat menggunakan API layanan Batch untuk mempertahankan data output. Tentukan file output di Azure Storage untuk data tugas saat Anda menambahkan tugas ke pekerjaan atau menambahkan kumpulan tugas ke pekerjaan.

Untuk informasi selengkapnya, lihat Menyimpan data tugas ke Azure Storage dengan API layanan Batch.

Pustaka Konvensi Berkas Batch

Standar Konvensi File Batch adalah serangkaian konvensi opsional untuk penamaan file output tugas di Azure Storage. Standar ini menyediakan konvensi penamaan untuk kontainer tujuan file dan jalur blob, berdasarkan nama pekerjaan dan tugas.

Ini opsional untuk menggunakan standar Konvensi File untuk memberi nama file data output Anda. Anda dapat memilih untuk memberi nama kontainer tujuan dan jalur blob sebagai gantinya. Jika Anda menggunakan standar Konvensi File, maka Anda dapat melihat file output Anda di portal Microsoft Azure.

Jika Anda membangun solusi Batch dengan C# dan .NET, Anda dapat menggunakan pustaka Konvensi File Batch untuk .NET. Pustaka memindahkan file output ke Azure Storage, dan memberi nama kontainer dan blob tujuan sesuai dengan standar Konvensi File Batch.

Untuk informasi selengkapnya, lihat Menyimpan data pekerjaan dan tugas ke Azure Storage dengan pustaka Batch File Conventions untuk .NET.

Konvensi Standar File Batch

Jika Anda menggunakan bahasa selain .NET, Anda dapat menerapkan standar Konvensi File Batch di aplikasi Anda sendiri. Gunakan pendekatan ini ketika:

Solusi pergerakan file kustom

Anda juga dapat menerapkan solusi pemindahan file lengkap Anda sendiri. Gunakan pendekatan ini ketika:

  • Anda ingin mempertahankan data tugas ke penyimpanan data selain Azure Storage. Misalnya, Anda ingin mengunggah file ke penyimpanan data seperti Azure SQL atau Azure DataLake. Buat skrip kustom atau dapat dieksekusi untuk diunggah ke lokasi tersebut. Kemudian, panggil skrip kustom atau executable pada baris perintah setelah menjalankan executable utama Anda. Misalnya, pada simpul Windows, panggil doMyWork.exe && uploadMyFilesToSql.exe.
  • Anda ingin melakukan checkpointing atau unggahan awal hasil.
  • Anda ingin mempertahankan kontrol terperinci atas penanganan kesalahan. Misalnya, Anda ingin menggunakan tindakan dependensi tugas untuk mengambil tindakan pengunggahan tertentu berdasarkan kode keluar tugas tertentu.

Pertimbangan desain

Saat Anda merancang solusi Batch Anda, pertimbangkan faktor-faktor berikut.

Simpul komputasi sering bersifat sementara, terutama di kumpulan Batch yang mengaktifkan penskalaan otomatis. Anda hanya dapat melihat output dari tugas:

  • Selama simpul tempat tugas berjalan ada.
  • Selama periode retensi file yang Anda tetapkan untuk tugas tersebut.

Saat Anda melihat tugas Batch di portal Microsoft Azure, dan memilih File pada simpul, Anda melihat semua file untuk tugas tersebut, bukan hanya file output. Untuk mengambil output tugas langsung dari simpul komputasi di kumpulan Anda, Anda memerlukan nama file dan lokasi outputnya pada simpul.

Jika Anda ingin menyimpan data output tugas lebih lama, konfigurasikan tugas untuk mengunggah file outputnya ke penyimpanan data. Disarankan untuk menggunakan penyimpanan Azure sebagai penyimpanan data. Ada integrasi untuk menulis data output tugas ke Azure Storage di API layanan Batch. Anda dapat menggunakan opsi penyimpanan tahan lama lainnya untuk menyimpan data Anda. Namun, Anda perlu menulis logika aplikasi untuk opsi penyimpanan lain sendiri.

Untuk melihat data output Anda di Azure Storage, gunakan portal Microsoft Azure atau aplikasi klien Azure Storage, seperti Azure Storage Explorer. Perhatikan lokasi file output Anda, dan buka lokasi tersebut secara langsung.

Langkah berikutnya

Proyek Contoh PersistOutputs

  • Last updated on