Opsi penyimpanan dan pergerakan data untuk penyajian aset dan file output

Ada beberapa opsi untuk membuat file adegan dan aset tersedia bagi aplikasi perenderan pada VM kumpulan.

• Azure Blob Storage:
  • File skena dan aset diunggah ke penyimpanan blob dari sistem file lokal. Ketika aplikasi dijalankan oleh tugas, maka file yang diperlukan disalin dari penyimpanan blob ke VM sehingga dapat diakses oleh aplikasi penyajian. File output ditulis oleh aplikasi penyajian ke diska VM dan kemudian disalin ke penyimpanan blob. Jika diperlukan, file output dapat diunduh dari penyimpanan blob ke sistem file lokal.
  • Azure Blob Storage adalah opsi sederhana dan hemat biaya untuk proyek yang lebih kecil. Karena semua file aset diperlukan pada setiap VM kumpulan, maka setelah jumlah dan ukuran file aset meningkat, penting untuk memastikan transfer file seefisien mungkin.
• Penyimpanan Azure sebagai sistem file menggunakan blobfuse:
  • Untuk VM Linux, akun penyimpanan dapat diekspos dan digunakan sebagai sistem file ketika driver sistem file virtual blobfuse digunakan.
  • Opsi ini memiliki keuntungan karena hemat biaya, karena tidak diperlukan VM untuk sistem file, ditambah penembolokan blobfuse pada VM dapat menghindari unduhan berulang dari file yang sama untuk beberapa pekerjaan dan tugas. Pergerakan data juga sederhana karena file hanya berupa blob dan API standar dan alat, seperti azcopy, dapat digunakan untuk menyalin file antara sistem file lokal dengan penyimpanan Azure.
• Sistem file atau berbagi file:
  • Tergantung pada sistem operasi VM dan persyaratan performa/skala, maka opsi termasuk Azure Files, menggunakan VM dengan diska terlampir untuk NFS, menggunakan beberapa VM dengan diska terlampir untuk sistem file terdistribusi seperti GlusterFS, atau menggunakan penawaran pihak ketiga.
  • Avere Systems sekarang menjadi bagian dari Microsoft dan akan segera memiliki solusi yang ideal untuk penyajian berskala besar dengan performa tinggi. Solusi Avere memungkinkan cache NFS atau SMB berbasis Azure dibuat yang berfungsi dengan penyimpanan blob atau dengan perangkat NAS lokal.
  • Dengan sistem file, file dapat dibaca atau ditulis langsung ke sistem file atau dapat disalin antara sistem file dan VM kumpulan.
  • Sistem file bersama memungkinkan sejumlah besar aset yang dibagikan antara proyek dan pekerjaan untuk digunakan, dengan tugas penyajian hanya mengakses apa yang diperlukan.

Menggunakan Azure Blob Storage

Akun penyimpanan blob atau akun penyimpanan v2 tujuan umum harus digunakan. Kedua jenis akun penyimpanan ini dapat dikonfigurasi dengan batas yang lebih tinggi dibandingkan dengan akun penyimpanan v1 tujuan umum, sebagaimana dirinci dalam posting blog ini. Ketika dikonfigurasi, batas yang lebih tinggi memungkinkan performa dan skalabilitas yang lebih baik, terutama ketika ada banyak VM kumpulan yang mengakses akun penyimpanan.

Menyalin file antara klien dan penyimpanan blob

Untuk menyalin file ke dan dari penyimpanan Azure, berbagai mekanisme dapat digunakan termasuk API blob penyimpanan, Pustaka Pergerakan Data Microsoft Azure Storage, alat baris perintah azcopy untuk Windows atau Linux, Azure Storage Explorer,dan Azure Batch Explorer.

Misalnya, menggunakan azcopy, semua aset dalam folder dapat ditransfer sebagai berikut:

azcopy /source:. /dest:https://account.blob.core.windows.net/rendering/project /destsas:"?st=2018-03-30T16%3A26%3A00Z&se=2020-03-31T16%3A26%3A00Z&sp=rwdl&sv=2017-04-17&sr=c&sig=sig" /Y

Untuk menyalin hanya file yang diubah, parameter /XO dapat digunakan:

azcopy /source:. /dest:https://account.blob.core.windows.net/rendering/project /destsas:"?st=2018-03-30T16%3A26%3A00Z&se=2020-03-31T16%3A26%3A00Z&sp=rwdl&sv=2017-04-17&sr=c&sig=sig" /XO /Y

Menyalin file aset masukan dari penyimpanan blob ke dalam mesin virtual kumpulan Batch

Ada beberapa pendekatan berbeda untuk menyalin file dengan pendekatan terbaik yang ditentukan oleh ukuran aset pekerjaan. Pendekatan paling sederhana adalah menyalin semua file aset ke kumpulan VM untuk setiap pekerjaan:

• Ketika ada file yang unik untuk pekerjaan, tetapi diperlukan untuk semua tugas pekerjaan, maka tugas persiapan pekerjaan dapat ditentukan untuk menyalin semua file. Tugas persiapan pekerjaan dijalankan sekali ketika tugas pekerjaan pertama dijalankan pada VM tetapi tidak dijalankan lagi untuk tugas pekerjaan berikutnya.
• Jika tugas pelepasan pekerjaan perlu ditentukan untuk menghapus file per pekerjaan setelah pekerjaan selesai; ini akan menghindari disk VM diisi oleh semua file aset pekerjaan.
• Ketika ada beberapa pekerjaan menggunakan aset yang sama, dengan hanya perubahan inkremental pada aset untuk setiap pekerjaan, maka semua file aset masih disalin, bahkan jika hanya subset yang diperbarui. Ini akan menjadi tidak efisien ketika ada banyak file aset besar.

Ketika file aset digunakan kembali di antara pekerjaan, dengan hanya perubahan bertambah bertahap antara pekerjaan, maka pendekatan yang lebih efisien tetapi sedikit lebih terlibat adalah menyimpan aset di folder bersama pada VM dan menyinkronkan file yang diubah.

• Tugas persiapan pekerjaan akan melakukan salinan menggunakan azcopy dengan parameter /XO ke folder bersama VM yang ditentukan oleh variabel lingkungan AZ_BATCH_NODE_SHARED_DIR. Ini hanya akan menyalin file yang diubah ke setiap VM.
• Perlu dipertimbangkan ukuran semua aset untuk memastikan aset tersebut akan sesuai dengan drive sementara pada VM di pool.

Azure Batch memiliki dukungan bawaan untuk menyalin file antara akun penyimpanan dan VM kumpulan Batch. File sumber daya tugas menyalin file dari penyimpanan ke kumpulan VM dan dapat ditentukan untuk tugas persiapan pekerjaan. Sayangnya, ketika ada ratusan file, sering kali batas kapasitas tercapai dan tugas pun gagal. Ketika ada sejumlah besar aset, disarankan untuk menggunakan perintah azcopy di baris perintah dalam tugas persiapan pekerjaan, yang dapat menggunakan wildcard dan tidak memiliki batas.

Menyalin file output dari VM kumpulan Batch ke penyimpanan blob

File output dapat digunakan menyalin file dari VM kumpulan ke penyimpanan. Satu atau beberapa file dapat disalin dari VM ke akun penyimpanan tertentu secepatnya setelah tugas itu selesai. Output yang disajikan harus disalin, tetapi mungkin juga diperlukan untuk menyimpan file log.

Menggunakan sistem file virtual blobfuse untuk pool VM Linux

Blobfuse adalah driver sistem file virtual untuk Azure Blob Storage, yang memungkinkan Anda untuk mengakses file yang disimpan sebagai blob di akun Penyimpanan melalui sistem file Linux.

Simpul kumpulan dapat memasang sistem file saat dimulai atau pemasangan dapat terjadi sebagai bagian dari tugas persiapan pekerjaan - tugas yang hanya dijalankan ketika tugas pertama dalam pekerjaan dilaksanakan pada sebuah simpul. Blobfuse dapat dikonfigurasi untuk memanfaatkan ramdisk dan SSD lokal VM untuk penyimpanan sementara file, yang akan meningkatkan performa secara signifikan jika beberapa tugas pada sebuah node mengakses beberapa file yang sama.

Contoh templat tersedia untuk menjalankan penyajian V-Ray mandiri menggunakan sistem file blobfuse dan dapat digunakan sebagai dasar templat untuk aplikasi lain.

Mengakses file

Tugas pekerjaan menentukan jalur untuk file input dan file output menggunakan sistem file yang dipasang.

Menyalin file aset masukan dari penyimpanan blob ke dalam mesin virtual kumpulan Batch

Karena file hanya berupa blob di Microsoft Azure Storage, maka API blob standar, alat, dan UIs dapat digunakan untuk menyalin file antara sistem file lokal dan penyimpanan blob; misalnya, azcopy, Storage Explorer, Batch Explorer, dll.

Menggunakan Azure Files dengan Windows VM

Azure Files menawarkan berbagi file yang dikelola sepenuhnya di cloud yang dapat diakses melalui protokol SMB. Azure Files didasarkan pada Azure Blob Storage; hemat biaya dan dapat dikonfigurasi dengan replikasi data ke wilayah lain sehingga memiliki redundansi global. Target skala harus ditinjau untuk menentukan apakah Azure Files harus digunakan berdasarkan ukuran perkiraan kumpulan dan jumlah file aset.

Ada dokumentasi yang mencakup cara memasang berkas berbagi file Azure.

Memasang berbagi Azure Files

Untuk digunakan dalam Batch, operasi pemasangan perlu dilakukan setiap kali tugas dijalankan karena tidak dimungkinkan untuk mempertahankan koneksi antar tugas. Cara termudah untuk melakukannya adalah dengan menggunakan cmdkey untuk menyimpan kredensial menggunakan tugas awal dalam konfigurasi kumpulan, kemudian memasang jaringan berbagi sebelum setiap tugas.

Contoh penggunaan cmdkey dalam templat kumpulan (dilepas untuk digunakan dalam file JSON) - perhatikan bahwa saat memisahkan pemanggilan cmdkey dari pemanggilan net use, konteks pengguna untuk tugas awal harus sama dengan yang digunakan untuk menjalankan tugas-tugas:

"startTask": {
  "commandLine": "cmdkey /add:storageaccountname.file.core.windows.net
    /user:AZURE\\markscuscusbatch /pass:storage_account_key",
  "userIdentity":{
    "autoUser": {
      "elevationLevel": "nonadmin",
      "scope": "pool"
    }
}

Contoh baris perintah tugas pekerjaan:

"commandLine":"net use S:
  \\\\storageaccountname.file.core.windows.net\\rendering &
3dsmaxcmdio.exe -v:5 -rfw:0 -10 -end:10
  -bitmapPath:\"s:\\3dsMax\\Dragon\\Assets\"
  -outputName:\"s:\\3dsMax\\Dragon\\RenderOutput\\dragon.jpg\"
  -w:1280 -h:720
  \"s:\\3dsMax\\Dragon\\Assets\\Dragon_Character_Rig.max\""

Mengakses file

Tugas pekerjaan menentukan jalur untuk file input dan file output menggunakan sistem file yang dipasang, baik menggunakan drive yang dipetakan atau jalur UNC.

Menyalin file aset masukan dari penyimpanan blob ke dalam mesin virtual kumpulan Batch

Azure Files didukung oleh semua API dan alat utama yang memiliki dukungan Azure Storage; misalnya azcopy, Azure CLI, Storage Explorer, Azure PowerShell, Batch Explorer, dll.

Sinkronisasi File Azure tersedia untuk menyinkronkan file secara otomatis antara sistem file lokal dan berbagi File Azure.

Langkah berikutnya

Untuk informasi selengkapnya tentang opsi penyimpanan, lihat dokumentasi mendalam:

• Penyimpanan Blob Azure
• Blobfuse
• Azure Files