Edit

Bagikan melalui

Pemodelan berbasis gambar digital di Azure

Azure Blob Storage
Azure Key Vault
Azure Virtual Machines

Perhatian

Artikel ini mereferensikan CentOS, distribusi Linux yang merupakan End Of Life (EOL). Harap pertimbangkan penggunaan dan rencanakan yang sesuai. Untuk informasi selengkapnya, lihat panduan Akhir Masa Pakai CentOS.

Contoh skenario ini menyediakan panduan arsitektur dan desain untuk setiap organisasi yang ingin melakukan pemodelan berbasis gambar pada infrastruktur sebagai layanan (IaaS) Azure. Skenario ini dirancang untuk menjalankan perangkat lunak fotogrametri di mesin virtual (VM) Azure menggunakan penyimpanan berkinerja tinggi yang mempercepat waktu pemrosesan. Lingkungan ini dapat diskalakan ke atas dan ke bawah sesuai kebutuhan dan mendukung penyimpanan hingga terabyte tanpa mengorbankan kinerjanya.

Sistem

Diagram yang memperlihatkan arsitektur untuk melakukan pemodelan berbasis gambar di Azure IaaS.

Unduh file Visio arsitektur ini.

Alur kerja

  1. Pengguna mengirimkan sejumlah gambar ke PhotoScan.
  2. PhotoScan Scheduler berjalan pada VM Windows yang berfungsi sebagai simpul kepala dan mengarahkan pemrosesan gambar pengguna.
  3. PhotoScan mencari titik-titik umum pada foto dan membangun geometri (mesh) menggunakan node pemrosesan PhotoScan yang berjalan pada VM dengan unit pemrosesan grafis (GPU).
  4. Avere vFXT for Azure menyediakan solusi penyimpanan berkinerja tinggi di Azure berdasarkan Network File System versi 3 (NFSv3) dan terdiri dari setidaknya empat VM.
  5. PhotoScan membuat model.

Komponen

  • Agisoft PhotoScan: PhotoScan Scheduler berjalan pada Windows VM Server 2016, dan node pemrosesan menggunakan lima VM dengan GPU yang menjalankan CentOS Linux 7.5.
  • Avere vFXT for Azure adalah solusi penembolokan file yang menggunakan penyimpanan objek dan penyimpanan terpasang jaringan (NAS) tradisional untuk mengoptimalkan penyimpanan himpunan data besar. Ini termasuk:
    • Pengontrol Avere. VM ini menjalankan skrip yang menginstal cluster Avere vFXT dan menjalankan Ubuntu 18.04 LTS. VM dapat digunakan nanti untuk menambah atau menghapus node kluster dan untuk menghancurkan kluster juga.
    • Kluster vFXT. Setidaknya tiga VM digunakan, satu untuk masing-masing node Avere vFXT berdasarkan Avere OS 5.0.2.1. VM ini membentuk kluster vFXT, yang dilampirkan ke penyimpanan Azure Blob.
  • Pengontrol domain Microsoft Active Directory memungkinkan host mengakses sumber daya domain dan memberikan resolusi nama DNS. Avere vFXT menambahkan sejumlah catatan A — misalnya, setiap rekaman A dalam kluster vFXT mengarah ke alamat IP masing-masing node Avere vFXT. Dalam pengaturan ini, semua VM menggunakan pola round-robin untuk mengakses ekspor vFXT.
  • VM lainnya berfungsi sebagai jump box yang digunakan oleh administrator untuk mengakses penjadwal dan memproses node. Jumpbox Windows wajib memungkinkan administrator mengakses simpul kepala melalui protokol desktop jarak jauh. Jumpbox kedua adalah opsional dan menjalankan Linux untuk administrasi node pekerja.
  • Grup keamanan jaringan membatasi akses ke alamat IP publik (PIP) dan mengizinkan port 3389 dan 22 untuk akses ke VM yang dilampirkan ke subnet Jumpbox.
  • Peering jaringan virtual menghubungkan jaringan virtual PhotoScan ke jaringan virtual Avere.
  • Penyimpanan Azure Blob bekerja dengan Avere vFXT sebagai filer inti untuk menyimpan data yang sedang diproses. Avere vFXT mengidentifikasi data aktif yang disimpan di Azure Blob dan tingkatan ke solid-state drive (SSD) yang digunakan untuk penombolokan di node komputasi saat pekerjaan PhotoScan berjalan. Jika perubahan dilakukan, data secara asinkron berkomitmen kembali ke filer inti.
  • Azure Key Vault digunakan untuk menyimpan kata sandi administrator dan kode aktivasi PhotoScan.

Alternatif

  • Untuk memanfaatkan layanan Azure untuk mengelola kluster HPC, gunakan alat seperti Azure CycleCloud atau Azure Batch alih-alih mengelola sumber daya melalui templat atau skrip.
  • Sebarkan sistem file virtual paralel BeeGFS sebagai penyimpanan back-end di Azure, bukan Avere vFXT. Gunakan templat BeeGFS untuk menerapkan solusi end-to-end ini di Azure.
  • Gunakan solusi penyimpanan pilihan Anda, seperti GlusterFS, Lustre, atau Windows Storage Spaces Direct. Untuk melakukan ini, edit template PhotoScan untuk bekerja dengan solusi penyimpanan yang Anda inginkan.
  • Menyebarkan node pekerja dengan sistem operasi Windows bukan Linux, opsi default. Saat Anda menggunakan simpul Windows, opsi integrasi penyimpanan tidak dijalankan oleh templat penyebaran. Anda harus mengintegrasikan lingkungan secara manual dengan solusi penyimpanan yang ada, atau menyesuaikan template PhotoScan untuk menyediakan otomatisasi tersebut, seperti yang dijelaskan dalam repositori.

Detail skenario

Contoh ini menjelaskan penggunaan perangkat lunak fotogrametri Agisoft PhotoScan yang didukung oleh penyimpanan Avere vFXT. PhotoScan dipilih karena popularitasnya dalam aplikasi sistem informasi geografis (GIS), dokumentasi warisan budaya, pengembangan game, dan produksi efek visual. Sangat cocok untuk fotogrametri jarak dekat dan fotogrametri udara.

Konsep dalam artikel ini berlaku untuk setiap beban kerja komputasi kinerja tinggi (HPC) berdasarkan penjadwal dan node pekerja yang dikelola sebagai infrastruktur. Untuk beban kerja ini, Avere vFXT dipilih karena kinerjanya yang unggul selama tes benchmark. Namun, skenario memisahkan penyimpanan dari pemrosesan sehingga solusi penyimpanan lainnya dapat digunakan (lihat alternatif nanti dalam dokumen ini).

Arsitektur ini juga mencakup pengontrol domain Active Directory untuk mengontrol akses ke sumber daya Azure dan memberikan resolusi nama internal melalui Domain Name System (DNS). Jump box menyediakan akses administrator ke Windows dan VM Linux yang menjalankan solusi.

Kemungkinan kasus penggunaan

Kasus penggunaan lain yang relevan meliputi:

  • Pemodelan dan pengukuran bangunan, struktur teknik, dan adegan kecelakaan forensik.
  • Menciptakan efek visual untuk game komputer dan film.
  • Menggunakan gambar digital untuk menghasilkan pengukuran secara tidak langsung objek dari berbagai skala seperti dalam perencanaan kota dan aplikasi lainnya.

Pertimbangan

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat digunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.

Skenario ini dirancang khusus untuk menyediakan penyimpanan berkinerja tinggi untuk beban kerja HPC, baik itu digunakan pada Windows atau Linux. Umumnya, konfigurasi penyimpanan beban kerja HPC harus sesuai dengan praktik terbaik yang sesuai yang digunakan untuk penerapan di tempat.

Pertimbangan penyebaran bergantung pada aplikasi dan layanan yang digunakan, tetapi beberapa catatan berlaku:

  • Saat membuat aplikasi berkinerja tinggi, gunakan Azure Premium Storage dan optimalkan layer aplikasi. Optimalkan penyimpanan untuk akses yang sering menggunakan Azure Blob akses tingkat panas.
  • Gunakan opsi replikasi penyimpanan yang memenuhi persyaratan ketersediaan dan kinerja Anda. Dalam contoh ini, Avere vFXT dikonfigurasi untuk ketersediaan tinggi secara default, dengan penyimpanan redundan lokal (LRS). Untuk penyeimbangan beban, semua VM dalam pengaturan ini menggunakan pola round-robin untuk mengakses ekspor vFXT.
  • Jika penyimpanan backend akan digunakan oleh klien Windows dan klien Linux, gunakan server Samba untuk mendukung simpul Windows. SebuahVersi dari skenario contoh ini berdasarkan BeeGFS menggunakan Samba untuk mendukung simpul penjadwal beban kerja HPC (PhotoScan) yang berjalan pada Windows. Penyeimbang beban digunakan untuk bertindak seperti pengganti cerdas untuk round robin DNS.
  • Jalankan aplikasi HPC menggunakan tipe VM yang paling cocok untuk beban kerja Windows atau Linux Anda.
  • Untuk mengisolasi beban kerja HPC dari sumber daya penyimpanan, sebarkan masing-masing di jaringan virtualnya sendiri, lalu gunakan peering jaringan virtual untuk menghubungkan keduanya. Peering menciptakan latensi rendah, koneksi bandwidth tinggi antara sumber daya di berbagai jaringan virtual dan rute lalu lintas melalui infrastruktur backbone Microsoft melalui alamat IP pribadi saja.

Keamanan

Keamanan memberikan jaminan terhadap serangan yang disukai dan penyalahgunaan data dan sistem berharga Anda. Untuk informasi selengkapnya, lihat Gambaran Umum pilar keamanan.

Contoh ini berfokus pada penerapan solusi penyimpanan berkinerja tinggi untuk beban kerja HPC dan bukan solusi keamanan. Pastikan untuk melibatkan tim keamanan Anda untuk setiap perubahan.

Untuk keamanan tambahan, infrastruktur contoh ini memungkinkan semua VM Windows untuk digabungkan dengan domain dan menggunakan Active Directory untuk autentikasi pusat. Ini juga menyediakan layanan DNS khusus untuk semua VM. Untuk membantu melindungi lingkungan, template ini bergantung pada grup keamanan jaringan. Grup keamanan jaringan menawarkan filter lalu lintas dasar dan aturan keamanan.

Pertimbangkan opsi berikut untuk lebih meningkatkan keamanan dalam skenario ini:

Pengoptimalan biaya

Optimalisasi biaya adalah tentang mencari cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Gambaran umum pilar pengoptimalan biaya.

Biaya menjalankan skenario ini dapat sangat bervariasi tergantung pada beberapa faktor. Jumlah dan ukuran VM, berapa banyak penyimpanan yang diperlukan, dan jumlah waktu untuk menyelesaikan pekerjaan akan menentukan biaya Anda.

Contoh profil biaya berikut dalam kalkulator harga Azure didasarkan pada konfigurasi khas untuk Avere vFXT dan PhotoScan:

  • 1 A1_v2 Ubuntu VM untuk menjalankan pengontrol Avere.
  • 3 D16s_v3 VM Avere OS, satu untuk masing-masing simpul Avere vFXT yang membentuk kluster vFXT.
  • 5 NC24_v2 VM Linux untuk menyediakan GPU yang dibutuhkan oleh simpul pemrosesan PhotoScan.
  • 1 D8s_v3 CentOS VM untuk simpul penjadwal PhotoScan.
  • 1 DS2_v2 CentOS digunakan sebagai administrator jumpbox.
  • 2 DS2_V2 VM untuk pengontrol domain Active Directory.
  • Disk terkelola premium
  • Tujuan umum v2 (GPv2) penyimpanan Blob dengan LRS dan akses tingkat panas (hanya akun penyimpanan GPv2 yang mengekspos atribut Access Tier).
  • Jaringan virtual dengan dukungan untuk transfer data 10 TB.

Langkah berikutnya

Sumber daya berikut akan memberikan informasi lebih lanjut tentang komponen yang digunakan dalam skenario ini, bersama dengan pendekatan alternatif untuk komputasi batch di Azure.