Gambaran umum Jendela Digital

Artikel
02/12/2024

Dua kontrol Jendela Digital baru menyediakan mekanisme untuk pan digital, kemiringan, dan zoom untuk kamera yang menawarkan sensor asli resolusi tinggi, sehingga aplikasi dapat secara otomatis fokus secara selektif pada objek seperti wajah atau papan penanda di ruang konferensi sambil mempertahankan keakuratan optimal dari sensor kamera.

Ini memungkinkan aplikasi untuk mendapatkan gambar detail yang lebih tinggi dari objek tersebut tanpa perlu mengubah resolusi media. Kontrol MSXU Jendela Digital menargetkan seluruh sensor kamera dan bukan pipa atau titik akhir individual.

MSXU_CONTROL_DIGITALWINDOW Kontrol Jendela Digital

Kontrol MSXU Jendela Digital menentukan bidang tampilan dan zoom kamera saat kamera sedang streaming. Kontrol ini adalah pengganti potensial untuk Pan, Tilt dan Zoom. Kontrol ini hanya berlaku saat kamera secara aktif melakukan streaming.

Lihat Bagian 2.2.2.11 Digital Window Control di ekstensi Microsoft ke spesifikasi USB Video Class 1.5 untuk detailnya.

MSXU_CONTROL_DIGITALWINDOW_CONFIG Kontrol Konfigurasi Jendela Digital

Kontrol MSXU Konfigurasi Jendela Digital menentukan batas penskalaan kamera yang diberikan semua resolusi yang tersedia. Resolusi tidak bergantung pada jenis media, sehingga dua jenis media yang mengiklankan resolusi tampilan yang sama digabungkan menjadi satu kemampuan.

Lihat Bagian 2.2.2.12 Digital Window Config Control di ekstensi Microsoft ke spesifikasi USB Video Class 1.5 untuk detailnya.

Gambaran umum implementasi

Gambar berikut mengilustrasikan adegan ruang konferensi umum yang diambil oleh kamera.

penangkapan sensor penuh.

Sensor gambar mengambil sesuatu lebih dari gambar yang dialirkan ke aplikasi klien, yang ditampilkan dalam kotak pembatas merah. Kotak pembatas oranye mengilustrasikan bidang tampilan yang diambil oleh kamera mengingat rasio aspek yang dipilih. Untuk kontrol jendela digital, kotak pembatas default adalah kotak oranye ini. Koordinat yang diberikan di sepanjang sisi menunjukkan batas kotak ini. Output sensor dipangkas dan diskalakan dengan tepat ke resolusi media output dari kotak ini.

Papan penanda yang dipanggil dalam gambar adalah objek yang menarik. Jika aplikasi ingin fokus pada objek ini, aplikasi mungkin mengatur Jendela Digital untuk mencakupnya.

jendela digital diskalakan dipotong.

Kotak pembatas hijau diatur melalui kontrol Jendela Digital dalam contoh ini. Ini mencakup objek utama yang menarik, papan penanda. Persegi panjang mungkin berisi data yang berada di luar objek yang menarik karena objek mungkin tidak persegi panjang atau mungkin tidak dilihat dari samping atau mungkin tidak memiliki rasio aspek yang sama dengan jenis media.

Jendela Digital mempertahankan rasio aspek format output dan kamera meningkatkan skala output sensor agar sesuai. Koordinat yang ditentukan selalu relatif terhadap kotak batas asli dan default.

Hubungan dengan Kontrol Jendela Digital UVC 1.5

Kontrol MSXU Jendela Digital baru di bawah ini melakukan fungsi yang hampir identik dengan CT_DIGITAL_WINDOW_CONTROL yang ditemukan dalam spesifikasi Kelas UVC 1.5 di bawah Bagian 4.2.2.1.19 Digital Window Control.

Specification.pdf Kelas UVC 1.5 dapat diunduh di situs web spesifikasi Usb Video Class.

Namun ada beberapa perbedaan penting.

Peregangan

CT_DIGITAL_WINDOW_CONTROL sebagaimana ditentukan mengizinkan aplikasi untuk mengatur jendela ke sekumpulan koordinat arbitrer yang hanya dibatasi oleh nilai GET_MIN, GET_MAX, dan GET_RES. Agar sesuai dengan bidang tampilan ini dalam jendela output, perilaku ini mengharuskan kamera menolak apa yang harus legal SET_CUR permintaan atau untuk menerapkan pengambilan sampel ulang atau penskalaan ulang gambar yang berpotensi mendistorsi gambar secara horizontal atau vertikal, yaitu mengubah rasio aspek.

Karena distorsi mungkin tidak diinginkan dapat dihindari dalam implementasi CT_DIGITAL_WINDOW_CONTROL dengan menolak permintaan tersebut, tetapi daripada kontrol berisi ambiguitas seperti itu, kontrol MSXU Jendela Digital mempertahankan bidang pandang pada rasio aspek resolusi output. Oleh karena itu, rescaling bukan fitur atau opsi dalam kontrol MSXU ini.

Pembingkaian Wajah Otomatis

CT_DIGITAL_WINDOW_CONTROL tidak memiliki konsep pelacakan wajah. Di sisi lain CT_REGION_OF_INTEREST_CONTROL memang memiliki konsep seperti itu, tetapi ini terutama digunakan untuk mendeteksi, melaporkan, dan berpotensi memperbarui wilayah kontrol 3A yang menarik. Secara teori CT_REGION_OF_INTEREST_CONTROL dapat digunakan jika diimplementasikan sebagai kontrol AutoUpdate, yang akan memungkinkan driver kamera memanfaatkan kontrol tersebut untuk menggeser, memiringkan, atau memperbesar CT_DIGITAL_WINDOW_CONTROL sinkron.

Kontrol baru ini memungkinkan kontrol langsung pelacakan wajah untuk menyesuaikan bidang pandang dengan memiringkan, menggeser, atau memperbesar tampilan secara digital agar wajah tetap terlihat seperti praktis. Selain itu, pelacakan wajah yang digunakan pada kontrol ini tetap independen dari wilayah kontrol minat mana pun.

Metode pelacakan wajah tergantung pada implementasi.

Metadata per bingkai

UVC 1.5 asli tidak memiliki konsep metadata per bingkai. Microsoft telah memperluas spesifikasi UVC untuk mendukung metadata yang disematkan di header payload bingkai. Mengaktifkan dukungan ini dapat dilakukan melalui kontrol MSXU_CONTROL_METADATA.

Selain itu CT_DIGITAL_WINDOW_CONTROL tidak menentukan apakah kontrol sinkron atau asinkron atau pembaruan otomatis. Selain itu kontrol mencakup informasi langkah yang digunakan untuk animasi perubahan oleh kamera itu sendiri. Ini menyiratkan bahwa pan digital, kemiringan, dan zoom dapat memakan waktu yang cukup lama untuk diselesaikan. Namun karena kontrol akan diatur ke koordinat baru, tidak jelas berapa lama waktu yang diperlukan untuk menyelesaikan dan kapan atau bagaimana ia akan melaporkan kembali bahwa transisi dilakukan. Lebih buruk lagi tidak ada informasi tentang di mana di bidang tampilan bingkai saat ini berasal.

Ambiguitas ini dapat diselesaikan dengan metadata per bingkai yang disuntikkan oleh kamera, tetapi tidak mungkin memerlukan CT_DIGITAL_WINDOW_CONTROL untuk mendukung metadata per bingkai secara langsung karena metadata per bingkai berada di luar cakupan spesifikasi UVC.

Rasio Aspek

Tidak jelas atau tidak terdefinisi bagaimana CT_DIGITAL_WINDOW_CONTROL menangani rasio aspek yang berbeda. Untuk memotong bidang tampilan dengan benar nilai GET_DEF dan GET_CUR yang dilaporkan oleh kontrol UVC 1.5 perlu diubah agar sesuai dengan aspek saat ini setelah setiap pemeriksaan/penerapan. Untuk menangani ini dengan benar, CT_DIGITAL_WINDOW_CONTROL harus menjadi kontrol AutoUpdate dan driver tidak perlu menyimpan hasil GET_DEF, tetapi sebaliknya meminta nilai ini lagi untuk setiap resolusi yang diekspos oleh kamera.

Kompleksitas ini dapat membuat masalah penemuan saat mencoba memetakan kontrol jendela digital ke resolusi tertentu. Anda mungkin tidak tahu terlebih dahulu bagian mana dari bidang pandang sensor yang akan digunakan kamera secara default sampai Anda melakukan pemeriksaan atau penerapan pada semua jenis media yang didukung oleh kamera. Ini menyajikan potensi masalah dengan menemukan nilai teras apa pun untuk resolusi tertentu karena tergantung pada bidang tampilan sensor yang biasanya digunakan oleh format tersebut relatif terhadap bidang tampilan total yang tersedia pada sensor.

Fungsi

Jendela Digital terkait dengan beberapa kontrol yang ada:

Sentuhan searah
Memiringkan
Zoom

Jika kamera menggunakan implementasi digital untuk salah satu kontrol ini, mereka harus mengubah nilai yang dilaporkan oleh Jendela Digital agar sesuai dengan bidang tampilan yang sama. Demikian pula, Jendela Digital harus mengubah nilai yang dilaporkan oleh kontrol ini. Semua implementasi digital kontrol ini harus saling memperbarui agar tetap sinkron.

Microsoft tidak menentukan hubungan antara kontrol ini dan hanya kontrol set terakhir yang diutamakan.

Wilayah yang Menarik

Karena Jendela Digital mengubah Bidang Tampilan (FOV) yang jelas, koordinat yang dipilih melalui kontrol region of interest (ROI) apa pun harus diatur ulang ke defaultnya setiap kali SET dikeluarkan untuk kontrol ini. Daftar kontrol ROI saat ini meliputi:

KSPROPERTY_CAMERACONTROL_REGION_OF_INTEREST_PROPERTY_ID
KSPROPERTY_CAMERACONTROL_EXTENDED_ROI_CONFIGCAPS /KSPROPERTY_CAMERACONTROL_EXTENDED_ROI_ISPCONTROL

Selain itu, kontrol Wilayah Minat ini menentukan wilayahnya relatif terhadap jendela output, sehingga koordinat yang mereka tentukan selalu persegi panjang di bidang tampilan saat ini. Karena kontrol Jendela Digital mengubah bidang tampilan saat ini, persegi panjang Wilayah Minat harus dipetakan ulang oleh kamera agar pas dalam Jendela Digital saat ini. Misalnya, jika Jendela Digital saat ini memiliki (OriginX, OriginY) (0,0, 0,0) dan WindowSize 0,5 dan jika Wilayah Yang Menarik (0,0, 0,0), (0,5, 0,5) ditentukan, kamera harus memetakan ulang persegi panjang Wilayah Minat ke piksel yang sesuai dengan (0,0, 0,0), (0,25, 0,25) di bidang tampilan default. Ini harus dianalogikan dan konsisten dengan perilaku kontrol pan, kemiringan, dan zoom yang jelas dengan kontrol Wilayah Minat ini.

Streaming

Karena nilai Jendela Digital yang valid yang tersedia tergantung pada rasio aspek saat ini, kamera harus memilih jenis media dan antarmuka streaming untuk menerapkan MinWindowSize.

Nilai Informasi

NonUpscalingWindowSize yang dilaporkan juga dilaporkan per resolusi, tetapi hanya informasional untuk aplikasi. Nilai ini memberi tahu aplikasi nilai apa yang akan diatur sebagai WindowSize untuk tidak mendapatkan peningkatan gambar sumber. Ini memungkinkan aplikasi untuk mengambil gambar pada batas rentang keakuratan sensor kamera.

Atribut Metadata

Jika kamera mengiklankan MSXU_CONTROL_DIGITALWINDOW, MSXU_CONTROL_DIGITALWINDOW_CONFIG dan telah menetapkan ukuran buffer non-nol pada MSXU_CONTROL_METADATA, kamera harus memancarkan atribut MF_CAPTURE_METADATA_DIGITAL_WINDOW untuk setiap bingkai. Ini dapat menyediakan ini melalui MFT Perangkat atau dengan menyertakan atribut MetadataId_DigitalWindow (nilai 7) dalam buffer metadata mentah. Cara menyertakan atribut metadata dijelaskan lebih lanjut di Bagian 2.2.3.1 Metadata format Microsoft Standard.

Metadata ini digunakan untuk melaporkan jendela digital apa yang diterapkan ke sampel saat ini. Ini dilakukan dengan menginisialisasi KSCAMERA_METADATA_ITEMHEADER dengan nilai MetadataId_DigitalWindow dan ukuran struktur dan menyalin nilai OriginX, OriginY, dan WindowSize yang diterapkan dari kontrol jendela digital ke dalam struktur KSCAMERA_EXTENDEDPROP_DIGITALWINDOW_SETTING terkait.