Gambaran Umum Windows Studio Effects (Pratinjau)
Windows Studio Effects menggunakan AI pada perangkat Windows tertentu dengan Unit Pemrosesan Neural (NPU) yang kompatibel untuk menerapkan efek khusus pada kamera perangkat (saat ini mendukung kamera depan) atau mikrofon bawaan. Efek AI yang didukung oleh NPU meliputi:
- Latar Belakang Kabur
- Kontak Mata
- Pembingkaian Otomatis
- Fokus Suara
- Cahaya potret
- Filter materi iklan
- Kontak mata Teleprompter
Daftar Studio Effects Windows penyempurnaan AI.
Prasyarat
- Windows 11, versi 22H2 atau yang lebih baru (Build 22623.885+).
- Perangkat harus memiliki NPU yang didukung dan produsen perangkat keras harus memilih ikut serta dengan menginstal driver Efek Windows Studio pada sistem.
Bagaimana Windows Studio Effects bekerja dengan piranti keras perangkat Anda?
Windows Studio Effects memanfaatkan model AI yang dibangun oleh Microsoft dan dikompilasi/dioptimalkan untuk perangkat dengan Unit Pemrosesan Neural (NPU) untuk memberikan efek AI dengan keakuratan tinggi dan ramah baterai yang mengurangi beban pada CPU dan GPU perangkat dan memberikan pengalaman Microsoft AI tepercaya yang menskalakan di seluruh ekosistem Windows untuk perangkat yang kompatibel.
Windows Studio Effects menstandarkan antarmuka kontrol untuk kamera perangkat dan mikrofon (properti dan API Streaming Kernel). Dengan menggunakan antarmuka kontrol ini, aplikasi apa pun dapat:
- Menemukan apakah efek didukung
- Mengaktifkan atau menonaktifkan efek sesuai kebutuhan
- Mengakses metadata yang tersedia
Efek diterapkan pada tingkat perangkat keras untuk kamera (atau mikrofon), jadi setelah efek dihidupkan di Windows Studio Effects, efek diaktifkan secara default untuk aplikasi apa pun yang menggunakan kamera, bahkan jika aplikasi tidak tahu tentang efeknya.
Pelajari selengkapnya tentang detail cara kerjanya di Arsitektur WindowsStudio Effects.
Cara mengontrol Windows Studio Effects di Pengaturan
Windows Studio Effects dapat dibuka dari taskbar (seperti yang ditampilkan pada gambar di atas), tetapi juga dapat dikontrol dari menu Pengaturan.
- Buka Pengaturan>Bluetooth & perangkat>Kamera, lalu pilih dari daftar Kamera yang tersambung dan buka pengaturan untuk kamera tersebut.
- Anda akan melihat pratinjau tampilan kamera depan Anda dan Efek Kamera yang tercantum di bawahnya.
Aplikasi Pengaturan Kamera adalah fitur baru di Windows 11 yang memungkinkan pelanggan untuk melihat semua kamera pada sistem mereka, memilih nilai "default" pilihan dari serangkaian kontrol berdasarkan per kamera, per pengguna, per mesin.
Aplikasi Pengaturan Kamera dapat menyesuaikan kontrol dasar, seperti Kecerahan dan Kontras, tetapi juga efek Windows Studio seperti Kabur Latar Belakang dan Kontak Mata.
Aplikasi Pengaturan Kamera juga mendukung ekstensibilitas melalui aplikasi pendamping yang disediakan oleh produsen kamera. Aplikasi pendamping ini memungkinkan produsen perangkat untuk menawarkan antarmuka pengguna kustom mereka sendiri untuk menyesuaikan pengaturan kamera, dan/atau untuk memberikan kontrol untuk efek kamera kustom tambahan (misalnya, tombol aktif/mati untuk efek "Funny Hat" yang disediakan oleh produsen kamera).
Windows Studio Effects yang didukung untuk kamera front-facing terintegrasi, meliputi:
- Efek Latar Belakang: Dua model yang didukung...
- Standard Blur - efek kabur gaussian sederhana.
- Portrait Blur - efek kabur bergaya bokeh yang halus. Tergantung pada kemampuan perangkat, mungkin halus, atau kabur berbasis kedalaman.
- Kontak Mata: Dua model yang didukung...
- Standar - koreksi halang untuk pengguna perangkat yang melihat ke bawah dari kamera ke layar. *Tidak menyesuaikan gerakan mata kiri atau kanan.
- Teleprompter - koreksi yang lebih agresif untuk pelanggan yang memindai mata mereka di seluruh layar saat mereka membaca konten teleprompter.
- Pembingkaian Otomatis: Mendeteksi seseorang di bidang kamera tampilan dan memangkas/memperbesar tampilan agar tetap dibingkai.
- Cahaya potret: Meningkatkan kualitas pencahayaan pada orang dalam video di lingkungan yang kurang terang, menghilangkan pantulan cahaya layar yang kuat.
- Filter kreatif: Filter video untuk menambahkan beberapa kesenangan dan suar.
Catatan
NPU berkapasitas lebih rendah dapat mendukung "Standard Blur", tetapi bukan "Portrait Blur" karena keterbatasan komputasi. Saat perangkat mendukung kabur Standar dan Potret, UI ditampilkan sebagai tombol Hidup/Mati untuk "Efek latar belakang" dengan pilihan tombol radio antara "Kabur standar" dan "Kabur Potret". Saat sistem hanya mendukung kabur Standar, UI ditampilkan sebagai tombol Aktif/Nonaktif untuk "Kabur latar belakang". Selain itu, NPU berkapasitas lebih rendah dapat mendukung efek Kontak Mata "Standar", tetapi bukan "Teleprompter", dengan UI menawarkan tombol Hidup/Mati dengan pilihan tombol radio termasuk efek "Teleprompter" saat didukung.
Windows Studio Effects yang didukung untuk mikrofon terintegrasi, meliputi:
- Fokus Suara: Efek mikrofon yang dirancang untuk memfilter kebisingan latar belakang, memastikan bahwa suara Anda muncul dengan jelas selama panggilan video.
Arsitektur Windows Studio Effects
Ketika kamera memilih menggunakan Windows Studio Effects, paket Windows Studio Effects akan ditautkan ke akhir kamera. Ini terjadi secara transparan sehingga kamera "nyata" diganti dengan kamera "komposit" yang terdiri dari fitur kamera ditambah efek Windows Studio AI. Pelanggan akhir masih hanya melihat kamera "nyata", tetapi Windows Studio Effects sekarang tersedia atas nama kamera tersebut.
Kamera "Nyata" mencakup properti Kernal Streaming (KS), seperti Brightness, Contrast, dan properti yang diimplementasikan Microsoft lainnya, serta properti pelanggan apa pun yang diterapkan oleh driver produsen perangkat (OEM).
Karena Windows Studio Effects selalu merupakan item terakhir dalam rantai, aplikasi dapat diyakinkan bahwa jika Windows Studio Effects diaktifkan untuk kamera, bahwa properti Background Blur, Eye Contact, dan Automatic Framing KS yang diterapkan oleh kamera disediakan oleh Windows Studio Effects.
Ketika kamera tidak memilih untuk menggunakan Windows Studio Effects, aplikasi apa pun yang mengakses kamera hanya melihat properti KS kamera "Nyata" (Brightness, Contrast, dll).
Ketika kamera memilih untuk menggunakan Windows Studio Effects, aplikasi apa pun yang mengakses kamera dapat melihat properti KS kamera "Nyata", selain properti KS Windows Studio Effects yang mewakili efek AI, seperti Kabur Latar Belakang, Kontak Mata, dll.
Jika ada implementasi kedua dari Properti KS yang sama yang lebih rendah dalam rantai (misalnya, DMFT dari OEM juga menerapkan efek Kabur Latar Belakang), implementasi tersebut akan tetap NONAKTIF karena nilai default untuk Properti Blur KS NONAKTIF. Ketika Blur diaktifkan untuk kamera, Windows Studio menangani permintaan tersebut secara internal dan tidak meneruskannya ke rantai ke komponen lain (DMFTs, driver AVStream, dll.).
Pendekatan ini memungkinkan produsen perangkat (OEM, seperti Dell atau Lenovo, dan IHV, seperti Intel, AMD, atau NVIDIA) untuk menerapkan fitur pemrosesan kamera mereka sendiri dalam DMFTs mereka atau langsung di kamera sebelum Windows Studio menambahkan pengalaman Windows AI standar di atasnya.
Integrasi aplikasi dengan Windows Studio Effects
Setiap kali aplikasi menggunakan WINDOWS API untuk memulai aliran kamera, Windows akan mengatur nilai properti Kernel Streaming (KS) saat ini agar sesuai dengan nilai default yang ditentukan dalam Pengaturan Kamera Windows Studio Effects sebelum menyerahkan kontrol ke aplikasi. Dengan mencocokkan nilai default yang ditentukan dalam Pengaturan Kamera, kamera akan selalu dimulai dalam keadaan yang diketahui.
Saat mengintegrasikan dengan Windows Studio Effects, aplikasi dapat:
- Selalu terima default sistem - Pengguna menentukan pengaturan dasar (yaitu. Kecerahan) di Pengaturan Kamera, menerapkan nilai ini tanpa kontrol dalam aplikasi.
- Mulai dari default sistem, tetapi pengguna menyesuaikan secara real time - Pengguna dapat menyesuaikan pengaturan kamera saat menggunakan aplikasi (yaitu slider Kecerahan dalam aplikasi) tanpa mengubah default sistem. Pengguna dapat memilih untuk menyimpan pengaturan kamera dalam aplikasi untuk membuat pengaturan default baru.
Jika aplikasi telah menulis nilai ke Properti KS yang juga memiliki nilai default yang diatur dari halaman Pengaturan sebelum memulai aliran, Windows melompati penerapan nilai default pengguna saat memulai aliran. Misalnya, jika kecerahan default pengguna diatur ke 60, tetapi aplikasi mengatur nilai kecerahan saat ini ke 65 sebelum memulai streaming, kamera akan dimulai dengan kecerahan pada 65, bukan 60.
Catatan
Beberapa kontrol adalah bagian integral dari pengalaman aplikasi, sehingga aplikasi mungkin ingin selalu mengambil alih default sistem. Misalnya, Microsoft Teams melakukan ini dengan Efek Latar Belakang. Terlepas dari apakah pengguna diaktifkan atau dinonaktifkan kabur secara global di Halaman Pengaturan Kamera, kontrol Efek Latar Belakang terlihat saat bergabung dengan panggilan di Teams dan nilai yang dipilih di antarmuka pengguna aplikasi tersebut akan diterapkan. Di bawah tenda, Teams dengan cerdas memanfaatkan segmentasi latar belakang yang dipercepat NPU Windows Studio untuk menerapkan efek kabur/penggantian latar belakang.
Terlepas dari pengalaman mana yang ditawarkan aplikasi Anda, selalu ada baiknya untuk menyediakan tombol /hyperlink dalam aplikasi untuk meluncurkan aplikasi Pengaturan Kamera. Pengaturan Kamera dapat diakses dengan tautan ini: ms-settings
Pengaturan Kamera untuk kamera tertentu dapat diluncurkan dengan format tautan ini: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>
Lihat repositori github Windows-Camera untuk sampel kode lengkap aplikasi yang berinteraksi dengan Windows Studio Effects melalui API kamera.
Cuplikan kode sampel untuk memanggil Pengaturan Kamera untuk kamera tertentu
// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name
private async void Button_Click(object sender, RoutedEventArgs e)
{
// Hard coded for this example, one can use DeviceInformation and/or
// MediaCapture VideoDeviceController.Id to get the symbolic link
string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" +
Uri.EscapeDataString(symlink) ));
}
Ini tersedia di Windows 11, versi 22H2 dan yang lebih baru. Pada versi Windows 11 yang lebih lama, memanggil tautan ini ms-settings akan membawa pengguna ke halaman Pengaturan Kamera akar.
Menerapkan pengaturan kamera tambahan
Setelah aliran kamera diatur ke status yang diketahui, aplikasi dipersilakan untuk mengkueri dan menerapkan konfigurasi lebih lanjut, menulis nilai Properti KS baru ke kamera sesuai kebutuhan. Jika pelanggan menggunakan aplikasi yang tidak mengetahui kontrol kamera tertentu (misalnya, Kecerahan atau Keburaman Latar Belakang), pengaturan untuk kontrol yang ditentukan pengguna dalam Pengaturan Kamera akan tetap berlaku untuk aplikasi. Tetapi, jika pelanggan menggunakan aplikasi yang mengetahui kontrol tersebut, aplikasi dapat mengubah nilai kontrol tersebut saat ini saat menggunakan kamera.
Aplikasi tidak diizinkan untuk mengubah nilai default kontrol. Tindakan pencegahan ini memastikan bahwa satu aplikasi tidak mengubah perilaku aplikasi lain yang menggunakan kamera. Default hanya dapat diubah dari aplikasi Pengaturan Kamera.
Di Windows 11, versi 22H2, pelanggan yang memiliki perangkat yang mendukung Windows Studio Effects dapat mengaktifkan/menonaktifkan efek langsung dari Halaman Pengaturan Kamera, di samping pengaturan umum lainnya untuk perangkat keras kamera mereka.
Panduan Produsen Perangkat Keras Windows
Original Equipment Manufacturers (OEM) yang merancang perangkat keras dengan fitur Windows 11 terbaru dapat ikut serta menggunakan Windows Studio Effects.
Pemecahan Masalah
Aplikasi Windows Anda mungkin memiliki fungsionalitas dalam aplikasi yang tumpang tindih dengan efek AI yang diterapkan ke kamera Anda oleh Windows Studio Effects (misalnya, Background Blur). Jika aplikasi Pengaturan Kamera tidak mengelola status efek yang disediakan kamera, fungsionalitas dalam aplikasi Anda dapat tidak sinkron, menyebabkan masalah pengalaman pengguna.
Cara menghindari efek tumpang tindih
Pertimbangkan aplikasi yang menawarkan fitur Background Blur , berjalan pada sistem di mana kamera juga mendukung Properti Background Blur KS yang diterapkan oleh Windows Studio Effects dan aplikasi Pengaturan Kamera.
Jika pelanggan mengaktifkan Latar Belakang Kabur di aplikasi Pengaturan Windows Kamera, efek yang disediakan kamera akan diterapkan saat kamera dimulai. Kemudian, kontrol kabur dalam aplikasi akan ditampilkan sebagai NONAKTIF meskipun efek kabur jelas menyala, atau sebagai AKTIF dengan kabur ganda (kabur kamera ditambah efek kabur aplikasi Anda), membuang-buang sumber daya.
Saat berjalan pada perangkat yang didukung, sebaiknya manfaatkan Windows Studio Effects secara langsung untuk memberikan efek keakuratan tinggi dengan sumber daya sistem yang lebih rendah dan dampak masa pakai baterai. Dengan cara ini, ketika pelanggan berinteraksi dengan kontrol dalam aplikasi Anda, mereka langsung menyinkronkan ke fitur Windows Studio Effects kamera itu sendiri. Lihat bagian Integrasi aplikasi dengan Windows Studio Effects di atas untuk langkah-langkah tentang cara menyiapkan sinkronisasi ini dan menghindari masalah tumpang tindih ini.
Jika aplikasi Anda berjalan di perangkat yang mendukung Windows Studio Effects, tetapi Anda lebih suka efek diterapkan oleh layanan pihak ke-3 lain (atau tidak diterapkan sama sekali), Anda harus menonaktifkan Windows Studio Effectsyang bertentangan.
Untuk menonaktifkan Windows Studio Effects:
- Periksa keberadaan Properti KS yang tumpang tindih.
- Jika properti tumpang tindih ada, atur ke NONAKTIF saat memulai kamera.
Misalnya, jika Anda ingin memastikan bahwa fitur kabur tingkat kamera nonaktif, periksa apakah kamera menawarkan KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION, dan jika demikian, pastikan diatur ke KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.
Komitmen Microsoft terhadap AI yang bertanggung jawab
Untuk memastikan bahwa Windows Studio Effects dapat dipercaya, aman, dan dibangun secara bertanggung jawab, Windows menggunakan model yang dievaluasi, dipandu, dan dilatih secara ekstensif oleh pengujian kewajaran sepanjang pengembangan.
Selain itu, himpunan data yang digunakan oleh filter Kreatif mencakup 3.000 potret gambar tangan pengguna dari berbagai usia, jenis kelamin, dan ras, masing-masing digambar untuk mematuhi panduan gaya yang dibuat berdasarkan studi preferensi pengguna. Untuk filter Teleprompter dan Kreatif, pertimbangan besar dimasukkan ke dalam fungsionalitas produk untuk orang-orang dengan karakteristik mata yang unik.