共用方式為

Windows 概 Studio Effects 觀 （預覽）

  • 發行項

Windows Studio Effects 會在具有相容類神經處理單元 （NPU） 的選取 Windows 裝置上使用 AI，將特殊效果套用至裝置相機（目前支援正面相機）或內建麥克風。 NPU 支援的 AI 效果包括：

  • 背景模糊
  • 眼部接觸
  • 自動框架
  • 語音焦點
  • 直向燈
  • 創意篩選
  • 眼球接觸 Teleprompter

AI 增強功能的 Windows Studio Effects 清單。

顯示 Windows 從 Windows Studio Effects 11 任務列開啟的動畫

必要條件

  • Windows 11 版本 22H2 或更新版本 （組建 22623.885+）。
  • 裝置必須有支援的 NPU，而且硬體製造商必須在系統上安裝 Windows Studio 效果驅動程式來選擇加入。

Windows Studio Effects 如何搭配您的裝置硬體使用？

Windows Studio Effects 利用Microsoft和編譯/優化的 AI 模型，針對具有類神經處理單元 （NPU） 的裝置進行編譯/優化，以提供高逼真度、方便電池使用的 AI 效果，以降低裝置 CPU 和 GPU 的負擔，並提供可跨整個 Windows 生態系統調整為任何相容裝置的受信任Microsoft AI 體驗。

Windows Studio Effects 會將裝置相機和麥克風的控制介面標準化（核心串流屬性和 API）。 使用此控制項介面，任何應用程式都可以：

  • 探索是否支援效果
  • 視需要開啟或關閉效果
  • 存取任何可用的元數據

效果會套用在相機的硬體層級（或麥克風），因此，一旦 Windows Studio Effects中開啟效果，它預設會針對任何使用相機的應用程式開啟，即使應用程式不知道效果也一樣。

深入瞭解如何在 Windows Studio Effects 架構中運作的詳細數據。

如何在 [設定] 中控制 Windows Studio Effects

您可以從任務列開啟 Windows Studio Effects （如上圖所示），但也可以從 [設定] 功能表控制。

  • 開啟 [設定>藍牙和裝置>相機]，然後從 [連線的相機] 列表中選取 ，然後開啟該相機的設定。
  • 您會看到正面相機顯示器的預覽，以及其底下所列的 相機效果 。

Windows Studio Effects 相機設定螢幕快照

「 相機設定」應用程式 是 Windows 11 中的新功能，可讓客戶檢視其系統上的所有相機，從每部相機、每一使用者、每部機器上的一組控件中選取慣用的「預設值」值。

相機設定應用程式可以調整基本控件，例如亮度和對比，但也調整 Windows Studio 效果，例如背景模糊和眼球接觸。

相機設定應用程式也透過相機製造商提供的隨附應用程式支援擴充性。 這些隨附應用程式可讓裝置製造商提供自己的自定義使用者介面來調整相機設定，以及/或提供其他自定義相機效果的控件（例如，相機製造商提供的「有趣的帽子」效果的開啟/關閉開關）。

整合式前端相機支援的 Windows Studio Effects ，包括：

  • 背景效果：兩個支援的模型...
    • 標準模糊 - 簡單的高斯模糊效果。
    • 直向模糊 - 微妙的虛線樣式模糊效果。 視裝置功能而定，它可能很微妙，或深度模糊。
  • 眼球接觸：兩個支援的模型...
    • 標準 - 從相機向下看到螢幕的裝置用戶細微修正。 *不會調整眼睛的左或右移動。
    • Teleprompter - 在讀取遠端程式內容時，客戶掃描眼睛四周的更激進的更正。
  • 自動框架：偵測相機視野中的人員，並裁剪/縮放，使其保持框架。
  • 直照燈：提高視頻中光線不足的人的照明品質，移除強螢幕光線反射。
  • 創意篩選：影片篩選以新增一些有趣和耀斑。

注意

容量較低的 NPU 可能會支援「標準模糊」，但不會因為計算限制而「直向模糊」。 當裝置同時支持標準與直向模糊時，UI 會顯示為 [背景效果] 的開啟/關閉切換，並在 [標準模糊] 和 [直向模糊] 之間選取單選按鈕。 當系統僅支援標準模糊時，UI 會顯示為「背景模糊」的開啟/關閉切換。 此外，較低上限的 NPU 可能支援 「Standard」，但不支援 「Teleprompter」 眼部接觸效果，UI 提供開啟/關閉切換與單選按鈕選取，包括支援時的 “Teleprompter” 效果。

整合式麥克風支援的 Windows Studio Effects 包括：

  • 語音焦點：麥克風效果旨在篩選出背景噪音，確保您的語音在視訊通話期間清晰通過。

Windows Studio Effects 架構

當相機選擇使用 Windows Studio Effects時，Windows Studio Effects 套件會鏈結到相機的結尾。 這會以透明方式發生，讓「真實」相機取代為由相機功能加上 Windows Studio AI 效果所組成的「複合」相機。 終端客戶仍然只會看到「真實」相機，但 Windows Studio Effects 現在代表該相機提供。

此圖顯示圍繞「真實」相機和 OEM 驅動程式的「複合」相機，其中列出屬性包括亮度、對比、其他Microsoft屬性，以及客戶 OEM 屬性。「真實」相機會連線到 Windows Studio 效果，包括 AI 模糊和 AI 眼球接觸，進而從「真實」相機和 Windows Studio 取得合併的屬性清單。

「真實」相機包含 Kernal 串流 （KS） 屬性，例如 Brightness、Contrast 和其他Microsoft實作的屬性，以及裝置製造商 （OEM） 驅動程式所實作的任何客戶屬性。

由於 Windows Studio Effects 一律是鏈結中的最後一個專案，因此應用程式可以放心，如果為相機啟用 Windows Studio Effects ，相機所實作的背景模糊、眼球接觸和自動框架 KS 屬性是由 Windows Studio Effects提供。

當相機未選擇使用 Windows Studio Effects時，任何存取相機的應用程式只會看到「真實」相機 KS 屬性（亮度、對比等）。

當相機選擇使用 Windows Studio Effects時，存取相機的任何應用程式除了代表 AI 效果的 Windows Studio Effects KS 屬性之外，還可以看到兩個「真實」相機 KS 屬性，例如背景模糊、眼睛接觸等。

如果鏈結中第二個相同 KS 屬性較低實作的實作（例如 OEM 中的 DMFT 也會實作背景模糊效果），該實作將會保持 OFF，因為 Blur KS 屬性的預設值為 OFF。 當相機開啟Blur時，Windows Studio會在內部處理該要求，而不會將鏈結轉送至其他元件（DMFT、AVStream 驅動程式等）。

這種方法可讓裝置製造商（例如 Dell 或 Lenovo，以及 Intel、AMD 或 NVIDIA 等 IHV）在 DMFT 內或直接在相機中實作自己的相機處理功能，然後再在 Windows Studio 在其上新增標準 Windows AI 體驗。

應用程式與 Windows 整合 Studio Effects

每當任何應用程式使用 Windows API 來啟動相機串流時，Windows 都會設定核心串流 （KS） 屬性的目前值，以符合 Windows Studio Effects 相機設定中指定的預設值，再將控制權交給應用程式。 藉由比對相機設定中指定的預設值，相機一律 會以已知狀態啟動。

與 Windows Studio Effects整合時，應用程式可以：

  • 一律接受系統預設值 - 用戶決定基本設定（即。數位相機設定中的亮度，套用此值而不需任何應用程式內控件。
  • 從系統預設開始，但用戶實時 調整 - 用戶可以在使用應用程式時調整相機設定（亦即應用程式中的亮度滑桿），而不需變更系統預設值。 用戶可以選擇儲存應用程式內相機設定，以建立新的預設設定。

如果應用程式已經將值寫入 KS 屬性，該屬性在啟動串流之前也已從 [設定] 頁面設定預設值，Windows 會略過在啟動數據流時套用使用者的預設值。 例如，如果用戶的預設亮度設定為 60，但應用程式會在啟動串流之前將目前亮度值設定為 65，相機會從 65 開始，而不是 60。

注意

有些控制項是應用程式體驗不可或缺的一部分，應用程式可能想要一律覆寫系統預設值。 例如，Microsoft Teams 會使用背景效果執行此作業。 無論使用者在 [相機設定] 頁面中全域啟用或停用模糊，在加入 Teams 中的通話時，就會顯示背景效果控件，而且將會套用該應用程式 UI 中選取的值。 在幕後，Teams 會以智慧方式利用 Windows Studio 的 NPU 加速背景分割來套用背景模糊/取代效果。

無論您的應用程式提供何種體驗，提供應用程式內按鈕/超鏈接來啟動相機設定應用程式一律是個好主意。 您可以使用此連結來存取相機設定： ms-settings

特定相機的相機設定可以使用下列連結格式來啟動： ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>

如需透過相機 API 與 Windows Studio Effects 互動之應用程式的完整程式碼範例，請參閱 Windows-Camera github 存放庫。

叫用特定相機相機設定的範例代碼段

// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

這適用於 Windows 11 版本 22H2 和更新版本。 在舊版 Windows 11 上，叫用此 ms-settings 連結會將用戶帶到根相機設定頁面。

套用其他相機設定

將相機串流設定為已知狀態之後，歡迎應用程式查詢並套用進一步的設定，並視需要將新的 KS 屬性值寫入相機。 如果客戶使用不知道特定相機控制件的應用程式（例如 Brightness 或 Background Blur），則相機設定中使用者所指定之控件的設定仍會套用至應用程式。 但是，如果客戶使用知道這些控件的應用程式，應用程式就可以在使用相機時變更這些控件的目前值。

不允許應用程式變更控制件的預設值。 此預防措施可確保一個應用程式不會變更使用相機的其他應用程式的行為。 預設值只能從相機設定應用程序變更。

在 Windows 11 版本 22H2 中，支援 Windows Studio Effects 的裝置的客戶可以直接從相機設定頁面開啟/關閉效果，以及其相機硬體的其他常見設定。

Windows 硬體製造商指引

設計具有最新 Windows 11 功能硬體的原始設備製造商（OEM）可以選擇使用 Windows Studio Effects。

疑難排解

您的 Windows 應用程式可能有現有的應用程式內功能，與 Windows Studio Effects 套用至相機的 AI 效果重疊（例如背景模糊）。 如果相機設定應用程式未管理相機提供效果的狀態，您的應用程式內功能可能會脫離同步，導致使用者體驗問題。

如何避免重疊效果

請考慮提供背景模糊功能的應用程式，在相機也支援 Windows Studio Effects 和相機設定應用程式所套用的背景模糊 KS 屬性的系統上執行。

如果客戶在 Windows 相機 設定應用程式中開啟背景模糊，相機提供的效果將會在相機啟動時套用。 然後，應用程式內模糊控件會顯示為 OFF ，儘管模糊效果明顯開啟，或與 ON 搭配雙模糊（相機模糊加上您應用程式的模糊效果），浪費資源。

在支援的裝置上執行時，建議您直接利用 Windows Studio Effects 來提供低系統資源和電池使用時間影響的高逼真度效果。 如此一來，當客戶與應用程式內控件互動時，他們會直接同步處理相機本身的 Windows Studio Effects 功能。 如需如何設定此同步處理並避免此重迭問題的步驟，請參閱上面的應用程式與 Windows Studio Effects 整合一節。

如果您的應用程式是在支援 Windows Studio Effects的裝置上執行，但您想要由另一個第三方服務套用效果（或完全未套用），您應該關閉衝突的 Windows Studio Effects。

若要關閉 Windows Studio Effects：

  1. 檢查是否有重疊的 KS 屬性。
  2. 如果存在重疊的屬性，請在啟動相機時將它們設定為 OFF 。

例如，如果您要確保相機層級模糊功能已 關閉，請檢查相機是否提供 KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION，如果是，請確定它已設定為 KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF。

Microsoft負責任 AI 的承諾

為了確保 Windows Studio Effects 值得信任、安全且負責任地建置，它會使用在整個開發期間，透過公平性測試廣泛評估、引導和定型的模型。

此外，Creative 篩選所使用的數據集包括 3,000 幅不同年齡、性別和種族的使用者手繪肖像，每個畫像都是為了遵守根據使用者喜好研究而建立的樣式指南。 對於 Teleprompter 和 Creative 篩選，非常考慮到具有獨特眼部特性的人的產品功能。

其他資源