Windows、Xbox 和 Hololens 2 應用程式開發人員的空間音效

  • 發行項

注意

本檔是以開發人員對象為目標。 如需在裝置上啟用空間音效的用戶支援，請參閱 如何在 Windows 10 中開啟空間音效。

Microsoft Spatial Sound 是 Microsoft 在 Xbox、Windows 和 HoloLens 2 上提供空間音效支援的平臺層級解決方案，可同時啟用環繞和提升許可權（高於或低於接聽程式）音訊提示。Windows 桌面 （Win32） 應用程式以及支援平臺上的 通用 Windows 平台 （UWP） 應用程式可以利用空間音效。 空間音效 API 可讓開發人員建立從 3D 空間位置發出音訊的音訊物件。 動態音訊物件可讓您從空間中的任意位置發出音訊，這可能會隨著時間而變更。 您也可以指定音頻物件從17個預先定義的靜態通道 （8.1.4.4） 發出聲音，以代表實際或虛擬化的喇叭。 實際的輸出格式是由用戶選取，而且可以從 Microsoft Spatial Sound 實作中擷取;音訊將呈現給現有的喇叭、耳機和家庭影院接收器，而不需要任何程式代碼或內容變更。 平臺完全支援 HDMI 和立體聲耳機輸出的即時 Dolby Atmos 編碼、適用於耳機的 DTS：X，以及立體聲耳機的 耳機用 Windows Sonic 編碼。 最後，Microsoft Spatial Sound 應用程式會遵守系統混合原則，而且其音訊也會與非空間感知的應用程式混合。 Microsoft Spatial Sound 支援也已整合到媒體基礎;使用媒體基礎的應用程式可以順利播放 Dolby Atmos 內容，而不需要其他實作。

Microsoft Spatial Sound 的空間音效支援支援支援 Dolby Atmos 的電視、家庭影院和音效列。 空間音效也可以與消費者可能擁有的任何一對耳機搭配使用，平臺使用 耳機用 Windows Sonic、Dolby Atmos for Headphones 或 DTS 耳機：X 來轉譯音訊。

啟用 Microsoft Spatial Sound

無論是開發人員還是取用者，用戶都必須在其裝置上啟用 Microsoft Spatial Sound，才能聽到空間化的聲音。

Windows

在 Windows 電腦上，這會透過指定音效輸出裝置的屬性頁面來完成。 從 [ 音效 ] 控制面板中，選取輸出裝置，然後按兩下 [ 裝置屬性]。 在頁面的 [空間音效] 區段中，如果裝置支援空間音效，您可以從 [空間音效格式] 下拉式清單中選取其中一個可用的格式。

enable spatial sound in the sound control panel

您也可以以滑鼠右鍵按兩下任務列中的 [音量 ] 圖示來啟用 Microsoft Spatial Sound。

enable spatial sound from the taskbar

Xbox

在 Xbox 上，Microsoft Spatial Sound 功能一律可供取用者使用，並透過 [一般 -> 音量和音訊輸出] 下的 [設定 應用程式啟用]。

HDMI 音訊按鈕會填入音訊接收器 （AVR） 或聲條或直接連線到 Xbox 控制台的電視所支援的所有格式。 「光學音訊」選項僅適用於較舊的 Xbox 控制台，不適用於 Xbox Series X|S 和更新版本。

Screenshot of the General Volume & Output settings page showing the HDMI audio dropdown.

請注意，如果尚未安裝，請在 HDMI 音訊中選取 [Dolby Atmos for home theater （HDMI only）] 或 [DTS：X for home theater （HDMI only）] 選項，將會提示用戶下載並安裝 Dolby Access 或 DTS Sound Unbound 應用程式。

Screenshot of the General Volume & Output settings page showing the selection of DTS Digital Surround.

從 [耳機格式] 下拉式列表中選取 [Dolby Atmos] 代表 [耳機]、[DTS 耳機：X] 或 [耳機用 Windows Sonic]

Screenshot of the General Volume & Output settings page showing the enabling spatial sound for headphones.

當 Microsoft Spatial Sound 無法使用時（例如，播放內嵌膝上型電腦立體聲喇叭時，或使用者尚未明確啟用上述 Microsoft Spatial Sound），ISpatialAudioClient：：GetMaxDynamicObjectCount 傳回給應用程式的可用動態物件數目將會是 0。

HoloLens 2

在 HoloLens 2 上，預設會啟用 Microsoft Spatial Sound，並使用專為 耳機用 Windows Sonic 而設計的硬體 DSP 卸除。

Microsoft Spatial Sound and Audio 中間件

許多應用程式和遊戲開發人員都使用第三方音頻轉譯引擎解決方案，這些解決方案通常包括複雜的撰寫和試鏡工具。 Microsoft 已與其中數個解決方案提供者合作，在現有的撰寫環境中實作 Microsoft Spatial Sound。 這通常表示此處討論的 API 會從應用程式的檢視中抽象化;它們會包裝為應用程式可以具現化的數位訊號處理 （DSP） 外掛程式，而 app 的音訊實作者可以視需要將它混合到 Microsoft Spatial Sound 通道床、副混音或將個別聲音傳送至動態物件實例外掛程式。 請洽詢音訊中間件解決方案提供者，以取得 Microsoft Spatial Sound 的支援層級。

適用於音訊轉譯器的 Microsoft 空間音效

許多音訊轉譯器是以 Windows 音訊工作階段 API （WASAPI） IAudioClient 端點為目標，其中應用程式會將混合和格式一致性音訊數據的緩衝區饋送至 WASAPI 音訊接收;接著會取用傳遞的緩衝區與其他客戶端、最終的系統層級處理和轉譯。

Microsoft Spatial Sound 空間端點會實作為 ISpatialAudioClient，其與 IAudioClient 有許多相似之處。 它支援 形成通道床的靜態 音效物件，支援最多 8.1.4.4 個通道（接聽程式周圍有 8 個通道 – 左、右、中、左、右和後置;1 個低頻率效果通道;接聽程式上方 4 個通道;接聽程式下方 4 個通道）。 而且它支援 動態 音效物件，它可以任意放置在 3D 空間中。

ISpatialAudioClient 的一般實作編碼模式為：

  • 建立靜態和/或動態音頻物件。
  • 將每個物件的音訊緩衝區饋送每個畫面，讓系統可以轉譯它。
  • 視需要更新動態物件的 3D 位置 - 應用程式所需的頻率 （或不常使用）。

請注意，目前的輸出格式（喇叭或耳機;耳機用 Windows Sonic、Dolby Atmos 或 DTS 耳機：X） 是從上述實作中抽象的 – 應用程式開發人員可以專注於空間音效，而不需要根據格式進行樞紐分析。 想要其行為根據輸出格式而分裂的應用程式可以查詢使用中的格式，但抽象表示應用程式不需要處理這些格式。

Microsoft Spatial Sound 與音訊轉譯器整合

因為 ISpatialAudioClient 是取用數據的音訊接收，所以音訊轉譯器有數個選項可用來與其互動及傳遞音訊數據。 有三種常用的整合技術（針對使用音訊中間件的標題，您可能會看到根據這些選項提供的對等外掛程式）：

  • 7.1.4 平移器和主控語音：已經支援 7.1 端點的 轉譯器可以選擇只新增 ISpatialAudioClient 靜態通道床支援的四個額外高度通道支援。 他們先前所做的任何通道移動流覽（可能已經利用 x、y、z 座標）都可以更新為現在包含這些高度通道。 這通常為轉譯器和應用程式音訊工作流程、訊號、流程和混合控制提供最少的中斷。 在耳機上，請注意，完整的應用程式混合會空間化，因此即使是立體聲音樂也可能被視為來自接聽程式的「外部化」。
  • 維護現有的端點，再加上新增 7.1.4 總線（和 panners）：某些標題可以選擇維護兩個 端點：其現有的立體聲 WASAPI 端點（用於「直接到耳朵」內容，並非要空間化）以及支援 7.1.4 的 ISpatialAudioClient 靜態通道床（甚至高達 8.1.4.4）。 當然，在兩個混合之間管理互動對內容建立者來說，雖然會維護同步處理，因為指定時間作用中的WASAPI和ISAC實例確實使用相同的緩衝區大小和時鐘進行處理。
  • 針對特定聲音或副混音使用動態音效物件：提供最詳細的/精確的定位，但可能建立混合不透明度，這項技術牽涉到使用 ISpatialAudioClient 動態音效物件。 請注意，元數據加上音頻緩衝區會傳遞至轉譯器，因此這些聲音會不透明到應用程式混合的其餘部分。 此外，由於可用的動態聲音物件數目有限，轉譯器必須考慮實作優先順序技術 – 撲殺、聲音共置、混合至靜態通道床等等。 遊戲經常將這項技術用於個人「英雄」的聲音，例如將四處移動的直升機在接聽程式上方。

轉譯器也可以混合和比對這些方法。

Microsoft Spatial Sound Runtime 資源含意

在 Windows 和 Xbox 上，可用的語音數目會根據使用中的格式而有所不同。 Dolby Atmos 格式支援 32 個作用中對象總計（因此，如果 7.1.4 通道床正在使用中，20 個額外的動態聲音物件可以使用）。 耳機用 Windows Sonic 支援 128 個作用中物件，低頻率效果 （LFE） 信道實際上不會計算為物件 -- 因此當 8.1.4.4 通道床使用時，112 個動態音效物件可以使用。

針對在 Xbox One 遊戲機上執行的 通用 Windows 平台 應用程式，即時編碼（適用於家用劇院的 Dolby Atmos、適用於耳機的 Dolby Atmos、適用於家庭影院的 DTS：X、DTS 耳機：X 和 耳機用 Windows Sonic）會在硬體中執行，無需 CPU 費用。

從 2303 Xbox OS 更新和遊戲開發工具套件 （GDK） 開始，Xbox 上的資源限制會更新為下列值：

格式 最大靜態物件 （通道床） 最大動態物件
Xbox Series X|S、UWP app & >=2303 GDK		 最大動態物件
Xbox 系列 X|S、XDK 和 <2303 GDK		 最大動態物件
Xbox One
杜比·阿特莫斯家庭劇院 （HDMI） 12 (7.1.4) 20 20 20
DTS：X 家庭劇院 （HDMI） 17 (8.1.4.4) 20 20 16
杜比·阿特莫斯 （耳機） 17 (8.1.4.4) 128 20 16
DTS 耳機：X （耳機） 17 (8.1.4.4) 200 20 16
Windows 音速 （耳機） 17 (8.1.4.4) 220 20 15

從 Windows 組建 22621 的 5 月服務版本開始，Windows 上的資源限制會更新為下列值：

格式 最大靜態物件 （通道床） 最大動態物件
Windows		 最大動態物件
HoloLens 2
多爾比·阿特莫斯家庭劇院 （HDMI） 12 (7.1.4) 20 N/A
家庭影院的 DTS：X （HDMI） 17 (8.1.4.4) 32 N/A
杜比·阿特莫斯 （耳機） 17 (8.1.4.4) 128 N/A
Dolby Atmos （內建喇叭） 17 (8.1.4.4) 128 N/A
DTS 耳機：X （耳機） 17 (8.1.4.4) 128 N/A
DTS：X Ultra （內建喇叭） 17 (8.1.4.4) 128 N/A
Windows 音速 （耳機） 17 (8.1.4.4) 128 31

針對先前的 Windows、Xbox 和 HoloLens 版本，適用下列資源限制。

格式 最大靜態物件 （通道床） 最大動態物件
Xbox One		 最大動態物件
Windows		 最大動態物件
HoloLens 2
杜比·阿特莫斯家庭劇院 （HDMI） 12 (7.1.4) 20 20 N/A
家庭影院的 DTS：X （HDMI） 17 (8.1.4.4) 16 32 N/A
杜比·阿特莫斯 （耳機） 17 (8.1.4.4) 16 16 N/A
Dolby Atmos （內建喇叭） 17 (8.1.4.4) N/A 16 N/A
DTS 耳機：X （耳機） 17 (8.1.4.4) 16 32 N/A
DTS Ultra （內建喇叭） 17 (8.1.4.4) N/A 32 N/A
耳機用 Windows Sonic 17 (8.1.4.4) 15 112 31

應用程式也應該考慮下列資源含意：

  • 儲存體/光盘頻寬：預先撰寫到 7.1.4 的線性內容通常大於 7.1 線性內容（雖然感知編解碼器已經常利用通道相互關聯，使這遠遠低於音頻數據的 50% 實際通道）
  • 其他數位訊號處理成本：某些先前的全球效果現在可能會成為每個動態音效對象的實例。 此外，某些內容建立者可能會想要更新某些 DSP 效果，以支援其他通道，或獨一無二地使用它們。

Microsoft Spatial Sound and Sound Spatialization Cues

Microsoft Spatial Sound 著重於在接聽程式周圍理想化球體上的音效定位模擬。 耳機用 Windows Sonic、DTS 耳機：X 和 Dolby Atmos 會實作喇叭對應和耳機虛擬化，但請注意，聲音空間仿真的許多其他層面，通常以內容建立者啟用的方式實作，都會留給現有的引擎。 內容建立者繼續使用現有的遊戲工具和程式，例如多普勒、距離型衰減和篩選、遮蔽和阻礙，以及環境殘響等空間提示。

其他資源

空間音效介面

介面 描述
ISpatialAudioClient 可讓用戶端建立從 3D 空間中位置發出音訊的音訊串流。
ISpatialAudioObject 表示 物件，提供相對於使用者從 3D 空間中的位置轉譯的音訊數據。
ISpatialAudioObjectRenderStream 提供控制空間音頻物件轉譯數據流的方法，包括啟動、停止和重設數據流。
ISpatialAudioObjectRenderStreamNotify 提供空間音訊客戶端回應 ISpatialAudioObjectRenderStream 狀態變更的通知。

 

注意

在 Xbox One 開發工具包 （XDK） 標題上使用 ISpatialAudioClient 介面時，您必須先呼叫 EnableSpatialAudio，再呼叫 IMMDeviceEnumerator：：EnumAudioEndpoints 或 IMMDeviceEnumerator：：GetDefaultAudioEndpoint。 若無法這麼做，會導致從呼叫 Activate 傳回E_NOINTERFACE錯誤。 EnableSpatialAudio 僅適用於 XDK 標題，不需要針對在 Xbox One 上執行的 通用 Windows 平台 應用程式呼叫，也不需要針對任何非 Xbox One 裝置呼叫。

 

空間音效結構

結構 描述
SpatialAudioObjectRenderStreamActivationParams 表示空間音訊轉譯數據流的啟用參數。
SpatialAudioClientActivationParams 表示空間音訊轉譯數據流的選擇性啟用參數。

 

空間音效列舉

列舉型別 描述
AudioObjectType 指定 ISpatialAudioObject 的類型。