Spatial Sound pro vývojáře aplikací pro Windows, Xbox a Hololens 2

Poznámka

Tato dokumentace je určená pro cílovou skupinu vývojářů. Podporu koncového uživatele pro povolení prostorového zvuku na zařízení najdete v tématu Po zapnutí prostorového zvuku v Windows 10.

Microsoft Spatial Sound je řešení Microsoftu na úrovni platformy pro podporu prostorového zvuku na Xboxu, Windows a HoloLens 2, které umožňuje prostorové i vertikální zvukové efekty (nad nebo pod posluchačem). Prostorový zvuk mohou využívat jak desktopové aplikace pro Windows (Win32), tak aplikace pro Univerzální platforma Windows (UPW) na podporovaných platformách. Rozhraní API prostorového zvuku umožňují vývojářům vytvářet zvukové objekty, které emitují zvuk z pozic ve 3D prostoru. Dynamické zvukové objekty umožňují generovat zvuk z libovolné pozice v prostoru, což se může v průběhu času měnit. Můžete také určit, že zvukové objekty generují zvuk z jednoho z 17 předdefinovaných statických kanálů (8.1.4.4), které mohou představovat skutečné nebo virtualizované reproduktory. Uživatel vybere skutečný formát výstupu a může být abstrahován z implementace Microsoft Spatial Sound; zvuk bude prezentován stávajícím reproduktorům, sluchátkům a přijímačům domácího kina, aniž by bylo nutné měnit kód nebo obsah. Platforma plně podporuje kódování Dolby Atmos v reálném čase pro výstup HDMI i stereofonní sluchátka, kódování DTS:X pro sluchátka a Windows Sonic pro stereofonní sluchátka. Nakonec se aplikace Microsoft Spatial Sound řídí zásadami míchání systému a jejich zvuk se také bude kombinovat s aplikacemi, které nejsou prostorově orientované. Microsoft podpora prostorového zvuku je také integrována do Media Foundation; aplikace, které používají základ médií, mohou úspěšně přehrávat obsah Dolby Atmos bez další implementace.

Prostorový zvuk s Microsoft Spatial Sound podporuje televizory, domácí kina a soundbary, které podporují Dolby Atmos. Prostorový zvuk lze také použít s libovolnými sluchátky, které uživatel může vlastnit, se zvukem vykresleným platformou pomocí Windows Sonic pro sluchátka, Dolby Atmos pro sluchátka nebo DTS Headphone:X.

Povolení Microsoft prostorového zvuku

Ať už jako vývojář nebo uživatel, musí uživatel na svém zařízení povolit Microsoft Spatial Sound, aby mohl slyšet prostorový zvuk.

Windows

Na Windows počítačích se to provádí prostřednictvím stránky vlastností daného zvukového výstupního zařízení. V ovládacím panelu Zvuk vyberte výstupní zařízení a klikněte na Vlastnosti zařízení. Pokud zařízení podporuje prostorový zvuk, můžete v části prostorový zvuk stránce vybrat některý z dostupných formátů z rozevíracího seznamu Prostorový zvukový formát.

Funkci Microsoft Spatial Sound můžete povolit také tak, že kliknete pravým tlačítkem na ikonu Volume na hlavním panelu.

Xbox

Na Xbox Microsoft jsou funkce prostorového zvuku vždy dostupné pro uživatele a jsou povolené prostřednictvím nastavení Windows v části General -> Hlasitost a zvukový výstup.

Zvukové tlačítko HDMI je naplněno všemi formáty podporovanými audio video receiverem (AVR) nebo soundbarem nebo tv, který je přímo připojený k konzole Xbox. Možnost Optického zvuku je dostupná pouze na starších Xbox konzolách, nikoli na Xbox Series X|S a novějších.

Všimněte si, že při výběru možností "Dolby Atmos pro domácí kino (pouze HDMI)" nebo "DTS:X pro domácí kino (pouze HDMI)" se uživateli zobrazí výzva ke stažení a instalaci aplikací Dolby Access nebo DTS Sound Unbound, pokud ještě nejsou nainstalované.

Vyberte Dolby Atmos pro sluchátka, DTS Headphone:X nebo Windows Sonic pro sluchátka z rozevíracího seznamu Headset formát pod Headset audio

Pokud Microsoft Spatial Sound není k dispozici (například při přehrávání na vložené stereofonní reproduktory přenosného počítače nebo pokud uživatel explicitně nepovolil Microsoft Spatial Sound podle výše), počet dostupných dynamických objektů vrácených ISpatialAudioClient::GetMaxDynamicObjectCount aplikace bude 0.

HoloLens 2

Na HoloLens 2 je ve výchozím nastavení povolen Microsoft Spatial Sound a používá hardwarové přesměrování DSP navržené speciálně pro Windows Sonic pro sluchátka.

Microsoft middleware pro prostorový zvuk a audio

Mnoho vývojářů aplikací a her používá řešení pro vykreslování zvuku třetích stran, která často obsahují sofistikované nástroje pro vytváření a auditování. Microsoft spolupracuje s několika z těchto poskytovatelů řešení, aby ve svých stávajících prostředích pro vytváření implementovali Microsoft Spatial Sound. To často znamená, že zde probíraná rozhraní API jsou oddělená od zobrazení aplikace; jsou zabalené jako DSP moduly plug-in (Digital Signal Processing), které aplikace je schopna instancovat a které může zvukový implementátor aplikace použít ke směšování do kanálového základu pro Microsoft Spatial Sound, submixu nebo odesílání jednotlivých hlasů do dynamických objektových instancí plug-inů podle potřeby. Obraťte se na poskytovatele zvukového middlewarového řešení a požádejte ho o podporu Microsoft Spatial Sound.

Microsoft prostorový zvuk pro zvukové renderery

Mnoho rendererů zvuku cílí na koncový bod Windows rozhraní WASAPI (Audio Session API) IAudioClient, kde aplikace odesílá vyrovnávací paměti smíšených a formátovaných zvukových dat do jímky zvuku WASAPI; doručené vyrovnávací paměti se pak spotřebovávají pro kombinování s jinými klienty, finálním zpracováním na úrovni systému a vykreslováním.

Microsoft prostorové koncové body zvuku se implementují jako ISpatialAudioClient, které mají mnoho podobností s IAudioClient. Podporuje statické zvukové objekty tvořící základní zvukovou vrstvu s podporou až 8.1.4.4 kanálů (8 kanálů kolem posluchače – vlevo, vpravo, uprostřed, na straně vlevo, na straně vpravo, vzadu vlevo, vzadu vpravo a vzadu uprostřed; 1 kanál s nízkými frekvencemi; 4 kanály nad posluchačem; 4 kanály pod posluchačem). A podporuje dynamické zvukové objekty, které lze libovolně umístit do 3D prostoru.

Obecný vzor kódování implementace pro ISpatialAudioClient je:

• Vytváření statických a/nebo dynamických zvukových objektů
• Napojte každý zvukový buffer objektu každý snímek, aby jej systém mohl vykreslit.
• Aktualizujte 3D pozice dynamických objektů na vyžádání – často (nebo zřídka) tak často, jak si aplikace přeje.

Všimněte si, že aktuální výstupní formát (reproduktory nebo sluchátka; Windows Sonic for Headphones, Dolby Atmos nebo DTS Headphone:X) je abstrahován z výše uvedené implementace – vývojář aplikace se může soustředit na prostorový zvuk, aniž by se museli přecházet na základě formátu. Aplikace, které chtějí, aby se jejich chování rozbíhalo podle výstupního formátu, se mohou dotazovat na formát, který je používán, ale abstrakce znamená, že aplikace není povinna zpracovávat tyto formáty.

integrace prostorového zvuku Microsoft se zvukovými renderery

Vzhledem k tomu, že ISpatialAudioClient je jímka zvuku, která spotřebovává data, nabízí renderer zvuku několik možností pro interakci a doručování zvukových dat. Existují tři běžně používané techniky integrace (a u titulů používajících zvukový middleware mohou být k dispozici ekvivalentní zásuvné moduly podle těchto možností):

• Pannery 7.1.4 a mastering voice: Rendery, které již podporují koncové body 7.1, se můžou rozhodnout jednoduše přidat podporu pro čtyři další výškové kanály, které statická skupina kanálů ISpatialAudioClient podporuje. Jakékoli posouvání kanálů, které dříve provedly (pravděpodobně již využívají souřadnice x,y, z), lze nyní aktualizovat tak, aby zahrnovaly tyto kanály výšky. To často nabízí nejmenší narušení pracovních postupů vykreslování a zvukových aplikací, řízení signálu, toku a mixu. U sluchátek si všimněte, že plná kombinace aplikací bude prostorová – takže i stereo hudba může být vnímána jako "externalizovaná" z naslouchacího procesu.
• Udržovat existující koncový bod a přidat sběrnici 7.1.4 (a odlaďovače): Některé projekty se mohou rozhodnout zachovat dva koncové body: jejich stávající stereo koncový bod WASAPI (pro obsah 'přímo do uší', který nemá být prostorový) spolu s ISpatialAudioClient statický kanálový základ podporující 7.1.4 (nebo dokonce až 8.1.4.4). Samozřejmě, správa interakcí mezi dvěma kombinacemi představuje pro tvůrce obsahu další výzvy, i když je synchronizace zachována, protože instance WASAPI a ISAC aktivní v daném okamžiku používají stejnou velikost vyrovnávací paměti a hodiny ke zpracování.
• Použít dynamické zvukové objekty pro určité hlasy nebo submixy: Tato technika může nabízet nejpodrobnější nebo nejpřesnější umístění, ale může potenciálně způsobit neprůhlednost mixu, a zahrnuje použití dynamických zvukových objektů ISpatialAudioClient. Všimněte si, že metadata a vyrovnávací paměť zvuku se do rendereru doručí, takže tyto zvuky budou neprůhledné pro zbytek mixu aplikace. Kromě toho, vzhledem k tomu, že existuje omezený počet dostupných dynamických zvukových objektů, bude muset renderer zvážit implementaci technik stanovení priority – redukcí, sdílené umístění zvuku, překrytí se statickým kanálovým rozložením a tak dále. Hry často používaly tuto techniku pro jednotlivé "hrdinové" zvuky, jako je vrtulník, který se bude pohybovat kolem nad posluchačem.

Zobrazovače mohou také kombinovat a přizpůsobovat mezi těmito přístupy.

Microsoft důsledky prostředků prostředí Spatial Sound Runtime

Na Windows a Xbox se počet dostupných hlasů liší podle používaného formátu. Formáty Dolby Atmos podporují celkem 32 aktivních objektů (takže pokud se používá 7.1.4 kanálová postel, může být aktivní 20 dalších dynamických zvukových objektů). Windows Sonic pro sluchátka podporuje 128 celkových aktivních objektů, přičemž kanál LFE (Low Frequency Effects) se ve skutečnosti nepočítá jako objekt, takže když je použit kanál 8.1.4.4, může být aktivních 112 dynamických zvukových objektů.

Pro Univerzální platforma Windows aplikace běžící na herních konzolích Xbox One se kódování v reálném čase (pro Dolby Atmos for Home Theater, Dolby Atmos pro sluchátka, DTS:X pro domácí kino, DTS Headphone:X a Windows Sonic pro sluchátka) provádí v hardwaru bez zatížení procesoru.

Počínaje aktualizací systému Xbox OS 2303 a sadou Game Development Kit (GDK) se limity prostředků pro Xbox jsou aktualizovány na následující hodnoty:

Formát	Maximální počet statických objektů (dno kanálu)	Maximální počet dynamických objektů Xbox Series X|S, aplikace pro UWP a >=2303 GDK	Maximální počet dynamických objektů Xbox Series X|S, XDK & 2303 GDK	Maximální počet dynamických objektů Xbox One
Dolby Atmos pro domácí divadlo (HDMI)	12 (7.1.4)	20	20	20
DTS:X pro domácí divadlo (HDMI)	17 (8.1.4.4)	20	20	16
Dolby Atmos (sluchátka)	17 (8.1.4.4)	128	20	16
Sluchátka DTS:X (sluchátka)	17 (8.1.4.4)	200	20	16
Windows Sonic (sluchátka)	17 (8.1.4.4)	220	20	15

Počínaje květnovou servisní verzí na Windows build 22621 se limity prostředků pro Windows aktualizují na následující hodnoty:

Formát	Maximální počet statických objektů (kanálové lůžko)	Maximální počet dynamických objektů Windows	Maximální počet dynamických objektů HoloLens 2
Domácí divadlo Dolby Atmos (HDMI)	12 (7.1.4)	20	Není k dispozici
DTS:X pro domácí divadlo (HDMI)	17 (8.1.4.4)	32	Není k dispozici
Dolby Atmos (sluchátka)	17 (8.1.4.4)	128	Není k dispozici
Dolby Atmos (vestavěné reproduktory)	17 (8.1.4.4)	128	Není k dispozici
Sluchátka DTS:X (sluchátka)	17 (8.1.4.4)	128	Není k dispozici
DTS:X Ultra (vestavěné reproduktory)	17 (8.1.4.4)	128	Není k dispozici
Windows Sonic (sluchátka)	17 (8.1.4.4)	128	31

U předchozích verzí Windows, Xbox a HoloLens platí následující omezení prostředků.

Formát	Maximální počet statických objektů (kanálová základna)	Maximální počet dynamických objektů Xbox One	Maximální počet dynamických objektů Windows	Maximální počet dynamických objektů HoloLens 2
Dolby Atmos pro domácí divadlo (HDMI)	12 (7.1.4)	20	20	Není k dispozici
DTS:X pro domácí divadlo (HDMI)	17 (8.1.4.4)	16	32	Není k dispozici
Dolby Atmos (sluchátka)	17 (8.1.4.4)	16	16	Není k dispozici
Dolby Atmos (vestavěné reproduktory)	17 (8.1.4.4)	Není k dispozici	16	Není k dispozici
Sluchátka DTS:X (sluchátka)	17 (8.1.4.4)	16	32	Není k dispozici
DTS Ultra (vestavěné reproduktory)	17 (8.1.4.4)	Není k dispozici	32	Není k dispozici
Windows Sonic pro sluchátka	17 (8.1.4.4)	15	112	31

Aplikace by také měly zvážit následující důsledky pro prostředky:

• šířka pásma úložiště/disku: Lineární obsah předem vytvořený ve formátu 7.1.4 bude obvykle větší než lineární obsah ve formátu 7.1, i když perceptuální kodeky často využívají korelaci mezi kanály, aby toto číslo bylo mnohem nižší než 50% dodatečných skutečných kanálů zvukových dat.
• Jiné náklady na zpracování digitálních signálů: Některé dříve globální efekty se nyní mohou stát instancemi dynamických zvukových objektů. Někteří tvůrci obsahu navíc můžou chtít některé efekty DSP aktualizovat tak, aby podporovaly další kanály nebo je používaly jedinečně.

Microsoft prostorový zvuk a zvukové prostorové efekty

Microsoft Spatial Sound se zaměřuje na simulaci umístění zvuku na idealizované sféře kolem posluchače. Windows Sonic for Headphones, DTS Headphone:X a Dolby Atmos implementují mapování a virtualizaci reproduktorů na sluchátka, ale všimněte si, že mnoho dalších aspektů zvukové prostorové simulace, které jsou již obvykle implementovány ve způsobech s podporou tvůrce obsahu, jsou ponechány stávajícím modulům. Tvůrci obsahu nadále používají stávající herní nástroje a procesy, které dříve měli na prostorové pomůcky, jako je Doppler, ztlumení a filtrování na základě vzdálenosti, okluze, obstrukce a dozvuku prostředí.

Další zdroje informací

• Úložiště GitHub s ukázkami Microsoft Spatial Sound
• Dolby nabízí řadu podpůrných zdrojů týkajících se Dolby Atmos a aplikace Dolby Access, včetně podpory znalostní báze Vývoj aplikací a Dolby Access .

Rozhraní prostorového zvuku

Rozhraní	Popis
ISpatialAudioClient	Umožňuje klientovi vytvářet zvukové streamy, které generují zvuk z pozice ve 3D prostoru.
ISpatialAudioObject	Představuje objekt, který poskytuje zvuková data k vykreslení z pozice v 3D prostoru ve vztahu k uživateli.
ISpatialAudioObjectRenderStream	Poskytuje metody pro řízení datového proudu pro vykreslování prostorového zvukového objektu, včetně spuštění, zastavení a resetování tohoto proudu.
ISpatialAudioObjectRenderStreamNotify	Poskytuje oznámení prostorovým zvukovým klientům, kteří reagují na změny ve stavu ISpatialAudioObjectRenderStream.

 

Poznámka

Při použití rozhraní ISpatialAudioClient v titulu pro sadu Xbox One Development Kit (XDK) musíte nejprve zavolat EnableSpatialAudio před voláním IMMDeviceEnumerator::EnumAudioEndpoints nebo IMMDeviceEnumerator::GetDefaultAudioEndpoint. Pokud tak neučiníte, výsledkem bude chyba E_NOINTERFACE vrácena při volání funkce Activate. EnableSpatialAudio je k dispozici pouze pro tituly XDK a nemusí být volána pro aplikace Univerzální platforma Windows běžící na Xbox One ani pro zařízení jiná než Xbox One.

 

Prostorové zvukové struktury

Struktura	Popis
SpatialAudioObjectRenderStreamActivationParams	Představuje aktivační parametry pro renderovací stream prostorového zvuku.
SpatialAudioClientActivationParams	Představuje volitelné aktivační parametry pro stream prostorového zvukového vykreslení.

 

Výčty prostorového zvuku

Výčet	Popis
AudioObjectType	Určuje typ objektu ISpatialAudioObject.