Přehled Windows Studio Effects

Windows Studio Effects využívá AI na vybraných zařízeních s Windows s kompatibilními jednotkami NPU (Neural Processing Units) k použití speciálních efektů na fotoaparát zařízení (aktuálně podporuje přední kameru) nebo integrovaný mikrofon. Mezi efekty AI podporované NPU patří:

• Rozostření pozadí
• Kontakt očima
• Automatické rámování
• Hlasový fokus
• Portrétní osvětlení
• Kreativní filtry
• Teleprompter pro oční kontakt

Seznam vylepšení umělé inteligence ve Windows Studio Effects

Požadavky

• Windows 11 verze 22H2 nebo novější (build 22623.885+).
• Zařízení musí mít podporovanou NPU a výrobce hardwaru se musí přihlásit a nainstalovat ovladač Windows Studio Effect v systému. (Podívejte se na počítače Copilot+ podporované NPU).

Pokud vaše zařízení tyto funkce AI podporuje, uvidíte v pravém dolním rohu v „rychlém nastavení“ položku „Efekty studia“. Můžete to také zkontrolovat tak, že navštívíte Nastavení>Bluetooth a zařízení>Fotoaparáty a pak vyberete ze seznamu připojených fotoaparátů a otevřete nastavení pro tuto kameru. Pod náhledem videa se zobrazí část s názvem "Windows Studio Effects." Pokud se zobrazí jen "základní nastavení," Studio Effects se pravděpodobně nepodporují.

Jak fungují Windows Studio Effects s hardwarem vašeho zařízení?

Windows Studio Effects využívá modely AI vytvořené Microsoftem a kompilované a optimalizované pro zařízení s neurálním procesorem (NPU), které poskytují vysoce věrné efekty AI, které snižují zátěž procesoru a GPU zařízení a poskytují důvěryhodné prostředí Umělé inteligence Microsoftu, které se škáluje napříč celým ekosystémem Windows pro všechna kompatibilní zařízení.

Windows Studio Effects standardizuje řídicí rozhraní pro kameru a mikrofon zařízení (vlastnosti streamování jádra a rozhraní API). Pomocí tohoto řídicího rozhraní může každá aplikace:

• Zjištění, jestli jsou podporované efekty
• Zapnutí nebo vypnutí efektů podle potřeby
• Přístup k dostupným metadatům

Efekty se použijí na úrovni hardwaru fotoaparátu (nebo mikrofonu), takže jakmile je efekt ve Windows Studio Effectszapnutý , je ve výchozím nastavení zapnutá pro libovolnou aplikaci používající kameru, i když aplikace o efektu neví.

Přečtěte si další informace o tom, jak to funguje v architektuře WindowsStudio Effects.

Jak ovládat Windows Studio Effects v Nastavení

Windows Studio Effects lze otevřít z hlavního panelu (jak je znázorněno na obrázku výše), ale můžete ho ovládat také z nabídky Nastavení.

• Otevřete Nastavení>Bluetooth a zařízení>Fotoaparáty a pak vyberte ze seznamu připojených fotoaparátů a otevřete nastavení pro tuto kameru.
• Zobrazí se náhled předního displeje fotoaparátu a efekty fotoaparátu uvedené pod ním.

Aplikace nastavení kamery je nová funkce ve Windows 11, která umožňuje zákazníkům zobrazit všechny kamery v systému a vybrat upřednostňované "výchozí" hodnoty ze sady ovládacích prvků pro jednotlivé kamery, uživatele a počítače.

Aplikace Nastavení fotoaparátu může upravovat základní ovládací prvky, jako je jas a kontrast, ale také efekty windows Studio, jako je rozostření pozadí a oční kontakt.

Aplikace Nastavení fotoaparátu také podporuje rozšiřitelnost prostřednictvím doprovodných aplikací poskytovaných výrobci fotoaparátů. Tyto doprovodné aplikace umožňují výrobcům zařízení nabídnout vlastní uživatelské rozhraní pro úpravu nastavení kamery a/nebo poskytnutí ovládacích prvků pro další vlastní efekty fotoaparátu (například přepínač zapnuto/vypnuto pro efekt "Funny Hat", který poskytuje výrobce fotoaparátu).

Podporované systémy Windows s označením Studio Effects pro integrovanou přední kameru zahrnují:

• Efekty pozadí: Dva podporované modely...
  • Standardní rozostření - jednoduchý efekt gaussovského rozostření.
  • Rozostření portrétu - jemný efekt rozostření ve stylu bokeh. V závislosti na schopnosti zařízení to může být jemné nebo rozostření na základě hloubky.
• Oční kontakt: Dva podporované modely...
  • Standardní – drobná oprava pro uživatele zařízení, který se dívá z fotoaparátu na obrazovku. *Neupravuje levý ani pravý pohyb očí.
  • Teleprompter – agresivnější oprava pro zákazníka, který kontroluje oči po celé obrazovce při čtení obsahu teleprompteru.
• Automatické rámování: Rozpozná osobu v zorném poli kamery a ořízne nebo přiblíží, aby byla zarámovaná.
• Portrétní osvětlení: Zlepšete kvalitu osvětlení osoby ve videu při špatném osvětlení prostředí a odstraňte silný odraz světla obrazovky.
• Kreativní filtry: Video filtry, které přidávají zábavu a šmrnc.

Poznámka

Jednotky NPU s nižší kapacitou můžou podporovat "Standardní rozostření", ale ne "Portrétní rozostření" z důvodu omezení výpočetních prostředků. Pokud zařízení podporuje jak standardní rozostření, tak rozostření na výšku, uživatelské rozhraní se zobrazí jako přepínač Zapnuto/Vypnuto pro "Efekty pozadí" s volbou mezi "Standardní rozostření" a "Rozostření na výšku". Pokud systém podporuje pouze standardní rozostření, uživatelské rozhraní se zobrazí jako přepínač Zapnuto/Vypnuto pro rozostření pozadí. NPU s nižší kapacitou může navíc podporovat "Standardní", ale nikoli "Teleprompter" efekt očního kontaktu. Uživatelské rozhraní nabízí přepínač Zapnuto/Vypnuto s volbou rádia, včetně efektu Teleprompteru, pokud je podporován.

Podporované verze Windows Studio Effects pro integrovaný mikrofon zahrnují:

• Hlasový fokus: Mikrofonní efekt navržený tak, aby odfiltruje šum na pozadí a zajišťuje, aby váš hlas během videohovorů prošel jasně.

Architektura windows Studio Effects

Pokud je kamera zvolena pro používání systému Windows Studio Effects, balíček Windows Studio Effects se naváže ke kameře. K tomu dochází transparentně, aby "skutečná" kamera byla nahrazena "složenou" kamerou, která se skládá z funkcí kamery a efektů AI pro Windows Studio. Koncový zákazník stále vidí jenom skutečnou kameru, ale windows Studio Effects jsou nyní k dispozici jménem této kamery.

"Skutečná" kamera zahrnuje vlastnosti Kernel Streaming (KS), jako je jas, kontrast a další vlastnosti implementované Microsoftem, a také veškeré vlastní vlastnosti implementované ovladačem výrobce zařízení (OEM).

Vzhledem k tomu, že Windows Studio Effects je vždy poslední položkou v řetězu, mohou si být aplikace jisté, že pokud je systém Windows Studio Effects povolen pro kameru, vlastnosti Rozostření pozadí, Oční kontakt a Automatické rámování KS implementované kamerou jsou poskytovány systémem Windows Studio Effects.

Pokud se fotoaparát nepřihlásí k používání Windows Studio Effects, všechny aplikace, které přistupují k fotoaparátu, uvidí jenom vlastnosti KS skutečné kamery (Jas, Kontrast atd.).

Když je fotoaparát přihlášený k používání Windows Studio Effects, všechny aplikace, které přistupují k fotoaparátu, uvidí vlastnosti KS skutečné kamery kromě vlastností KS ve Windows Studio Effects , které představují efekty AI, jako je rozostření pozadí, oční kontakt atd.

V případě druhé implementace téže vlastnosti KS níže v řetězci (například DMFT z OEM také implementuje efekt Rozostření pozadí) zůstane tato implementace VYPNUTO, protože výchozí hodnota vlastnosti KS Rozostření je vypnutá. Pokud je rozostření u kamery zapnuto, Windows Studio zpracovává požadavek interně a nepředá ho dále do jiných komponent (DMFT, ovladač AVStream atd.).

Tento přístup umožňuje výrobcům zařízení (OEM, jako jsou Dell nebo Lenovo, a IHVs, jako jsou Intel, AMD nebo NVIDIA), implementovat vlastní funkce pro zpracování fotoaparátů v rámci DMFT nebo přímo ve fotoaparátu před tím, než Windows Studio přidá do něj standardní prostředí Windows AI.

Integrace aplikací s Windows Studio Effects

Pokaždé, když každá aplikace ke spuštění streamu fotoaparátu používá rozhraní API systému Windows, systém Windows nastaví aktuální hodnotu vlastnosti Streamování jádra (KS) tak, aby odpovídala výchozí hodnotě zadané v nastavení fotoaparátu systému Windows Studio Effects před předáním kontroly do aplikace. Když se shoduje s výchozí hodnotou zadanou v nastavení fotoaparátu, fotoaparát se vždy spustí ve známém stavu.

Při integraci s Windows Studio Effectsmůže aplikace:

• Vždy přijměte výchozí nastavení systému – Uživatel určuje základní nastavení (tj. Jas) v nastavení fotoaparátu a použití této hodnoty bez jakýchkoli ovládacích prvků v aplikaci.
• Start na výchozím nastavení systému, ale uživatel může upravovat v reálném čase – Uživatel může upravit nastavení kamery při používání aplikace (např. posuvník jasu), aniž by změnil výchozí systémové nastavení. Uživatel se může rozhodnout uložit nastavení fotoaparátu v aplikaci a vytvořit nové výchozí nastavení.

Pokud aplikace již napsala hodnotu do vlastnosti KS, která má také výchozí hodnotu nastavenou ze stránky Nastavení před spuštěním datového proudu, Systém Windows přeskočí použití výchozí hodnoty uživatele při spuštění datového proudu. Pokud je například výchozí jas uživatele nastavený na 60, ale aplikace nastaví aktuální hodnotu jasu na 65 před spuštěním datového proudu, kamera začne jasem 65 místo 60.

Poznámka

Některé ovládací prvky jsou tak nedílnou součástí prostředí aplikace, že aplikace může mít potřebu vždy přepsat výchozí nastavení systému. Například Microsoft Teams to dělá s efekty na pozadí. Bez ohledu na to, jestli uživatel na stránce Nastavení fotoaparátu povolil nebo zakázal rozostření, je ovládací prvek Efekty pozadí viditelný při připojování hovoru v Teams a použije se hodnota vybraná v uživatelském rozhraní aplikace. V zákulisí Teams inteligentně využívá segmentaci pozadí akcelerovanou pomocí NPU ve Windows Studio k aplikaci účinků rozostření či nahrazení pozadí.

Bez ohledu na to, které prostředí aplikace nabízí, je vždy vhodné poskytnout tlačítko nebo hypertextový odkaz v aplikaci, aby se spustila aplikace Nastavení fotoaparátu. K nastavení fotoaparátu se dostanete pomocí tohoto odkazu: ms-settings

Nastavení fotoaparátu pro konkrétní kameru lze spustit pomocí tohoto formátu odkazu: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>

Kompletní ukázku kódu aplikace, která komunikuje s Windows přes rozhraní API fotoaparátu, najdete v úložišti GitHubu pro WindowsStudio Effects.

Ukázkový fragment kódu pro vyvolání nastavení fotoaparátu pro konkrétní kameru

// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

Je k dispozici ve Windows 11 verze 22H2 a novějších verzích. Ve starších verzích Windows 11 se vyvoláním tohoto odkazu ms-settings uživatel přejde na stránku Nastavení kořenové kamery.

Použití dalších nastavení kamery

Po nastavení datového proudu fotoaparátu na známý stav může aplikace provést dotaz a použít další konfiguraci, přičemž podle potřeby zapisuje nové hodnoty vlastností KS do kamery. Pokud zákazník používá aplikaci, která neví o konkrétních ovládacích prvcích fotoaparátu (například Jas nebo Rozostření pozadí), nastavení těchto ovládacích prvků, které uživatel zadaný v nastavení fotoaparátu stále použije pro aplikaci. Pokud ale zákazník používá aplikaci, která o těchto ovládacích prvcích ví, může aplikace při používání fotoaparátu změnit aktuální hodnotu těchto ovládacích prvků.

Aplikace nesmí měnit výchozí hodnotu ovládacích prvků. Toto opatření zajistí, že jedna aplikace nezmění chování ostatních aplikací, které používají kameru. Výchozí hodnoty lze změnit jenom z aplikace Nastavení fotoaparátu.

Ve Windows 11 verze 22H2 můžou zákazníci, kteří mají zařízení podporující Windows Studio Effects zapnout nebo vypnout efekty přímo ze stránky Nastavení fotoaparátu a další běžná nastavení hardwaru fotoaparátu.

Pokyny pro výrobce hardwaru windows

Výrobci originálních zařízení (OEM), kteří navrhují hardware s nejnovějšími funkcemi Windows 11 , se můžou přihlásit k používání Windows Studio Effects.

Řešení problémů

Vaše aplikace pro Windows může mít existující funkce v aplikaci, které se překrývají s efekty AI použitými ve vaší kameře ve Windows Studio Effects (například rozostření pozadí). Pokud aplikace Nastavení fotoaparátu nespravuje stav efektů poskytovaných fotoaparátem, funkce v aplikaci se můžou synchronizovat a způsobit problémy s uživatelskými zkušenostmi.

Jak se vyhnout překrývajícím se efektům

Představte si aplikaci, která nabízí funkci rozostření pozadí , běžící na systému, kde fotoaparát také podporuje vlastnost rozostření pozadí KS , aplikovanou Windows Studio Effects a aplikací pro nastavení fotoaparátu.

Pokud zákazník zapnul rozostření pozadí v aplikaci Nastavení fotoaparátu systému Windows, použije se efekt poskytnutý fotoaparátem při spuštění kamery. Potom by se ovládací prvek rozostření v aplikaci zobrazoval buď jako VYPNUTO, i když je jasně aktivován efekt rozostření, nebo jako ZAPNUTO s dvojitým rozostřením (rozostření kamery a efekt rozostření aplikace), což plýtvá prostředky.

Při spouštění na podporovaném zařízení doporučujeme přímo využít Windows Studio Effects k zajištění vysoce věrných efektů s nižšími systémovými prostředky a dopadem na životnost baterie. Když zákazník komunikuje s ovládacími prvky v aplikaci, synchronizuje se přímo s funkcemi samotné kamery ve Windows Studio Effects. Postup nastavení této synchronizace a zabránění tomuto překrývání najdete v části Integrace aplikací s Windows Studio Effects výše.

Pokud je vaše aplikace spuštěná na zařízení, které podporuje Windows Studio Effects, ale dáváte přednost použití jiné služby třetí strany (nebo vůbec nepoužíváte), měli byste vypnout konfliktní windows Studio Effects.

Vypnutí windows Studio Effects:

1. Zkontrolujte přítomnost překrývajících se vlastností KS.
2. Pokud jsou přítomny překrývající se vlastnosti, při spuštění kamery je nastavte na VYPNUTO .

Pokud chcete například zajistit, aby byla funkce rozostření na úrovni kamery vypnutá, zkontrolujte, jestli fotoaparát nabízí KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION, a pokud ano, ujistěte se, že je nastavená na KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.

Závazek Microsoftu k zodpovědné umělé inteligenci

K zajištění důvěryhodnosti, zabezpečení a zodpovědného vytváření windows Studio Effects používá modely, které byly důkladně vyhodnoceny, řízeny a natrénovány testováním nestrannosti v průběhu vývoje.

Kromě toho sada dat používaná kreativními filtry zahrnuje 3 000 ručně nakreslených portrétů uživatelů různých věkových kategorií, pohlaví a ras, přičemž každá sada je určená pro dodržování průvodce stylem vytvořeným na základě studie uživatelských preferencí. Pro Teleprompter a Kreativní filtry byly do produktové funkce pro lidi s jedinečnými vlastnostmi očí vloženy velké pozornosti.

Další zdroje informací

• Vývoj zodpovědných aplikací a funkcí umělé inteligence ve Windows
• Správa fotoaparátů pomocí nastavení fotoaparátu ve Windows 11: Podpora Windows Studio Effects
• Výhody zařízení s prostředími AI