Panoramica degli effetti di Windows Studio (anteprima)

  • Articolo

Gli effetti di Windows Studio usano l'intelligenza artificiale in dispositivi Windows selezionati con unità di elaborazione neurale compatibili (NPU) per applicare effetti speciali alla fotocamera del dispositivo (attualmente supporta la fotocamera anteriore) o il microfono incorporato. Gli effetti di intelligenza artificiale supportati dalla NPU includono:

  • Sfocatura sfondo
  • Contatto oculare
  • Inquadratura automatica
  • Messa a fuoco vocale

Animation showing Windows Studio Effects opening from the Windows 11 taskbar

Prerequisiti

  • Windows 11 versione 22H2 o successiva (Build 22623.885+).
  • Il dispositivo deve avere una NPU supportata e il produttore dell'hardware deve aver accodato il consenso esplicito installando il driver Windows Studio Effect nel sistema.

Come funzionaNo gli effetti di Windows Studio con l'hardware del dispositivo?

Gli effetti di Windows Studio sfruttano i modelli di intelligenza artificiale creati da Microsoft e compilati/ottimizzati per i dispositivi con un'unità di elaborazione neurale (NPU) per offrire effetti di intelligenza artificiale ad alta fedeltà e compatibile con la batteria che riducono il carico sulla CPU del dispositivo e sulla GPU e offrono un'esperienza di intelligenza artificiale Microsoft attendibile che si adatta all'intero ecosistema Windows per tutti i dispositivi compatibili.

Gli effetti di Windows Studio standardizzano le interfacce di controllo per la fotocamera e il microfono del dispositivo (api e proprietà del kernel streaming). Usando questa interfaccia di controllo, qualsiasi applicazione può:

  • Individuare se gli effetti sono supportati
  • Attivare o disattivare gli effetti in base alle esigenze
  • Accedere ai metadati disponibili

Gli effetti vengono applicati a livello hardware per la fotocamera (o il microfono), quindi una volta attivato un effetto negli effetti di Windows Studio, è attivato per impostazione predefinita per qualsiasi app che usa la fotocamera, anche se l'app non conosce l'effetto.

Altre informazioni sul funzionamento di questa funzionalità sono disponibili in Architettura degli effetti di Windows Studio.

Come controllare gli effetti di Windows Studio in Impostazioni

Gli effetti di Windows Studio possono essere aperti dalla barra delle applicazioni (come visualizzato nell'immagine precedente), ma possono anche essere controllati dal menu Impostazioni.

  • Aprire Impostazioni> Bluetooth & devices> Fotocamera s, quindi selezionare dall'elenco delle fotocamere Connessione ed e aprire le impostazioni per la fotocamera.
  • Vedrai un'anteprima del display della fotocamera anteriore e l'Fotocamera Effects elencato sotto di esso.

Windows Studio Effects Camera Settings screenshot

L'app Fotocamera Impostazioni è una nuova funzionalità di Windows 11 che consente ai clienti di visualizzare tutte le fotocamere nel sistema, selezionando i valori "predefiniti" preferiti da un set di controlli per ogni fotocamera, per utente, per computer.

L'app Fotocamera Impostazioni può regolare i controlli di base, ad esempio luminosità e contrasto, ma anche effetti di Windows Studio come sfocatura dello sfondo e contatto oculare.

L'app Fotocamera Impostazioni supporta anche l'estendibilità tramite le app complementari fornite dai produttori di fotocamere. Queste app complementari consentono ai produttori di dispositivi di offrire la propria interfaccia utente personalizzata per regolare le impostazioni della fotocamera e/o per fornire controlli per ulteriori effetti personalizzati della fotocamera (ad esempio, un interruttore attivato/disattivato per un effetto "Funny Hat" fornito dal produttore della fotocamera).

Gli effetti di Windows Studio supportati per la fotocamera anteriore integrata includono:

  • Effetti di sfondo: due modelli supportati...
    • Sfocatura standard - un semplice effetto sfocatura gaussiano
    • Sfocatura verticale - un effetto di sfocatura in stile bokeh
  • Contatto oculare: due modelli supportati...
    • Standard : correzione sottile per un utente del dispositivo che guarda verso il basso dalla fotocamera allo schermo
    • Migliorato : correzione più aggressiva per un cliente che analizza gli occhi intorno allo schermo durante la lettura del contenuto
  • Frame automatico: rileva una persona nel campo della fotocamera di visualizzazione e ritagli/zoom per mantenerli incorniciati
  • Messa a fuoco vocale: un effetto microfono progettato per filtrare il rumore di fondo, assicurandosi che la voce provenga chiaramente durante le videochiamate.

Nota

I criteri di rete con capacità inferiore possono supportare "Sfocatura Standard", ma non "Sfocatura verticale" a causa di limitazioni di calcolo. Quando un dispositivo supporta la sfocatura standard e verticale, l'interfaccia utente viene visualizzata come attiva/disattivata per "Effetti di sfondo" con una selezione di pulsanti di opzione tra "Sfocatura standard" e "Sfocatura verticale". Quando un sistema supporta solo sfocatura Standard, l'interfaccia utente viene visualizzata come interruttore Attivato/Disattivato per "Sfocatura dello sfondo". Inoltre, i CRITERI di rete con capacità inferiore possono supportare gli effetti "Standard", ma non "Enhanced" Eye Contact, con l'interfaccia utente che offre un interruttore Attivato/Disattivato con una selezione di pulsanti di opzione, incluso l'effetto "Avanzato" quando supportato.

Architettura degli effetti di Windows Studio

Quando una fotocamera è consenso esplicito all'uso di Effetti di Windows Studio, il pacchetto Effetti di Windows Studio viene concatenato alla fine della fotocamera. Ciò avviene in modo trasparente in modo che la fotocamera "reale" venga sostituita con una fotocamera "composita" costituita dalle funzionalità della fotocamera e dagli effetti di Intelligenza artificiale di Windows Studio. Il cliente finale vede ancora solo la fotocamera "reale", ma Gli effetti di Windows Studio sono ora disponibili per conto di tale fotocamera.

Diagram showing the

La fotocamera "Reale" include proprietà Kernal Streaming (KS), ad esempio Luminosità, Contrasto e altre proprietà implementate da Microsoft, nonché qualsiasi proprietà del cliente implementata dal driver OEM (Device Manufacturer).

Poiché Gli effetti di Windows Studio sono sempre l'ultimo elemento della catena, le applicazioni possono essere assicurate che se Gli effetti di Windows Studio sono abilitati per una fotocamera, che le proprietà Blur, Eye Contact e Automatic Frame KS implementate dalla fotocamera vengono fornite da Windows Studio Effects.

Quando la fotocamera non è consenso esplicito per l'uso di Effetti di Windows Studio, tutte le app che accedono alla fotocamera vedono solo le proprietà KS della fotocamera "Reale" (Luminosità, Contrasto e così via).

Quando la fotocamera è consenso esplicito per l'uso di Effetti di Windows Studio, tutte le app che accedono alla fotocamera possono visualizzare le proprietà KS della fotocamera "Reale", oltre alle proprietà KS effetti di Windows Studio che rappresentano effetti di intelligenza artificiale, ad esempio sfocatura dello sfondo, contatto oculare e così via.

Nel caso di una seconda implementazione della stessa proprietà KS inferiore nella catena (ad esempio, un DMFT dell'OEM implementa anche l'effetto sfocatura dello sfondo), tale implementazione rimarrà DISATTIVATa perché il valore predefinito per la proprietà Blur KS è OFF. Quando blur è attivato per la fotocamera, Windows Studio gestisce la richiesta internamente e non lo inoltra ad altri componenti (DMFT, driver AVStream e così via).

Questo approccio consente ai produttori di dispositivi (OEM, ad esempio Dell o Lenovo, e IHV, ad esempio Intel, AMD o NVIDIA) di implementare le proprie funzionalità di elaborazione della fotocamera all'interno dei DMFT o direttamente nella fotocamera prima che Windows Studio aggiunga le esperienze di intelligenza artificiale Windows standard.

Integrazione di app con Windows Studio Effects

Ogni volta che un'applicazione usa LE API Windows per avviare il flusso della fotocamera, Windows imposta il valore corrente della proprietà Kernel Streaming (KS) in modo che corrisponda al valore predefinito specificato nella Fotocamera Impostazioni Effetti di Windows Studio prima di passare il controllo all'applicazione. Se corrisponde al valore predefinito specificato in Fotocamera Impostazioni, la fotocamera verrà sempre avviata in uno stato noto.

Quando si esegue l'integrazione con Windows Studio Effects, un'applicazione può:

  • Accetta sempre il valore predefinito del sistema: l'utente determina le impostazioni di base (ad esempio. Luminosità) nel Fotocamera Impostazioni, applicando questo valore senza controlli in-app.
  • Avvia all'impostazione predefinita del sistema, ma l'utente si adatta in tempo reale: l'utente può regolare le impostazioni della fotocamera durante l'uso dell'app (ad esempio un dispositivo di scorrimento Luminosità all'interno dell'app) senza modificare il valore predefinito del sistema. L'utente può scegliere di salvare l'impostazione della fotocamera in-app per stabilire una nuova impostazione predefinita.

Se l'applicazione ha già scritto un valore in una proprietà KS con un valore predefinito impostato anche dalla pagina Impostazioni prima di avviare il flusso, Windows ignora l'applicazione del valore predefinito dell'utente all'avvio del flusso. Ad esempio, se la luminosità predefinita dell'utente è impostata su 60, ma l'app imposta il valore corrente di luminosità su 65 prima di avviare il flusso, la fotocamera inizierà con luminosità a 65 anziché a 60.

Nota

Alcuni controlli sono parte integrante dell'esperienza dell'app, che l'app potrebbe voler eseguire sempre l'override dell'impostazione predefinita del sistema. Ad esempio, Microsoft Teams esegue questa operazione con effetti in background. Indipendentemente dal fatto che l'utente abbia abilitato o disabilitato la sfocatura a livello globale nella pagina Fotocamera Impostazioni, il controllo Effetti di sfondo è visibile quando si aggiunge una chiamata in Teams e verrà applicato il valore selezionato nell'interfaccia utente dell'app. Dietro le quinte, Teams sfrutta in modo intelligente la segmentazione dello sfondo accelerata da NPU di Windows Studio per applicare gli effetti di sfocatura/sostituzione dello sfondo.

Indipendentemente dall'esperienza offerta dall'app, è sempre consigliabile fornire un pulsante o un collegamento ipertestuale in-app per avviare l'app Fotocamera Impostazioni. È possibile accedere al Fotocamera Impostazioni con questo collegamento:ms-settings

Fotocamera Impostazioni per una fotocamera specifica può essere avviata con questo formato di collegamento:ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>

Frammento di codice di esempio per richiamare Fotocamera Impostazioni per una fotocamera specifica

// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

Questa opzione è disponibile in Windows 11 versione 22H2 e successive. Nelle versioni precedenti di Windows 11, richiamare questo ms-settings collegamento consentirà all'utente di accedere alla pagina radice Fotocamera Impostazioni.

Applicare impostazioni aggiuntive della fotocamera

Dopo che il flusso della fotocamera è impostato su uno stato noto, un'applicazione è lieta di eseguire una query e applicare ulteriori configurazioni, scrivendo nuovi valori della proprietà KS nella fotocamera in base alle esigenze. Se un cliente usa un'app che non riconosce controlli fotocamera specifici (ad esempio, Luminosità o Sfocatura sfondo), le impostazioni per i controlli specificati dall'utente nella Fotocamera Impostazioni verranno comunque applicate all'app. Tuttavia, se un cliente usa un'app che riconosce tali controlli, l'app è in grado di modificare il valore corrente di tali controlli durante l'uso della fotocamera.

Le applicazioni non possono modificare il valore predefinito dei controlli. Questa precauzione garantisce che un'app non modifichi il comportamento di altre app che usano la fotocamera. Le impostazioni predefinite possono essere modificate solo dall'app Fotocamera Impostazioni.

In Windows 11, versione 22H2, i clienti che dispongono di un dispositivo che supporta Windows Studio Effects possono attivare/disattivare gli effetti direttamente dalla pagina Fotocamera Impostazioni, insieme ad altre impostazioni comuni per l'hardware della fotocamera.

Linee guida per il produttore dell'hardware Windows

I produttori di apparecchiature originali (OEM) che progettano hardware con le funzionalità più recenti di Windows 11 possono acconsentire esplicitamente all'uso degli effetti di Windows Studio.

Risoluzione dei problemi

L'app di Windows potrebbe avere funzionalità in-app esistenti che si sovrappongono agli effetti di intelligenza artificiale applicati alla fotocamera dagli effetti di Windows Studio (ad esempio, sfocatura dello sfondo). Se l'app Fotocamera Impostazioni non gestisce lo stato degli effetti forniti dalla fotocamera, la funzionalità in-app può non essere sincronizzata, causando problemi di esperienza utente.

Come evitare effetti sovrapposti

Si consideri un'app che offre una funzionalità sfocatura dello sfondo, in esecuzione in un sistema in cui la fotocamera supporta anche la proprietà KS di sfocatura dello sfondo applicata dagli effetti di Windows Studio e dall'app Fotocamera Impostazioni.

Se il cliente ha attivato la sfocatura dello sfondo in Fotocamera Windows Impostazioni'app, l'effetto fornito dalla fotocamera verrà applicato all'avvio della fotocamera. Quindi, il controllo sfocatura in-app verrebbe visualizzato come OFF nonostante un effetto sfocatura chiaramente attivo o come ATTIVATO con una doppia sfocatura (sfocatura della fotocamera più l'effetto sfocatura dell'app), sprecare risorse.

Quando si esegue su un dispositivo supportato, è consigliabile sfruttare direttamente Gli effetti di Windows Studio per offrire effetti ad alta fedeltà con risorse di sistema inferiori e impatto sulla durata della batteria. In questo modo, quando un cliente interagisce con i controlli in-app, sincronizza direttamente le funzionalità effetti di Windows Studio della fotocamera stessa. Per informazioni su come configurare questa sincronizzazione ed evitare questo problema di sovrapposizione, vedere la sezione Integrazione delle app con Windows Studio Effects precedente.

Se l'app è in esecuzione in un dispositivo che supporta Gli effetti di Windows Studio, ma preferisci che gli effetti vengano applicati da un altro servizio di terze parti (o non applicato affatto), devi disattivare gli effetti di Windows Studio in conflitto.

Per disattivare gli effetti di Windows Studio:

  1. Verificare la presenza di proprietà KS sovrapposte.
  2. Se sono presenti proprietà sovrapposte, impostarle su OFF all'avvio della fotocamera.

Ad esempio, se vuoi assicurarti che la funzionalità di sfocatura a livello di fotocamera sia disattivata, verifica se la fotocamera offre KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATIONe, in tal caso, assicurati che sia impostata su KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF.

Risorse aggiuntive