Windows Studio 効果の概要 (プレビュー)

Windows Studio Effects は、互換性のあるニューラル処理ユニット (NPU) を持つ一部の Windows デバイスで AI を利用して、デバイス カメラ (現在は前面カメラをサポート) または組み込みのマイクに特殊効果を適用します。 NPU でサポートされる AI 効果は次のとおりです。

• 背景ぼかし
• アイコンタクト
• 自動フレーミング
• 音声フォーカス

前提条件

• Windows 11 バージョン 22H2 以降 (ビルド 22623.885 以降)。
• デバイスにはサポートされている NPU が必要であり、ハードウェアの製造元がシステムに Windows Studio Effect ドライバーをインストールしてオプトインしている必要があります。

Windows Studio Effects はデバイス ハードウェアでどのように動作しますか?

Windows Studio Effects は、Microsoft によって構築され、ニューラル処理ユニット (NPU) を搭載したデバイス用にコンパイル/最適化された AI モデルを活用して、デバイスの CPU と GPU の負担を軽減し、互換性のあるデバイスに対する Windows エコシステム全体にわたってスケーリングする信頼できる Microsoft AI エクスペリエンスを提供する、高忠実でバッテリーに優しい AI 効果を提供します。

Windows Studio Effects では、デバイス カメラとマイク (カーネル ストリーミング プロパティと API) のコントロール インターフェイスが標準化されています。 このコントロール インターフェイスを使用すると、任意のアプリケーションで次のことができます。

• 効果がサポートされているかどうかを検出する
• 必要に応じて効果をオンまたはオフにする
• 使用可能なメタデータにアクセスする

効果はカメラ (またはマイク) のハードウェア レベルで適用されるため、Windows Studio Effects で効果がオンになると、その効果がアプリで認識されていなくても、カメラを使用するアプリでは既定でオンになります。

Windows Studio 効果アーキテクチャでの 動作の詳細について説明します。

設定で Windows Studio の効果を制御する方法

Windows Studio の効果はタスク バーから開くことができます (上の図に示すように)。ただし、設定 メニューから制御することもできます。

• 設定>カメラデバイス>を開き、[接続されているカメラ] の一覧から選択し、そのカメラの設定を開きます。
• 正面カメラディスプレイのプレビューと、その下にカメラ効果が表示されます。

カメラ 設定 アプリは、Windows 11 の新機能です。これにより、お客様はシステム上のすべてのカメラを表示し、カメラごと、ユーザーごと、コンピューターごとに一連のコントロールから優先される "既定" の値を選択できます。

カメラ 設定 アプリでは、明るさやコントラストなどの基本的なコントロールを調整できますが、背景のぼかしや目の接触などの Windows Studio の効果も調整できます。

カメラ 設定 アプリは、カメラメーカーが提供するコンパニオン アプリを使用した拡張性もサポートしています。 これらのコンパニオン アプリを使用すると、デバイスの製造元は、独自のカスタム ユーザー インターフェイスを提供して、カメラの設定を調整したり、追加のカスタム カメラ効果のコントロールを提供したりできます (たとえば、カメラの製造元によって提供される "Funny Hat" 効果のオン/オフトグル)。

統合前面カメラでサポートされている Windows Studio Effects には、次のものが含まれます。

• 背景効果: サポートされている 2 つのモデル...
  • 標準ぼかし - 単純なガウスぼかし効果
  • 縦ぼかし - 微妙なボケスタイルのぼかし効果
• アイコンタクト:2つのサポートされているモデル...
  • 標準 - カメラから画面を見下ろすデバイス ユーザーの微妙な修正
  • 強化 - 顧客が コンテンツを読む際に画面全体で目をスキャンするためのより積極的な修正
• 自動フレーミング:カメラの視野内の人物を検出し、トリミング/ズームしてフレームを維持します
• 音声フォーカス: バックグラウンド ノイズを除外するように設計されたマイク効果で、ビデオ通話中に音声が明確に通過するようにします。

Note

容量の小さい NPU では "Standard Blur" がサポートされますが、コンピューティングの制限により "Portrait Blur" はサポートされない場合があります。 デバイスで標準ぼかしと縦ぼかしの両方がサポートされている場合、UI は "背景効果" のオン/オフトグルとして表示され、ラジオ ボタンで [標準ぼかし] と [縦ぼかし] が選択されます。 システムで標準ぼかしのみがサポートされている場合、UI は "背景ぼかし" のオン/オフトグルとして表示されます。 さらに、上限が低い NPU では "Standard" がサポートされますが、"Enhanced" Eye Contact 効果はサポートされません。UI では、サポートされている場合は "Enhanced" 効果を含むラジオ ボタンの選択でオン/オフトグルが提供されます。

Windows Studio の効果のアーキテクチャ

カメラが Windows Studio Effects の使用をオプトインすると、Windows Studio Effects パッケージがカメラの末尾にチェーンされます。 これは透過的に行われるため、"実際の" カメラは、カメラの機能と Windows Studio AI 効果で構成される "複合" カメラに置き換えられます。 エンド カスタマーにはまだ "実際の" カメラのみが表示されますが、そのカメラに代わって Windows Studio Effects を使用できるようになりました。

"Real" カメラには 、明るさ、コントラスト、その他の Microsoft が実装したプロパティなどの Kernal Streaming (KS) プロパティと、デバイス製造元 (OEM) ドライバーによって実装される顧客プロパティが含まれます。

Windows Studio Effects は常にチェーンの最後の項目であるため、アプリケーションは、Windows Studio Effects がカメラに対して有効になっている場合、カメラによって実装される背景ぼかし、アイ コンタクト、自動フレーム KS プロパティが Windows Studio Effects によって提供されることを保証できます。

カメラ が Windows Studio Effects の使用をオプトイン していない場合、カメラにアクセスするすべてのアプリでは、"Real" カメラの KS プロパティ (明るさ、コントラストなど) のみが表示されます。

カメラ が Windows Studio Effects の使用をオプトイン すると、カメラにアクセスするすべてのアプリは、バックグラウンド ブラー、アイ コンタクトなどの AI 効果を表す Windows Studio Effects KS プロパティに加えて、"Real" カメラ KS プロパティの両方を表示できます。

チェーンの下位にある同じ KS プロパティの 2 つ目の実装 (たとえば、OEM の DMFT もバックグラウンド ぼかし効果を実装) が発生した場合、Blur KS プロパティの既定値が OFF であるため、その実装は再メイン OFF になります。 カメラのブラーがオンの場合、Windows Studio はその要求を内部的に処理し、チェーンを他のコンポーネント (DMFT、AVStream ドライバーなど) に転送しません。

このアプローチにより、デバイスメーカー (Dell や Lenovo などの OEM、Intel、AMD、NVIDIA などの IHV) は、Windows Studio が標準の Windows AI エクスペリエンスを追加する前に、独自のカメラ処理機能を DMFT 内またはカメラに直接実装できます。

Windows Studio Effects とのアプリの統合

アプリケーションで Windows API を使用してカメラ ストリームを開始するたびに、Windows は、制御をアプリケーションに渡す前に、Windows Studio Effects カメラ 設定で指定された既定値と一致するようにカーネル ストリーミング (KS) プロパティの現在の値を設定します。 カメラ 設定で指定された既定値と一致することで、カメラは常に既知の状態で起動します。

Windows Studio Effects と統合すると、アプリケーションは次のことができます。

• 常にシステムの既定値を受け入れる - ユーザーが基本設定 (つまり、明るさ)、カメラ 設定で、アプリ内コントロールなしでこの値を適用します。
• システムの既定値から開始しますが、ユーザーはリアルタイム で調整します。ユーザーは、システムの既定値を変更せずに、アプリ (アプリ内の明るさスライダー) を使用しているときにカメラの設定を調整できます。 ユーザーは、アプリ内カメラの設定を保存して、新しい既定の設定を確立できます。

アプリケーションが、ストリームを開始する前に 設定 ページから既定値も設定されている KS プロパティに値を既に書き込んでいる場合、Windows はストリームの開始時にユーザーの既定値の適用をスキップします。 たとえば、ユーザーの既定の明るさが 60 に設定されているのに、アプリがストリームを開始する前に現在の明るさの値を 65 に設定した場合、カメラは 60 ではなく 65 の明るさで開始されます。

Note

一部のコントロールは、アプリ エクスペリエンスに不可欠な部分であり、アプリが常にシステムの既定値をオーバーライドする必要がある場合があります。 たとえば、Microsoft Teams はバックグラウンド効果を使用してこれを行います。 ユーザーがカメラ 設定 ページでグローバルにぼかしを有効または無効にしたかどうかにかかわらず、Teams で通話に参加すると背景効果コントロールが表示され、そのアプリ UI で選択された値が適用されます。 内部的には、Teams は Windows Studio の NPU で高速化された背景セグメント化をインテリジェントに活用して、背景のぼかし/置換効果を適用します。

アプリが提供するエクスペリエンスに関係なく、常にアプリ内ボタン/ハイパーリンクを提供して、カメラ 設定 アプリを起動することをお勧めします。 カメラ 設定には、次のリンクを使用してアクセスできます。ms-settings

特定のカメラのカメラ 設定は、次のリンク形式で起動できます。ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>

特定のカメラのカメラ 設定を呼び出すサンプル コード スニペット

// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

これは、Windows 11 バージョン 22H2 以降で使用できます。 以前のバージョンの Windows 11 では、このms-settingsリンクを呼び出すと、ユーザーはルート カメラ 設定 ページに移動します。

追加のカメラ設定を適用する

カメラ ストリームが既知の状態に設定されると、アプリケーションはクエリを実行してさらに構成を適用し、必要に応じて新しい KS プロパティ値をカメラに書き込みます。 特定のカメラ コントロール (明るさや背景ぼかしなど) を認識していないアプリを使用している場合、カメラ 設定でユーザーが指定したコントロールの設定は引き続きアプリに適用されます。 ただし、顧客がこれらのコントロールを認識しているアプリを使用している場合、アプリはカメラの使用中にそれらのコントロールの現在の値を変更できます。

アプリケーションでは、コントロールの既定値を変更することはできません。 この予防措置により、1 つのアプリがカメラを使用する他のアプリの動作を変更しないようにします。 既定値は、カメラ 設定 アプリからのみ変更できます。

Windows 11 バージョン 22H2 では、Windows Studio Effects をサポートするデバイスをお持ちのお客様は、カメラ ハードウェアの他の一般的な設定と共に、カメラ 設定 ページから直接効果のオン/オフを切り替えることができます。

Windows ハードウェアの製造元のガイダンス

最新の Windows 11 機能を備えたハードウェアを設計している Oem (Oem) は、Windows Studio Effects の使用をオプトインできます。

トラブルシューティング

Windows アプリには、Windows Studio Effects (背景ぼかしなど) によってカメラに適用される AI 効果と重複する既存のアプリ内機能がある場合があります。 カメラ 設定 アプリがカメラによって提供される効果の状態を管理していない場合、アプリ内機能が同期されなくなり、ユーザー エクスペリエンスの問題が発生する可能性があります。

重複する効果を回避する方法

カメラが Windows Studio Effects および カメラ 設定 アプリによって適用される背景ぼかし KS プロパティもサポートしているシステムで実行される、背景ぼかし機能を提供するアプリを考えてみましょう。

顧客がWindows カメラ 設定アプリで背景ぼかしをオンにした場合、カメラの起動時にカメラによって提供される効果が適用されます。 その後、アプリ内のぼかしコントロールは、ぼかし効果が明確にオンになっているにもかかわらず OFF として表示されるか、ダブルブラー (カメラのぼかしとアプリのぼかし効果) で ON として表示され、リソースが無駄になります。

サポートされているデバイスで実行する場合は、Windows Studio Effects を直接利用して、システム リソースとバッテリ寿命への影響が小さい高忠実度効果を提供することをお勧めします。 これにより、顧客がアプリ内コントロールを操作すると、カメラ自体の Windows Studio Effects 機能に直接同期されます。 この同期を 設定し、この重複の問題を回避する方法については、上記の「Windows Studio Effects とのアプリ統合」セクションを参照してください。

アプリが Windows Studio Effects をサポートするデバイスで実行されているが、別のサード パーティのサービスで効果を適用する (またはまったく適用しない) 場合は、競合する Windows Studio 効果をオフにする必要があります。

Windows Studio の効果をオフにするには:

1. 重複する KS プロパティが存在することを確認します。
2. 重複するプロパティが存在する場合は、カメラを起動するときに OFF に設定します。

たとえば、カメラ レベルのぼかし機能がオフになっていることを確認する場合は、カメラが提供KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATIONする場合にチェックし、その場合は 、設定されていることを確認しますKSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF。

その他のリソース

• Windows 11 のカメラ設定でカメラを管理する: Windows Studio Effects Support
• AI エクスペリエンスを備えたデバイスの利点