英語で読む

次の方法で共有


Windows Studio Effects の概要 (プレビュー)

Windows Studio Effects では、互換性のあるニューラル プロセッシング ユニット (NPU) を備えた一部の Windows デバイスで AI を利用して、デバイス カメラ (現在は前面カメラをサポート) または内蔵マイクに特殊効果を適用できます。 NPU でサポートされている AI エフェクトは次のとおりです。

  • 背景ぼかし
  • アイ コンタクト
  • 自動フレーミング
  • 音声フォーカス
  • ポートレート ライト
  • クリエイティブ フィルター
  • アイ コンタクト テレプロンプター

Windows Studio Effects の AI 拡張機能の一覧

Windows 11 の タスクバーから Windows Studio Effects を開いているアニメーション

前提条件

  • Windows 11、バージョン 22H2 以降 (ビルド 22623.885 以降)。
  • デバイスにはサポートされている NPU が必要であり、ハードウェア製造元がシステムに Windows Studio Effect ドライバーをインストールしてオプトインしている必要があります。

Windows Studio Effects はデバイス ハードウェアでどのように動作しますか?

Windows Studio Effects では、Microsoft によって構築され、ニューラル プロセシング ユニット (NPU) を備えたデバイス用にコンパイル/最適化された AI モデルを活用して、忠実度が高くバッテリー消費が抑えられた AI エフェクトが提供されます。これにより、デバイスの CPU と GPU の負担が軽減され、互換性のあるデバイスの Windows エコシステム全体にわたる信頼できる Microsoft AI エクスペリエンスが提供されます。

Windows Studio Effects では、デバイス カメラとマイクのコントロール インターフェイス (カーネル ストリーミング プロパティと API) が標準化されています。 このコントロール インターフェイスを使用すると、任意のアプリケーションで次のことができます。

  • エフェクトがサポートされているかどうかを検出する
  • 必要に応じてエフェクトのオン/オフを切り替える
  • 使用可能なメタデータにアクセスする

効果はカメラ (またはマイク) のハードウェア レベルで適用されるため、Windows Studio Effectsで効果がオンになると、その効果がアプリで認識されていなくても、カメラを使用するアプリでは既定でオンになります。

動作の仕組みの詳細については、「Windows Studio Effects アーキテクチャ」をご覧ください。

[設定] で Windows Studio Effects を制御する方法

Windows Studio Effects は (上の画像に示されているように) タスク バーから開くことができますが、[設定] メニューから制御することもできます。

  • [設定]>[Bluetooth とデバイス]>[カメラ] を開き、[接続されたカメラ] のリストから選択してそのカメラの設定を開きます。
  • 前面カメラ ディスプレイのプレビューが表示され、その下に [カメラ効果] が一覧表示されます。

Windows Studio Effects のカメラ設定のスクリーンショット

カメラ設定アプリ は、Windows 11 の新機能です。これにより、お客様はシステム上のすべてのカメラを表示し、カメラごと、ユーザーごと、コンピューターごとに一連のコントロールから優先される "既定" の値を選択できます。

カメラ設定アプリでは、明るさやコントラストなどの基本コントロールを調整できますが、背景ぼかしやアイ コンタクトなどの Windows Studio エフェクトも調整できます。

カメラ設定アプリでは、カメラの製造元が提供するコンパニオン アプリを使用した拡張機能もサポートされています。 これらのコンパニオン アプリを使用すると、デバイスの製造元は、独自のカスタム ユーザー インターフェイスを提供して、カメラの設定を調整したり、追加のカスタム カメラ効果のコントロールを提供したりできます (たとえば、カメラの製造元によって提供される "Funny Hat" 効果のオン/オフトグル)。

内蔵前面カメラでサポートされている Windows Studio Effects には次のものが含まれます。

  • 背景効果: 2 つのモデルがサポートされています。
    • 標準ぼかし - 単純なガウスぼかし効果です。
    • ポートレートぼかし - 微妙なぼけスタイルのぼかし効果です。 デバイスの機能によっては、微妙なぼかしまたは深度ベースのぼかしになる場合があります。
  • アイ コンタクト: 2 つのモデルがサポートされています。
    • 標準 - カメラから画面を見下ろしているデバイス ユーザーに対する微妙な補正です。 *目の左右の動きは調整されません。
    • テレプロンプター - テレプロンプター コンテンツを読み取る際に、スクリーン全体に目を動かして読むユーザーに対する、より積極的な補正です。
  • 自動フレーミング: カメラの視野内の人物を検出し、クロップ/ズームして人物をフレーム内に維持します。
  • ポートレート ライト: 照明の弱い環境で動画内の人物の照明の品質を向上させて、強いスクリーンの光の反射を除去します。
  • クリエイティブ フィルター: 面白い要素やフレアを追加する動画フィルターです。

注意

容量の小さい NPU では "Standard Blur" がサポートされますが、コンピューティングの制限により "Portrait Blur" はサポートされない場合があります。 デバイスで標準ぼかしと縦ぼかしの両方がサポートされている場合、UI は "背景効果" のオン/オフトグルとして表示され、ラジオ ボタンで [標準ぼかし] と [縦ぼかし] が選択されます。 システムで標準ぼかしのみがサポートされている場合、UI は "背景ぼかし" のオン/オフトグルとして表示されます。 さらに、容量の小さい NPU では、"標準" はサポートされるものの、"テレプロンプター" のアイ コンタクト効果はサポートされない場合があります。オン/オフ トグルと、サポートされている場合は "テレプロンプター" 効果などを選択できるラジオ ボタンが UI に表示されます。

内蔵マイクでサポートされている Windows Studio Effects には次のものが含まれます。

  • 音声フォーカス: バックグラウンド ノイズを除外するように設計されたマイク効果で、ビデオ通話中に音声が明瞭に伝わるようにします。

Windows Studio Effects のアーキテクチャ

カメラで Windows Studio Effects の使用がオプトインされると、Windows Studio Effects パッケージがカメラのチェーンの末尾に追加されます。 これは透過的に行われるため、"実際の" カメラは、カメラの機能と Windows Studio AI 効果で構成される "複合" カメラに置き換えられます。 エンド カスタマーにはまだ "実際の" カメラのみが表示されますが、そのカメラに代わって Windows Studio Effects を使用できるようになりました。

"Real" カメラには、明るさ、コントラスト、その他の Microsoft が実装したプロパティなどの カーネル ストリーミング (KS) プロパティと、デバイス製造元 (OEM) ドライバーによって実装されたすべての顧客プロパティが含まれます。

Windows Studio Effects は常にチェーンの最後の項目になるため、アプリケーションで Windows Studio Effects がカメラに対して有効になっている場合、カメラによって実装される背景ぼかし、アイ コンタクト、自動フレーミングの KS プロパティが Windows Studio Effects によって確実に提供されます。

カメラで Windows Studio Effects の使用がオプトインされていない場合は、カメラにアクセスするすべてのアプリで、"実際の" カメラの KS プロパティ (明るさ、コントラストなど) のみが表示されます。

カメラで Windows Studio Effects の使用がオプトインされている場合は、カメラにアクセスするすべてのアプリで、AI エフェクト (背景ぼかし、アイ コンタクトなど) を表す Windows Studio Effects の KS プロパティに加えて、"実際の" カメラの KS プロパティも表示できます。

チェーンの下位に同じ KS プロパティのふたつ目の実装が行われた場合 (OEM の DMFT でも背景ぼかし効果が実装されるなど)、ぼかし KS プロパティの既定値はオフであるため、その実装はオフのままになります。 カメラのぼかしがオンになっている場合は、Windows Studio によりその要求が内部的に処理され、チェーンの他のコンポーネント (DMFT、AVStream ドライバーなど) には転送されません。

このアプローチでは、デバイスの製造元 (Dell、Lenovo などの OEM や、Intel、AMD、NVIDIA などの IHV) は、Windows Studio により標準の Windows AI エクスペリエンスが追加される前に、独自のカメラ処理機能を DMFT 内に実装するか、カメラに直接実装することができます。

Windows Studio Effects とのアプリ統合

アプリケーションで Windows API を使用してカメラ ストリームが開始されるたびに、Windows では、アプリケーションに制御を渡す前に、Windows Studio Effects のカメラ設定で指定された既定値と一致するように、カーネル ストリーミング (KS) プロパティの現在の値が設定されます。 カメラ設定で指定された既定値と一致させることで、カメラは常に既知の状態で起動します。

Windows Studio Effects と統合すると、アプリケーションでは次のことができます。

  • 常にシステムの既定値を受け入れる - ユーザーがカメラ設定で基本設定 (明るさなど) を決定すると、アプリ内での制御を必要とせずにこの値が適用されます。
  • システムの既定値から開始し、ユーザーがリアルタイムで調整する - ユーザーは、システムの既定値を変更せずに、アプリの使用中にカメラ設定 (つまり、アプリ内の明るさスライダー) を調整できます。 ユーザーは、アプリ内のカメラ設定を保存して、新しい既定の設定を確立することもできます。

アプリケーションが、ストリームを開始する前に [設定] ページから既定値も設定されている KS プロパティに値を既に書き込んでいる場合、Windows はストリームの開始時にユーザーの既定値の適用をスキップします。 たとえば、ユーザーの既定の明るさが 60 に設定されているのに、アプリがストリームを開始する前に現在の明るさの値を 65 に設定した場合、カメラは 60 ではなく 65 の明るさで開始されます。

注意

一部のコントロールはアプリ エクスペリエンスに不可欠な部分であるため、アプリで常にシステムの既定値をオーバーライドする必要がある場合があります。 たとえば、Microsoft Teams では背景効果でこれが行われます。 ユーザーがカメラ設定ページでグローバルにぼかしを有効または無効にしたかどうかにかかわらず、Teams で通話に参加すると背景効果コントロールが表示され、そのアプリ UI で選択した値が適用されます。 内部的には、Teams は Windows Studio の NPU で高速化された背景セグメント化をインテリジェントに活用して、背景のぼかし/置換効果を適用します。

アプリが提供するエクスペリエンスに関係なく、常にアプリ内ボタン/ハイパーリンクを指定してカメラ設定アプリを起動することをお勧めします。 カメラ設定には次のリンクを使用してアクセスできます: ms-settings

特定のカメラのカメラ設定は、次のリンク形式を使用して起動できます: ms-settings:camera?cameraId=<symbolic link name in URI data-escaped format>

カメラ API を介して Windows Studio Effects と対話するアプリの完全なコード サンプルについては、Windows-Camera github リポジトリを参照してください。

特定のカメラのカメラ設定を起動するサンプル コード スニペット

C#
// C# snippet for button click handler that will launch Camera Settings for specific camera device identified by symbolic link name

private async void Button_Click(object sender, RoutedEventArgs e)
{

 // Hard coded for this example, one can use DeviceInformation and/or
 // MediaCapture VideoDeviceController.Id to get the symbolic link

 string symlink = "\\?\USB#VID_04F2&PID_B6B6&MI_00#6&12293a26&1&0000#{e5323777-f976-4f5b-9b55-
b94699c46e44}\GLOBAL";
 
 bool result = await Windows.System.Launcher.LaunchUriAsync(new Uri("ms-settings:camera?cameraId=" + 
Uri.EscapeDataString(symlink) ));
}

Windows 11 バージョン 22H2 以降で利用できます。 これより前のバージョンの Windows 11 では、この ms-settings リンクを呼び出すと、ユーザーにルートのカメラ設定ページが表示されます。

追加のカメラ設定の適用

カメラ ストリームが既知の状態に設定された後は、アプリケーションで自由にクエリを実行して追加の構成を適用し、必要に応じて新しい KS プロパティ値をカメラに書き込むことができます。 特定のカメラ コントロール (明るさや背景ぼかしなど) が認識されないアプリをユーザーが使用している場合は、カメラ設定でユーザーが指定したそれらのコントロールの設定が引き続きアプリに適用されます。 ただし、これらのコントロールが認識されるアプリをユーザーが使用している場合は、アプリでカメラの使用中にそれらのコントロールの現在の値を変更できます。

アプリケーションでは、コントロールの既定値を変更することはできません。 この予防措置により、ひとつのアプリによってカメラを使用する他のアプリの動作が変更されないようになっています。 既定値は、カメラ設定アプリからのみ変更できます。

Windows 11 バージョン 22H2 では、Windows Studio Effects がサポートされているデバイスを持っているユーザーが、カメラ ハードウェアの他の一般的な設定と共に、カメラ設定ページから直接効果のオン/オフを切り替えることができます。

Windows ハードウェアの製造元のガイダンス

最新の Windows 11 機能を備えたハードウェアを設計している相手先ブランド供給業者 (OEM) では Windows Studio Effects の使用をオプトインできます。

トラブルシューティング

Windows アプリに、Windows Studio Effects (背景ぼかしなど) によってカメラに適用される AI 効果と重複する既存のアプリ内機能がある場合があります。 カメラで提供される効果の状態をカメラ設定アプリで管理していない場合は、アプリ内機能が同期されず、ユーザー エクスペリエンスの問題が発生する可能性があります。

効果の重複を回避する方法

Windows Studio Effects とカメラ設定アプリによって適用される背景ぼかし KS プロパティもカメラでサポートされているシステムで実行される、背景ぼかし機能を提供するアプリを検討してください。

ユーザーが Windows カメラ設定アプリで背景ぼかしをオンにすると、カメラの起動時にカメラで提供される効果が適用されます。 次に、アプリ内のぼかしコントロールは、ぼかし効果が明確にオンになっているにもかかわらず、OFF として表示されるか、ダブルぼかし (カメラのぼかしとアプリのぼかし効果) を使用して をオン として表示され、リソースが無駄になります。

サポートされているデバイスで実行する場合は、Windows Studio Effects を直接活用して、システム リソースとバッテリー残量への影響が小さく、忠実度の高い効果を提供することをお勧めします。 これにより、ユーザーがアプリ内コントロールを操作すると、カメラ自体の Windows Studio Effects 機能に直接同期されます。 この同期を設定して、この重複の問題を回避するための手順については、上記の「Windows Studio Effects とのアプリの統合」セクションをご覧ください。

Windows Studio Effects がサポートされているデバイスでアプリが実行されているものの、別のサード パーティのサービスによる効果を適用する (または、効果をまったく適用しない) 場合は、競合する Windows Studio Effects をオフにする必要があります。

Windows Studio Effects をオフにするには:

  1. 重複する KS プロパティがあるかどうかを確認します。
  2. 重複するプロパティがある場合は、カメラの起動時にオフに設定します。

たとえば、カメラ レベルのぼかし機能がオフになるようにする場合は、カメラで KSPROPERTY_CAMERACONTROL_EXTENDED_BACKGROUNDSEGMENTATION が提供されているかどうかをチェックし、提供されている場合は KSCAMERA_EXTENDEDPROP_BACKGROUNDSEGMENTATION_OFF に設定されるようにします。

責任ある AI に対する Microsoft のコミットメント

Windows Studio Effects が信頼性、安全性、責任を持って構築されていることを保証するために、開発全体を通じて公平性テストによって広範に評価、指導、トレーニングされたモデルが使用されています。

さらに、クリエイティブ フィルターで使用されるデータ セットには、さまざまな年齢、性別、人種のユーザーの 3,000 枚の手描きのポートレートが含まれており、それぞれがユーザー設定の調査に基づいて作成されたスタイル ガイドに従って描画されています。 テレプロンプターとクリエイティブフィルター には、視覚障がい者や弱視の方を含め、すべての人が快適に利用できるよう、様々な機能が搭載されています。

その他のリソース