Windows でインテリジェントな AI エクスペリエンスを構築する機能は、急速に発展しています。 Windows 11 PC で Windows AI Foundry は AI に基づく機能と APIs を提供します。 これらの機能はアクティブな開発段階にあり、常にバックグラウンドでローカルに実行されます。
Windows AI Foundry には、固有の AI エクスペリエンスを実現できるいくつかのコンポーネントが含まれています。
Windows AI APIs: 組み込みの Windows AI APIs を使用して、Copilot+ PC 上のユーザー向けの AI サービスを統合できます。 Windows アプリから利用できる、これらのすぐに使用できる AI 機能の一部を次に示します。
- Phi Silica: ローカルのすぐに使用できる言語モデル (テキスト生成)
- AI イメージング: AI を使用して、画像のスケーリングとシャープ化 (画像のスーパー解像度)、画像を記述するテキストの生成 (画像の説明)、画像内のオブジェクトの識別 (画像のセグメント化)、画像からのオブジェクトの削除 (オブジェクト消去) を行います。
- Text Recognition: AI を使用して画像内のテキストを検出して抽出し、コンピューターで読み取り可能な文字ストリームに変換します
Foundry Local: 人気のある OSS モデルを活用して、アプリに取り込むことができる
Windows ML: 独自の ONNX モデルで AI 推論を有効にする
開発ツール: AI 機能の構築を成功させるために役立つ Visual Studio AI Toolkit や AI Dev Gallery などのツール
Windows アプリで AI を使用する方法
Windows アプリが Machine Learning (ML) モデルを利用して AI の機能とユーザー エクスペリエンスを強化する方法をいくつか次に示します。
- アプリでは、Generative AI モデルを使用して、集計、書き換え、レポートの作成、または拡張を行う複雑なトピックを理解できます。
- アプリでは、自由形式のコンテンツを、アプリが理解できる構造化された形式に変換するモデルを使用できます。
- アプリではセマンティック検索モデルを使用できます。これにより、ユーザーは意味によってコンテンツを検索し、関連するコンテンツをすばやく検索できます。
- アプリでは、自然言語処理モデルを使用して複雑な自然言語要件を推論し、ユーザーの質問を実行するためのアクションを計画および実行できます。
- アプリでは、画像操作モデルを使用して、画像をインテリジェントに変更したり、件名を消去または追加したり、スケールアップしたり、新しいコンテンツを生成したりできます。
- アプリでは、予測診断モデルを使用して、問題を特定して予測し、ユーザーを誘導したり、問題を解決したりするのに役立ちます。
Windows AI APIs の使用と独自のモデルの導入
Windows AI の使用 APIs
ローカル AI モデルが適切なソリューションである場合は、 Windows AI APIs を使用して、Copilot+ PC 上のユーザー向けの AI サービスを統合できます。 これらの APIs は PC に組み込まれており、オーバーヘッドが比較的少ない独自の AI を利用した機能を有効にします。
自分でモデルを訓練する
TensorFlow や PyTorch などのプラットフォームで独自のプライベート データを使用して独自のモデルをトレーニングできる場合。 Visual Studio Code の ONNX Runtime と AI Toolkit を使用してデバイス ハードウェア上でローカルに実行することで、そのカスタム モデルを Windows アプリケーションに統合できます。
Visual Studio Code のAI Toolkitは、パフォーマンスを向上させ、DirectML を介してスケーリングするためのハードウェア アクセラレーションへのアクセスを含め、AI モデルをローカルでダウンロードして実行できるようにする VS Code 拡張機能です。 AI Tookit は、次の場合にも役立ちます。
- 直感的なプレイグラウンドまたは REST API を使用したアプリケーションでのモデルのテスト。
- AI モデルをローカルまたはクラウド (仮想マシン上) の両方で微調整して、新しいスキルを作成し、応答の信頼性を向上させ、応答のトーンと形式を設定します。
- Phi-3 や Mistral などの一般的な小言語モデル (SLB) を微調整します。
- クラウドまたはデバイス上で実行されるアプリケーションを使用して、AI 機能をデプロイします。
- DirectML を使用して AI 機能を使用してパフォーマンスを向上させるために、ハードウェア アクセラレーションを活用します。 DirectML は、Windows デバイス ハードウェアがデバイス GPU または NPU を使用して ML モデルのパフォーマンスを高速化できるようにする低レベルの API です。 DirectML と ONNX Runtime のペアリングは、通常、開発者がハードウェアで高速化された AI を大規模にユーザーに提供するための最も簡単な方法です。 詳細情報: DirectML の概要。
- モデル変換機能を使用して、NPU で使用するモデルを量子化して検証する
これらのモデルの微調整の概念を調べ、事前トレーニング済みのモデルをデータにより適合するように調整することを検討すると良いでしょう。
クラウド AI モデルの使用
ローカル AI 機能の使用が適切なパスではない場合は、 クラウド AI モデルとリソースを使用 することがソリューションになる可能性があります。
その他の AI 機能
Windows 上のアプリ アクション: コンシューマー向けの新しい独自の AI 機能を有効にするアプリのアクションを作成する
Recall は、AI を利用して、PC で見たことのあるものを見つけるのに役立ちます。 Click to Do は、AI でサポートされる機能で、 Recallによって検出されたコンテンツ (テキストまたは画像) にアクションを接続します。
Windows Studio Effects AI を利用してデバイス カメラに特殊効果を適用する
責任ある AI プラクティスを使用する
Windows アプリに AI 機能を組み込むときは常に、Windows での責任ある生成型 AI アプリケーションと機能の開発に関するガイダンスに従うことを強くお勧めします。