ローカル API と Machine Learning (ML) モデル、DirectML を使用したローカル ハードウェア アクセラレーション、クラウドベースの API を使用して Windows アプリを強化するさまざまな方法を示すサンプルのコレクション。
Windows アプリに新しい AI 機能のサポートを追加する場合は、まず モデルの可用性を確認することをお勧めします。
AI 機能を使用する場合は、「 責任ある生成型 AI アプリケーションと機能を Windows で開発する」を確認することをお勧めします。 テキスト コンテンツ モデレーションは、すべての Windows AI API に既定で実装され、有害な可能性のあるコンテンツを減らします。 詳細情報: Windows AI Foundry を使用したコンテンツの安全性モデレーション。
ローカル API と ML モデルを使用して AI を使用して Windows アプリを強化する
これらのサンプルでは、ローカル API と Machine Learning モデルを使用して、AI を使用して Windows アプリを強化する方法を示します。
AI 開発ギャラリー
GitHub リポジトリ: AI 開発ギャラリー
説明: AI Dev Gallery は、独自のアプリとプロジェクト内に AI 機能を統合することを検討している Windows 開発者向けに設計されたオープンソース アプリです。 すべての Windows AI API のサンプルを含む、ローカル AI モデルを利用した 25 を超える対話型サンプルが提供されています。 このアプリは、デバイスの機能に基づいて PC の NPU、CPU、または GPU を利用して、Hugging Face と GitHub からモデルを探索、ダウンロード、実行するためのシンプルなインターフェイスを備えています。 さらに、C# ソース コードを表示し、各サンプルをスタンドアロンの Visual Studio プロジェクトにエクスポートする機能も提供します。
機能: コピーしやすいコードを含む対話型サンプル、ローカル モデル推論、Windows AI API のショーケース
AI を利用したオーディオ エディター
GitHub リポジトリ: AI オーディオ エディターのサンプル
説明: AI を利用したオーディオ エディターは、AI を利用してオーディオの切り取りを関連するクエリに一致させる WinUI 3 オーディオ編集アプリの構築を示しています。 たとえば、ソーシャル メディアで宣伝するためにコンテンツの短いオーディオ クリップを作成するポッドキャスト作成者が使用できます。 このサンプルでは、ローカル ML モデルの推論を使用して、文字起こしとセマンティック検索を処理します。
特徴:ONNXランタイムによるローカルモデル推論、ささやきモデル、埋め込みモデル
AI を利用した Notes アプリ
GitHub リポジトリ: AI を利用した Notes サンプル アプリ
説明: この AI を利用したメモ作成アプリケーションでは、 OCR テキスト認識、ローカル ML モデルによるオーディオ文字起こし、ローカル埋め込みモデルを使用したセマンティック検索、概要作成、オートコンプリート、テキスト推論のための Phi3 でのローカル言語モデルの使用、および実データに対する言語モデルを接地するための検索拡張生成 (RAG) などの API の使用を示します。
特徴: ローカル モデルを使用したセマンティック検索、ローカル モデルを使用したオーディオ文字起こし、Phi3 によるローカル Retreval 拡張生成 (RAG)、Phi3 によるローカル テキストの要約と推論、OCR API を使用した画像からのテキスト抽出
PDF と Phi3 を使用した検索拡張生成 (RAG)
GitHub リポジトリ: RAG PDF Analyzer WPF サンプル アプリ
説明: この WPF サンプル アプリは、PDF ドキュメント内のコンテンツに関する質問に回答するために、ローカル言語モデル (Phi3 など) を使用してエクスペリエンスを構築する方法を示しています。 このサンプルでは、応答を生成する前に、モデル独自のトレーニング データの外部でナレッジ ベースを参照して回答を見つけます。 このパターンは、取得拡張生成 (RAG) と呼ばれ、言語モデルを実際の権限のあるデータに固定する方法の例です。
機能: 取得拡張生成 (RAG)、ONNX ランタイム生成 AI、DirectML
Phi3 ジェネレーティブ AI チャット
GitHub リポジトリ: Phi3 Chat WinUI 3 サンプル
説明: この WinUI 3 アプリのサンプルでは、ONNX Runtime Generative AI ライブラリを使用して、ローカル言語モデル (特に Phi3 Small Language Model (SLM) を使用してチャット エクスペリエンスを構築する方法を示します。
機能: Phi3、 ONNX ランタイム生成 AI、 DirectML
Windows Studio の効果のサンプル
GitHub リポジトリ: Windows Studio Effects サンプル アプリ
説明: このコード サンプルでは、Windows アプリケーションから Camera Studio Effects を制御する方法について説明します。 サポートされているカメラがシステムで使用できるかどうかを確認し (NPU と組み込みのカメラを搭載したデバイスが必要)、Windows Studio Effects に関連付けられている拡張カメラ コントロール (背景ぼかし、視線視線補正、自動フレームなど) を取得して設定します。
DirectML を使用したローカル ハードウェア アクセラレーション
Web 上のハードウェアによる安定した拡散の高速化
GitHub リポジトリ: WebNN Stable Diffusion Turbo
説明: このサンプルでは、OnNX Runtime Web で WebNN を使用して、DirectML を使用して GPU 上で安定拡散をローカルで実行する方法を示します。 SD-Turbo は、1 つのネットワーク評価でテキスト プロンプトからフォトリアリスティック画像を合成できる、高速な生成テキストから画像へのモデルです。 デモでは、ニューラル ネットワーク推論ハードウェア アクセラレーション用の専用の低レベル API である WebNN API を利用して、AI PC デバイス上の 2s で画像を生成できます。
機能: ローカル イメージ生成、 WebNN、 DirectML
アプリの種類: JavaScript、Web アプリ
ハードウェアアクセラレータセグメント Web上の何でも
GitHub リポジトリ: WebNN Segment Anything
説明: このサンプルでは、OnNX Runtime Web で WebNN を使用して、DirectML を使用して GPU 上で Segment Anything をローカルで実行する方法を示します。 Segment Anyything は、任意のオブジェクトを "切り取る" ことが可能な Meta AI の新しい AI モデルです。 デモでは、アップロードした画像から任意のオブジェクトをセグメント化できます。
機能: ローカル 画像のセグメント化、 WebNN、 DirectML
アプリの種類: JavaScript、Web アプリ
Web 上のハードウェア アクセラレータ のささやき
GitHub リポジトリ: WebNN ささやきベース
説明: このサンプルは、ONNX Runtime Web で WebNN を使用して、ささやきモデルの音声テキスト変換機能を GPU 上でローカルで実行する方法、または DirectML を使用した NPU で実行する方法を示しています。 ささやきベース は、自動音声認識 (ASR) と音声翻訳のための事前トレーニング済みのモデルです。 デモでは、WebNN API と DirectML (特に NPU アクセラレーション) を利用したデバイス上の推論を使用して、音声テキスト変換機能を体験できます。
機能: ローカル音声テキスト変換、 WebNN、 DirectML
アプリの種類: JavaScript、Web アプリ
DirectML を使用したハードウェア アクセラレータと事前最適化された ONNX ランタイム言語モデル (Phi3、Llama3 など)
GitHub リポジトリ: Olive リポジトリの DirectML の例
説明: このサンプルでは、DirectML を使用して GPU 上で事前に最適化された ONNX Runtime (ORT) 言語モデルをローカルで実行する方法を示します。 このサンプルには、環境を設定する方法、ORT Generate API を使用して事前トレーニング済みの最新の言語モデルをダウンロードする方法、Gradio アプリでモデルを実行する方法に関する手順が含まれています。
機能: ハードウェア アクセラレーション、GenAI、 ONNX、 ONNX ランタイム、 DirectML
アプリの種類: Python、Gradio
DirectML を使用したハードウェア アクセラレータ PyTorch モデル (Phi3、Llama3 など)
GitHub リポジトリ: DirectML PyTorch のサンプル
説明: このサンプルでは、DirectML を使用して GPU 上で PyTorch 言語モデルをローカルで実行する方法を示します。 このサンプルには、環境を設定する方法、事前トレーニング済みの最新の言語モデルをダウンロードする方法、Gradio アプリでモデルを実行する方法に関する手順が含まれています。 このサンプルでは、Llama モデル、Phi3-mini、Phi2、Mistral-7B など、さまざまなオープン ソース言語モデルをサポートしています。
機能: ハードウェア アクセラレーション、 PyTorch、 DirectML
アプリの種類: Python、Gradio
クラウド API を使用して AI を使用して Windows アプリを強化する
その他のクラウドベースの API サンプルについては、 Azure AI サービスのドキュメントを参照してください。
OpenAI チャットの完成機能を WinUI 3 / Windows App SDK アプリに追加する
チュートリアル: WinUI 3 / Windows App SDK アプリに OpenAI チャットの完了機能を追加する
説明: OpenAI チャット入力候補機能を WinUI 3/Windows App SDK デスクトップ アプリに統合します。
機能: OpenAI チャットの完了
WinUI 3/Windows App SDK デスクトップ アプリに DALL-E を追加する
チュートリアル: WinUI 3/Windows App SDK デスクトップ アプリに DALL-E を追加する
説明: OpenAI DALL-E イメージ生成機能を WinUI 3/Windows App SDK デスクトップ アプリに統合します。
機能: 画像の生成
.NET MAUI と ChatGPT を使用してレコメンデーション アプリを作成する
チュートリアル: .NET MAUI と ChatGPT を使用してレコメンデーション アプリを作成する
説明: OpenAI のチャット完了機能を .NET MAUI のデスクトップアプリに統合します。
機能: 画像の生成
.NET MAUI Windows デスクトップ アプリに DALL-E を追加する
チュートリアル: .NET MAUI Windows デスクトップ アプリに DALL-E を追加する
説明: OpenAI DALL-E イメージ生成機能を .NET MAUI デスクトップ アプリに統合します。
機能: 画像の生成
従来の WinML サンプル
GitHub リポジトリ: GitHub の WinML サンプル
説明: WinML は引き続きサポートされていますが、これらのサンプルは最新の AI の使用を反映するように更新されていません。