Windows 上の AI のサンプル ギャラリー
ローカル API と機械学習 (ML) モデル、DirectML を使用したローカル ハードウェア アクセラレータ、およびクラウドベースの API を使用して Windows アプリを強化するさまざまな方法を示すサンプルのコレクション。
ローカル API と ML モデルを使用して AI で Windows アプリを強化する
これらのサンプルは、ローカル API と機械学習モデルを使用して、AI を使用して Windows アプリを強化するのに役立ちます。
AI 搭載の Audio Editor
GitHub リポジトリ: AI Audio Editor のサンプル
説明: AI 搭載の Audio Editor で、AI を利用して断片的なオーディオを関連するクエリと一致させる WinUI 3 オーディオ編集アプリを構築する様子を示しています。 ユースケースとしては、ソーシャル メディアでの宣伝に使用する、コンテンツの短いオーディオ クリップを作成するポッドキャストのクリエイターが例に挙げられます。 このサンプルでは、ローカル ML モデルの推論を使用して、文字起こしとセマンティック検索を実行しています。
特徴: ONNX Runtime によるローカルモデル推論、Whisper モデル、埋め込みモデル
AI 搭載のメモ アプリ
GitHub リポジトリ: AI 搭載の Notes のサンプル アプリ
説明: この AI 搭載のノート作成アプリケーションは、OCR テキスト認識、ローカル ML モデルによる音声の文字起こし、ローカルな埋め込みモデルを使用したセマンティック検索、Phi-3 でのローカル言語モデルを使用した概要作成、オートコンプリート、テキスト推論、および言語モデルを実データで裏付けるための取得拡張生成 (RAG) などの API を使用する様子を示しています。
特徴: ローカル モデルを使用したセマンティック検索、ローカル モデルを使用した音声の文字起こし、Phi-3 によるローカルでの取得拡張生成 (RAG)、Phi-3 によるローカルでのテキストの要約と推論、OCR API を使用した画像からのテキスト抽出
PDF および Phi3 を使用した取得検索拡張生成 (RAG)
GitHub リポジトリ: RAG PDF Analyzer WPF のサンプル アプリ
説明: この WPF のサンプル アプリは、PDF ドキュメントのコンテンツに関する質問に回答するために、ローカル言語モデル (Phi-3 など) を用いてエクスペリエンスを構築する方法を示しています。 サンプルでは、モデル独自のトレーニング データだけでなく、外部のナレッジ ベースを参照してから回答を生成します。 このパターンは、取得拡張生成 (RAG) と呼ばれ、言語モデルを信頼できる実データで裏付ける方法の一例です。
特徴: 取得拡張生成 (RAG)、ONNX Runtime 生成 AI、DirectML
Phi3 生成 AI チャット
GitHub リポジトリ: WinUI 3 での Phi-3 チャットのサンプル
説明: この WinUI 3 アプリのサンプルは、ONNX Runtime の生成 AI ライブラリを使用し、ローカル言語モデルである Phi-3 小規模言語モデル (SLM) でチャット エクスペリエンスを構築する方法を示しています。
特徴: Phi-3、ONNX Runtime 生成 AI、DirectML
Windows スタジオ エフェクトのサンプル
GitHub リポジトリ: Windows スタジオ エフェクトのサンプル アプリ
説明: このコード サンプルでは、Windows アプリケーションからカメラ スタジオ エフェクトを制御する方法を学べます。 サポートされているカメラがシステムで使用できるかどうかを確認し (NPU と組み込みのカメラを搭載したデバイスが必要)、Windows スタジオ エフェクトに関連するカメラの拡張コントロール (背景のぼかし、視線補正、自動フレーミングなど) を取得して設定します。
DirectML を使用したローカル ハードウェア アクセラレータ
ハードウェア アクセラレーション済みの Web 上の Stable Diffusion
GitHub リポジトリ: WebNN Stable Diffusion Turbo
説明: このサンプルは、DirectML を使って Stable Diffusion を GPU 上でローカルに実行する際に、ONNX Runtime Web で WebNN を使用する方法を示しています。 SD-Turbo は、1 つのネットワーク評価のテキスト プロンプトを基に、写真のようにリアルな画像を高速で生成できる Text-to-image モデルです。 デモでは、ニューラル ネットワーク推論のハードウェア アクセラレーション専用の低レベル API である WebNN API を利用して、2 秒で AI PC デバイス上に画像を生成できます。
特徴: ローカル イメージの生成、WebNN、DirectML
アプリの種類: JavaScript、Web アプリ
ハードウェア アクセラレーション済みの Web 上の Segment Anything
GitHub リポジトリ: WebNN Segment Anything
説明: このサンプルは、DirectML を使って Segment Anything を GPU 上でローカルに実行する際に、ONNX Runtime Web で WebNN を使用する方法を示しています。 Segment Anything は、任意のオブジェクトの "切り取り" ができる、Meta AI が提供する新しい AI モデルです。 デモでは、アップロードした画像から任意のオブジェクトをセグメント化できます。
特徴: ローカル画像のセグメント化、WebNN、DirectML
アプリの種類: JavaScript、Web アプリ
ハードウェア アクセラレーション済みの Web 上の Whisper
GitHub リポジトリ: WebNN Whisper Base
説明: このサンプルは、DirectML を使って Whisper モデルの音声テキスト変換機能を GPU または NPU 上でローカルに実行する際に、ONNX Runtime Web で WebNN を使用する方法を示しています。 Whisper Base は、自動音声認識 (ASR) と音声翻訳を可能にする事前トレーニング済みのモデルです。 デモでは、WebNN API と DirectML (特に NPU アクセラレーション) によって提供されるデバイス上の推論を使用して、音声テキスト変換機能を体験できます。
特徴: ローカル音声テキスト変換、WebNN、DirectML
アプリの種類: JavaScript、Web アプリ
DirectML を使用したハードウェア アクセラレータと事前最適化された ONNX ランタイム言語モデル (Phi3、Llama3 など)
GitHub リポジトリ: Olive リポジトリの DirectML の例
説明: このサンプルでは、事前に最適化された ONNX ランタイム (ORT) 言語モデルを、DirectML を使用して GPU 上でローカルに実行する方法を示します。 このサンプルには、環境を設定する方法、ORT Generate API を使用して事前トレーニング済みの最新の言語モデルをダウンロードする方法、Gradio アプリでモデルを実行する方法に関する手順が含まれています。
機能: ハードウェア アクセラレータ、GenAI、ONNX、ONNX ランタイム、DirectML
アプリの種類: Python、Gradio
DirectML を使用したハードウェア アクセラレータ PyTorch モデル (Phi3、Llama3 など)
GitHub リポジトリ: DirectML PyTorch のサンプル
説明: このサンプルは、DirectML を使用して、GPU 上で PyTorch 言語モデルをローカルで実行する方法を示しています。 このサンプルには、環境を設定する方法、事前トレーニング済みの最新の言語モデルをダウンロードする方法、Gradio アプリでモデルを実行する方法に関する手順が含まれています。 このサンプルでは、Llama モデル、Phi3-mini、Phi2、Mistral-7B など、さまざまなオープン ソース言語モデルをサポートしています。
機能: ハードウェア アクセラレータ、PyTorch、DirectML
アプリの種類: Python、Gradio
クラウド API を使用して Windows アプリを AI で強化
その他のクラウドベースの API サンプルについては、「Azure AI サービスのドキュメント」を参照してください。
OpenAI チャット入力候補を WinUI 3/Windows アプリ SDK アプリに追加する
チュートリアル: OpenAI のチャット補完機能を WinUI 3/Windows アプリ SDK アプリに追加する
説明: OpenAI のチャット補完機能を WinUI 3/Windows アプリ SDK デスクトップ アプリに統合します。
特徴: OpenAI のチャット補完機能
DALL-E を WinUI 3/Windows App SDK デスクトップ アプリに追加する
チュートリアル: DALL·E を WinUI 3/Windows アプリ SDK デスクトップ アプリに追加する
説明: OpenAI DALL·E の画像生成機能を WinUI 3/Windows アプリ SDK デスクトップ アプリに統合します。
特徴: 画像生成
.NET MAUI と ChatGPT を使用して推奨アプリを作成する
チュートリアル: .NET MAUI と ChatGPT を使用して推奨アプリを作成する
説明: OpenAI のチャット補完機能を .NET MAUI デスクトップ アプリに統合します。
特徴: 画像生成
.NET MAUI Windows デスクトップ アプリに DALL-E を追加する
チュートリアル: .NET MAUI Windows デスクトップ アプリに DALL·E を追加する
説明: OpenAI の DALL·E 画像生成機能を .NET MAUI デスクトップ アプリに統合します。
特徴: 画像生成
レガシの WinML サンプル
GitHub リポジトリ: GitHub 上の WinML のサンプル
説明: WinML は引き続きサポートされますが、これらのサンプルは更新されておらず、最新の AI 活用事例が反映されていません。
フィードバック
以下は間もなく提供いたします。2024 年を通じて、コンテンツのフィードバック メカニズムとして GitHub の issue を段階的に廃止し、新しいフィードバック システムに置き換えます。 詳細については、「https://aka.ms/ContentUserFeedback」を参照してください。
フィードバックの送信と表示