Галерея примеров ИИ на Windows

Коллекция примеров, демонстрирующих различные способы улучшения приложений Windows с помощью локальных API и моделей машинного обучения, локального аппаратного ускорения с помощью DirectML и использования облачных API.

При использовании функций ИИ рекомендуется ознакомиться с: Разработка ответственного генеративного ИИ приложений и функций в Windows.

Улучшение приложений Windows с помощью искусственного интеллекта с помощью локальных API и моделей машинного обучения

Эти примеры помогут улучшить приложения Windows с помощью искусственного интеллекта с помощью локальных API и моделей машинного обучения.

Редактор аудио на основе искусственного интеллекта

Скриншот приложения

репозиторий GitHub: пример аудио-редактора на базе ИИ

описание: редактор аудио с использованием ИИ демонстрирует создание приложения для редактирования звука WinUI 3, которое использует ИИ для сопоставления фрагментов звука с соответствующим запросом. Пример использования может быть создателем подкаста, который хочет создать короткие звуковые клипы их содержимого для продвижения в социальных сетях. В примере используется вывод локальной модели машинного обучения для обработки транскрибирования и семантического поиска.

функции: вывод локальной модели с помощью среды выполнения ONNX, модели Whisper, модели внедрения

тип приложения: C#, WinUI 3

Приложение "Заметки с использованием ИИ"

снимок экрана приложения с поддержкой ИИ, показывающего сводку, созданную ИИ.

репозиторий GitHub: пример приложения на основе ИИ

Описание. Это приложение для ведения заметок на основе ИИ демонстрирует использование API, включая распознавание текста с помощью технологии OCR, транскрипцию аудио через локальную модель машинного обучения, семантический поиск через локальную модель эмбеддингов, использование локальной языковой модели с Phi3 для суммирования, автодополнения и текстового анализа, и извлечение данных для дополненного генерирования (RAG) для обеспечения привязки языковых моделей к реальным данным.

Функции: семантический поиск с локальной моделью, транскрибирование аудио с локальной моделью, локальное дополненное генеративное восстановление (RAG) с Phi3, сводка и анализ текста с помощью Phi3, извлечение текста из изображений с API OCR

тип приложения: C#, WinUI 3

Расширенная генерация с использованием поиска (RAG) с PDF-файлами и Phi3

снимок экрана: пример анализатора PDF RAG в приложении WPF.

репозиторий GitHub: пример приложения для анализа RAG PDF WPF

описание. В этом примере приложения WPF показано, как создать интерфейс с локальной языковой моделью (например, Phi3), чтобы ответить на вопросы о содержимом в PDF-документе. Образец находит ответы, обращаясь к базе знаний вне собственных обучающих данных модели, прежде чем создать ответ. Этот шаблон, называемый извлечением с дополненной генерацией (RAG), является примером того, как привязать языковую модель на базе реальных достоверных данных.

функции: получение дополненного поколения (RAG), создание ими среды выполнения ONNX, DirectML

типа приложения : C#, WPF

Phi3 Генеративный ИИ Чат

снимок экрана примера чата GenAI с помощью Phi3 в приложении WinUI 3.

репозиторий GitHub: пример Phi3 Chat WinUI 3

Описание: В этом примере приложения WinUI 3 показано, как использовать библиотеку генеративного ИИ ONNX Runtime для создания интерфейса чата с локальной языковой моделью, в частности с моделью малого языка Phi3 (SLM).

Функции: Phi3, ONNX Runtime Generative AI, DirectML

тип приложения: C#, WinUI 3

Пример эффектов Windows Studio

репозиторий GitHub: приложение-пример эффектов Windows Studio

Описание. Узнайте, как управлять эффектами Camera Studio в приложении Windows в этом примере кода. Проверьте, доступна ли поддерживаемая камера в системе (требуется устройство с NPU и встроенной камерой), а затем настройте расширенные элементы управления камерой, связанные с эффектами Windows Studio, например, размытие фона, коррекцию взгляда и автоматическое кадрирование.

функции: Windows Studio Effects

тип приложения: C#, WPF

Локальное аппаратное ускорение с помощью DirectML

Аппаратное ускорение стабильной диффузии в Интернете

Снимок экрана: пример веб-приложения Stable Diffusion.

репозиторий GitHub: WebNN Stable Diffusion Turbo

Описание: Этот пример демонстрирует, как использовать WebNN с ONNX Runtime web для локального запуска Stable Diffusion на GPU с помощью DirectML. SD-Turbo — это быстрая модель создания текста в изображение, которая может синтезировать фотореалистические изображения из текстового запроса в одной оценке сети. В демонстрационной версии вы можете сгенерировать изображение за 2 секунды на устройствах ИИ ПК, используя API WebNN, специализированный низкоуровневый API для ускорения вывода нейронной сети на аппаратном уровне.

функции: генерация локальных изображений, WebNN, DirectML

Тип приложения: JavaScript, веб-приложения

Аппаратное ускорение Segment Anything на веб-сайтах

репозиторий GitHub: сегмент webNN все

Описание: В этом примере показано, как использовать WebNN с веб-версией среды выполнения ONNX для локального запуска модели Segment Anything на GPU с помощью DirectML. Segment Anything — это новая модель искусственного интеллекта от Meta AI, которая может "вырезать" любой объект. В Демонстрации можно сегментировать любой объект из загруженных изображений.

функции: местная сегментация изображений, WebNN, DirectML

типа приложения: JavaScript, веб-приложения

Аппаратное ускорение Whisper в Интернете

репозиторий GitHub: WebNN Whisper Base

описание. В этом примере показано, как использовать WebNN с веб-версией ONNX Runtime для запуска возможностей перевода речи в текст модели Whisper локально на GPU или NPU с DirectML. Whisper Base — это предварительно обученная модель для автоматического распознавания речи (ASR) и перевода речи. В демонстрации вы можете воспользоваться функцией преобразования речи в текст, используя инференцию на устройстве на базе API WebNN и DirectML, с использованием ускорения NPU.

функции: локальное преобразование речи в текст, WebNN, DirectML

типа приложения : JavaScript, веб-приложения

Аппаратные ускоренные и предварительно оптимизированные языковые модели среды выполнения ONNX (Phi3, Llama3 и т. д.) с DirectML

Снимок экрана пользовательского интерфейса чата DirectML LLM с примером модели ONNX.

репозиторий GitHub: примеры DirectML в репозитории Olive

описание. В этом примере показано, как запускать предварительно оптимизированную языковую модель среды выполнения ONNX (ORT) локально на GPU с помощью DirectML. В примере содержатся инструкции по настройке среды, скачивание последних предварительно обученных языковых моделей с помощью API создания ORT и запуск модели в приложении Gradio.

функции: аппаратное ускорение, GenAI, ONNX, ONNX Runtime, DirectML

тип приложения: Python, Gradio

Аппаратное ускорение моделей PyTorch (Phi3, Llama3 и т. д.) с помощью DirectML

снимок экрана примера DirectML PyTorch.

репозиторий GitHub: примеры PyTorch DirectML

описание. В этом примере показано, как локально запустить языковую модель PyTorch на GPU с помощью DirectML. Пример содержит инструкции по настройке среды, скачиванию последних предварительно обученных языковых моделей и запуску модели в приложении Gradio. Этот пример поддерживает различные языковые модели с открытым кодом, такие как модели Llama, Phi3-mini, Phi2 и Mistral-7B.

функции: аппаратное ускорение, PyTorch, DirectML

тип приложения: Python, Gradio

Улучшение приложений Windows с помощью ИИ с помощью облачных API

Дополнительные облачные примеры API можно найти в документации по службам ИИ Azure .

Добавьте функцию завершения чата от OpenAI в ваше приложение WinUI 3 / Windows App SDK

Руководство: Добавить функции чата OpenAI в приложение WinUI 3/Windows App SDK

описание: Интеграция возможностей завершения чата OpenAI в настольное приложение WinUI 3 / Windows App SDK.

функции: завершение чата OpenAI

тип приложения: C#, WinUI 3

Добавьте DALL-E в настольное приложение WinUI 3 / Windows App SDK

Руководство: Добавить DALL-E в настольное приложение WinUI 3 / Windows App SDK

описание. Интеграция возможностей генерации изображений OpenAI DALL-E в настольное приложение WinUI 3 / Windows App SDK.

функции: генерация изображений

тип приложения: C#, WinUI 3

Создание приложения рекомендаций с помощью .NET MAUI и ChatGPT

Учебник: создание рекомендательного приложения с помощью .NET MAUI и ChatGPT

Описание: Интеграция возможностей завершения чата OpenAI в настольное приложение .NET MAUI.

функции: генерация изображений

тип приложения: C#, .NET MAUI

Добавьте DALL-E в ваше настольное приложение .NET MAUI для Windows.

Учебник: добавить DALL-E в .NET MAUI настольное приложение для Windows

описание: Интеграция возможностей генерации изображений OpenAI DALL-E в настольное приложение .NET MAUI.

функции: генерация изображений

тип приложения: C#, .NET MAUI

Устаревшие примеры WinML

Репозиторий GitHub: Образцы WinML на GitHub

Описание: WinML продолжает поддерживаться, но эти примеры не были обновлены, чтобы соответствовать современному использованию ИИ.