Галерея примеров ИИ на Windows
Коллекция примеров, демонстрирующих различные способы улучшения приложений Windows с помощью локальных API и моделей машинного обучения, локального аппаратного ускорения с помощью DirectML и использования облачных API.
При использовании функций ИИ рекомендуется ознакомиться с: Разработка ответственного генеративного ИИ приложений и функций в Windows.
Улучшение приложений Windows с помощью искусственного интеллекта с помощью локальных API и моделей машинного обучения
Эти примеры помогут улучшить приложения Windows с помощью искусственного интеллекта с помощью локальных API и моделей машинного обучения.
репозиторий GitHub: пример аудио-редактора на базе ИИ
описание: редактор аудио с использованием ИИ демонстрирует создание приложения для редактирования звука WinUI 3, которое использует ИИ для сопоставления фрагментов звука с соответствующим запросом. Пример использования может быть создателем подкаста, который хочет создать короткие звуковые клипы их содержимого для продвижения в социальных сетях. В примере используется вывод локальной модели машинного обучения для обработки транскрибирования и семантического поиска.
функции: вывод локальной модели с помощью среды выполнения ONNX, модели Whisper, модели внедрения
репозиторий GitHub: пример приложения на основе ИИ
Описание. Это приложение для ведения заметок на основе ИИ демонстрирует использование API, включая распознавание текста с помощью технологии OCR, транскрипцию аудио через локальную модель машинного обучения, семантический поиск через локальную модель эмбеддингов, использование локальной языковой модели с Phi3 для суммирования, автодополнения и текстового анализа, и извлечение данных для дополненного генерирования (RAG) для обеспечения привязки языковых моделей к реальным данным.
Функции: семантический поиск с локальной моделью, транскрибирование аудио с локальной моделью, локальное дополненное генеративное восстановление (RAG) с Phi3, сводка и анализ текста с помощью Phi3, извлечение текста из изображений с API OCR
репозиторий GitHub: пример приложения для анализа RAG PDF WPF
описание. В этом примере приложения WPF показано, как создать интерфейс с локальной языковой моделью (например, Phi3), чтобы ответить на вопросы о содержимом в PDF-документе. Образец находит ответы, обращаясь к базе знаний вне собственных обучающих данных модели, прежде чем создать ответ. Этот шаблон, называемый извлечением с дополненной генерацией (RAG), является примером того, как привязать языковую модель на базе реальных достоверных данных.
функции: получение дополненного поколения (RAG), создание ими среды выполнения ONNX, DirectML
типа приложения
репозиторий GitHub: пример Phi3 Chat WinUI 3
Описание: В этом примере приложения WinUI 3 показано, как использовать библиотеку генеративного ИИ ONNX Runtime для создания интерфейса чата с локальной языковой моделью, в частности с моделью малого языка Phi3 (SLM).
Функции: Phi3, ONNX Runtime Generative AI, DirectML
репозиторий GitHub: приложение-пример эффектов Windows Studio
Описание. Узнайте, как управлять эффектами Camera Studio в приложении Windows в этом примере кода. Проверьте, доступна ли поддерживаемая камера в системе (требуется устройство с NPU и встроенной камерой), а затем настройте расширенные элементы управления камерой, связанные с эффектами Windows Studio, например, размытие фона, коррекцию взгляда и автоматическое кадрирование.
функции: Windows Studio Effects
репозиторий GitHub: WebNN Stable Diffusion Turbo
Описание: Этот пример демонстрирует, как использовать WebNN с ONNX Runtime web для локального запуска Stable Diffusion на GPU с помощью DirectML. SD-Turbo — это быстрая модель создания текста в изображение, которая может синтезировать фотореалистические изображения из текстового запроса в одной оценке сети. В демонстрационной версии вы можете сгенерировать изображение за 2 секунды на устройствах ИИ ПК, используя API WebNN, специализированный низкоуровневый API для ускорения вывода нейронной сети на аппаратном уровне.
функции: генерация локальных изображений, WebNN, DirectML
Тип приложения: JavaScript, веб-приложения
репозиторий GitHub: сегмент webNN все
Описание: В этом примере показано, как использовать WebNN с веб-версией среды выполнения ONNX для локального запуска модели Segment Anything на GPU с помощью DirectML. Segment Anything — это новая модель искусственного интеллекта от Meta AI, которая может "вырезать" любой объект. В Демонстрации можно сегментировать любой объект из загруженных изображений.
функции: местная сегментация изображений, WebNN, DirectML
типа приложения: JavaScript, веб-приложения
репозиторий GitHub: WebNN Whisper Base
описание. В этом примере показано, как использовать WebNN с веб-версией ONNX Runtime для запуска возможностей перевода речи в текст модели Whisper локально на GPU или NPU с DirectML. Whisper Base — это предварительно обученная модель для автоматического распознавания речи (ASR) и перевода речи. В демонстрации вы можете воспользоваться функцией преобразования речи в текст, используя инференцию на устройстве на базе API WebNN и DirectML, с использованием ускорения NPU.
функции: локальное преобразование речи в текст, WebNN, DirectML
типа приложения
Аппаратные ускоренные и предварительно оптимизированные языковые модели среды выполнения ONNX (Phi3, Llama3 и т. д.) с DirectML
репозиторий GitHub: примеры DirectML в репозитории Olive
описание. В этом примере показано, как запускать предварительно оптимизированную языковую модель среды выполнения ONNX (ORT) локально на GPU с помощью DirectML. В примере содержатся инструкции по настройке среды, скачивание последних предварительно обученных языковых моделей с помощью API создания ORT и запуск модели в приложении Gradio.
функции: аппаратное ускорение, GenAI, ONNX, ONNX Runtime, DirectML
тип приложения: Python, Gradio
репозиторий GitHub: примеры PyTorch DirectML
описание. В этом примере показано, как локально запустить языковую модель PyTorch на GPU с помощью DirectML. Пример содержит инструкции по настройке среды, скачиванию последних предварительно обученных языковых моделей и запуску модели в приложении Gradio. Этот пример поддерживает различные языковые модели с открытым кодом, такие как модели Llama, Phi3-mini, Phi2 и Mistral-7B.
функции: аппаратное ускорение, PyTorch, DirectML
тип приложения: Python, Gradio
Дополнительные облачные примеры API можно найти в документации по службам ИИ Azure .
Руководство: Добавить функции чата OpenAI в приложение WinUI 3/Windows App SDK
описание: Интеграция возможностей завершения чата OpenAI в настольное приложение WinUI 3 / Windows App SDK.
функции: завершение чата OpenAI
Руководство: Добавить DALL-E в настольное приложение WinUI 3 / Windows App SDK
описание. Интеграция возможностей генерации изображений OpenAI DALL-E в настольное приложение WinUI 3 / Windows App SDK.
функции: генерация изображений
Учебник: создание рекомендательного приложения с помощью .NET MAUI и ChatGPT
Описание: Интеграция возможностей завершения чата OpenAI в настольное приложение .NET MAUI.
функции: генерация изображений
Учебник: добавить DALL-E в .NET MAUI настольное приложение для Windows
описание: Интеграция возможностей генерации изображений OpenAI DALL-E в настольное приложение .NET MAUI.
функции: генерация изображений
Репозиторий GitHub: Образцы WinML на GitHub
Описание: WinML продолжает поддерживаться, но эти примеры не были обновлены, чтобы соответствовать современному использованию ИИ.