ИИ в примерах и руководствах по коду Windows

Коллекция примеров, демонстрирующих различные способы улучшения приложений Windows с помощью локальных API и моделей машинного обучения, локального аппаратного ускорения с помощью DirectML и облачных API.

При добавлении поддержки новых функций ИИ в приложение Windows рекомендуется сначала проверить доступность модели.

При использовании функций ИИ рекомендуется ознакомиться с: Разработка ответственных генеративных приложений и функций ИИ в среде Windows. Модерация содержимого текста реализуется по умолчанию во всех API-интерфейсах ИИ Windows, чтобы уменьшить потенциально вредное содержимое. Дополнительные сведения: Модерация безопасности содержимого с помощью Windows AI Foundry.

Улучшение приложений Windows с помощью искусственного интеллекта с помощью локальных API и моделей машинного обучения

В этих примерах показано, как улучшить приложения Windows с помощью искусственного интеллекта с помощью локальных API и моделей машинного обучения.

Галерея разработок ИИ

Репозиторий GitHub: коллекция разработчиков ИИ

Описание. Коллекция разработчиков ИИ — это приложение с открытым исходным кодом, предназначенное для разработчиков Windows, желающих интегрировать возможности искусственного интеллекта в собственные приложения и проекты. Он предлагает более 25 интерактивных примеров на основе локальных моделей ИИ, включая примеры для всех API-интерфейсов ИИ Windows. Приложение предоставляет простой интерфейс для изучения, скачивания и запуска моделей из Hugging Face и GitHub, используя NPU компьютера, ЦП или GPU на основе возможностей вашего устройства. Кроме того, он предоставляет возможность просматривать исходный код C# и экспортировать каждый пример в автономный проект Visual Studio.

Функции: интерактивные примеры с простым копированием кода, вывод локальной модели, демонстрация API Windows AI

Тип приложения: C#, WinUI 3

Установка галереи разработок ИИ

Редактор аудио на основе искусственного интеллекта

Репозиторий GitHub: пример редактора аудио ИИ

Описание: В редакторе аудио на основе ИИ демонстрируется создание приложения для редактирования звука WinUI 3, которое использует ИИ для сопоставления фрагментов звука с соответствующим запросом. Пример использования может быть создателем подкаста, который хочет создать короткие звуковые клипы их содержимого для продвижения в социальных сетях. В примере используется вывод локальной модели машинного обучения для обработки транскрибирования и семантического поиска.

ru-RU: Функции: инференция локальной модели с помощью среды выполнения ONNX, модель Whisper, модель встраивания

Тип приложения: C#, WinUI 3

Приложение "Заметки с использованием ИИ"

Репозиторий GitHub: пример приложения для заметок на основе ИИ

Описание: Это приложение для заметок на основе ИИ демонстрирует использование API, включая OCR распознавание текста, транскрипцию аудио с помощью локальной модели машинного обучения, семантический поиск с использованием локальной модели эмбеддингов, использование локальной языковой модели с Phi3 для суммирования, автозаполнения и анализа текста, а также генерацию с извлечением (RAG) для сопоставления языковых моделей с реальными данными.

Функции: семантический поиск с локальной моделью, транскрибирование аудио с локальной моделью, локальное повторное создание дополненного поколения (RAG) с помощью Phi3, сводка и обоснование локального текста с помощью Phi3, извлечение текста из изображений с помощью API OCR

Тип приложения: C#, WinUI 3

Расширенная генерация с использованием поиска (RAG) с PDF-файлами и Phi3

Репозиторий GitHub: пример приложения RAG PDF Analyzer WPF

Описание. В этом примере приложения WPF показано, как создать интерфейс с локальной языковой моделью (например, Phi3), чтобы ответить на вопросы о содержимом в PDF-документе. Образец находит ответы, обращаясь к базе знаний вне собственных обучающих данных модели, прежде чем создать ответ. Этот шаблон, называемый извлечением с дополненной генерацией (RAG), является примером того, как привязать языковую модель на базе реальных достоверных данных.

Функции: Retrieval Augmented Generation (RAG), ONNX Runtime Generative AI, DirectML

типа приложения : C#, WPF

Phi3 Генеративный ИИ Чат

Репозиторий GitHub: Образец чата Phi3 WinUI 3

Описание: В этом примере приложения WinUI 3 показано, как использовать библиотеку генеративного ИИ среды выполнения ONNX для создания интерфейса чата с локальной языковой моделью, в частности с малой языковой моделью Phi3 (SLM).

Функции: Phi3, ONNX Runtime Generative AI, DirectML

Тип приложения: C#, WinUI 3

Пример эффектов Windows Studio

Репозиторий GitHub: пример приложения с эффектами Windows Studio

Описание. Узнайте, как управлять эффектами Camera Studio из приложения Windows в этом примере кода. Проверьте, доступна ли поддерживаемая камера в системе (требуется устройство с NPU и встроенной камерой), а затем настройте расширенные элементы управления камерой, связанные с эффектами Windows Studio, например, размытие фона, коррекцию взгляда и автоматическое кадрирование.

Функции: эффекты Windows Studio

типа приложения : C#, WPF

Локальное аппаратное ускорение с помощью DirectML

Аппаратное ускорение стабильной диффузии в Интернете

Репозиторий GitHub: WebNN Stable Diffusion Turbo

Описание: В этом примере показано, как использовать WebNN с ONNX Runtime в браузере для локального запуска Stable Diffusion на GPU с помощью DirectML. SD-Turbo — это быстрая модель создания текста в изображение, которая может синтезировать фотореалистические изображения из текстового запроса в одной сетевой оценке. В демонстрационной версии вы можете сгенерировать изображение за 2 секунды на устройствах ИИ ПК, используя API WebNN, специализированный низкоуровневый API для ускорения вывода нейронной сети на аппаратном уровне.

Функции: создание локальных образов, WebNN, DirectML

Тип приложения: JavaScript, веб-приложения

Аппаратное ускорение Segment Anything на веб-сайтах

Репозиторий GitHub: WebNN сегментация чего угодно

Описание: Этот пример демонстрирует, как использовать WebNN с веб-версией среды выполнения ONNX для локального выполнения Segment Anything на GPU с DirectML. Segment Anything — это новая модель искусственного интеллекта от Meta AI, которая может "вырезать" любой объект. В Демонстрации можно сегментировать любой объект из загруженных изображений.

Функции: сегментация локальных образов, WebNN, DirectML

Тип приложения: JavaScript, веб-приложения

Аппаратное ускорение Whisper в Интернете

Репозиторий GitHub: WebNN Whisper Base

Описание: В этом примере показано, как использовать WebNN с веб-версией среды выполнения ONNX для локального запуска возможностей модели Whisper по преобразованию речи в текст на GPU или NPU с использованием DirectML. Whisper Base — это предварительно обученная модель для автоматического распознавания речи (ASR) и перевода речи. В демонстрации вы можете воспользоваться функцией преобразования речи в текст, используя инференцию на устройстве на базе API WebNN и DirectML, с использованием ускорения NPU.

Функции: локальная речь к тексту, WebNN, DirectML

Тип приложения: JavaScript, веб-приложения

Аппаратные ускоренные и предварительно оптимизированные языковые модели среды выполнения ONNX (Phi3, Llama3 и т. д.) с DirectML

Репозиторий GitHub: примеры DirectML в репозитории Оливки

Описание. В этом примере показано, как выполнять предварительно оптимизированную языковую модель среды выполнения ONNX (ORT) локально на GPU с помощью DirectML. В примере содержатся инструкции по настройке среды, скачивание последних предварительно обученных языковых моделей с помощью API создания ORT и запуск модели в приложении Gradio.

Функции: аппаратное ускорение, GenAI, ONNX, ONNX Runtime, DirectML

Тип приложения: Python, Gradio

Аппаратное ускорение моделей PyTorch (Phi3, Llama3 и т. д.) с помощью DirectML

Репозиторий GitHub: примеры PyTorch DirectML

Описание. В этом примере показано, как локально запустить языковую модель PyTorch на GPU с помощью DirectML. Пример содержит инструкции по настройке среды, скачиванию последних предварительно обученных языковых моделей и запуску модели в приложении Gradio. Этот пример поддерживает различные языковые модели с открытым кодом, такие как модели Llama, Phi3-mini, Phi2 и Mistral-7B.

Функции: аппаратное ускорение, PyTorch, DirectML

Тип приложения: Python, Gradio

Улучшение приложений Windows с помощью ИИ с помощью облачных API

Дополнительные облачные примеры API можно найти в документации по службам ИИ Azure .

Добавьте функцию завершения чата от OpenAI в ваше приложение WinUI 3 / Windows App SDK

Руководство: Как добавить функции завершения чата OpenAI в приложение на базе WinUI 3 / Windows App SDK

Описание. Интеграция возможностей завершения чата OpenAI в классическое приложение WinUI 3 / Windows App SDK.

Функции: завершение чата OpenAI

Тип приложения: C#, WinUI 3

Добавьте DALL-E в настольное приложение WinUI 3 / Windows App SDK

Руководство:Добавление DALL-E в настольное приложение WinUI 3 / Windows App SDK

Описание. Интеграция возможностей создания образов OpenAI DALL-E в классическое приложение WinUI 3 / Windows App SDK.

Функции: создание изображений

Тип приложения: C#, WinUI 3

Создание приложения рекомендаций с помощью .NET MAUI и ChatGPT

Руководство.Создание приложения рекомендаций с помощью .NET MAUI и ChatGPT

Описание. Интеграция возможностей завершения чата OpenAI в классическое приложение .NET MAUI.

Функции: создание изображений

Тип приложения: C#, .NET MAUI

Добавьте DALL-E в ваше настольное приложение .NET MAUI для Windows.

Руководство:Добавление DALL-E в настольное приложение .NET MAUI Windows

Описание. Интеграция возможностей создания образов OpenAI DALL-E в классическое приложение .NET MAUI.

Функции: создание изображений

Тип приложения: C#, .NET MAUI

Устаревшие примеры WinML

Репозиторий GitHub: примеры WinML на GitHub

Описание: WinML продолжает поддерживаться, но эти примеры не были обновлены для отражения современного использования ИИ.