ИИ в коллекции примеров Windows
Коллекция примеров, демонстрирующих различные способы улучшения приложений Windows с помощью локальных API и моделей Машинное обучение машинного обучения, локального аппаратного ускорения с помощью DirectML и использования облачных API.
Улучшение приложений Windows с помощью искусственного интеллекта с помощью локальных API и моделей машинного обучения
Эти примеры помогут улучшить приложения Windows с помощью искусственного интеллекта с помощью локальных API и моделей Машинное обучение.
Редактор аудио на основе искусственного интеллекта
Репозиторий GitHub: пример редактора аудио ИИ
Описание: В редакторе аудио на основе ИИ демонстрируется создание приложения для редактирования звука WinUI 3, которое использует ИИ для сопоставления фрагментов звука с соответствующим запросом. Пример использования может быть создателем подкаста, который хочет создать короткие звуковые клипы их содержимого для продвижения в социальных сетях. В примере используется вывод локальной модели машинного обучения для обработки транскрибирования и семантического поиска.
Функции: вывод локальной модели с помощью среды выполнения ONNX, модели Whisper, внедрения моделей
Приложение "Заметки с использованием ИИ"
Репозиторий GitHub: пример приложения для заметок на основе ИИ
Описание. Это приложение, на основе ИИ, демонстрирует использование API, включая распознавание текста OCR, транскрибирование аудио через локальную модель машинного обучения, семантический поиск через локальную модель внедрения, использование локальной языковой модели с Phi3 для суммирования, автозавершения и анализа текста, а также извлечения дополненного поколения (RAG) для приземления языковых моделей в реальные данные.
Функции: семантический поиск с локальной моделью, транскрибирование аудио с локальной моделью, локальное повторное создание дополненного поколения (RAG) с помощью Phi3, сводка и обоснование локального текста с помощью Phi3, извлечение текста из изображений с помощью API OCR
Получение расширенного поколения (RAG) с PDF-файлами и Phi3
Репозиторий GitHub: пример приложения RAG PDF Analyzer WPF
Описание. В этом примере приложения WPF показано, как создать интерфейс с локальной языковой моделью (например, Phi3), чтобы ответить на вопросы о содержимом в PDF-документе. Пример находит ответы, ссылаясь на база знаний за пределами собственных обучающих данных модели перед созданием ответа. Этот шаблон, называемый извлечением дополненного поколения (RAG), является примером того, как создать языковую модель для реальных достоверных данных.
Функции: получение дополненного поколения (RAG), ONNX Runtime Generative AI, DirectML
Phi3 Generative AI Chat
Репозиторий GitHub: пример Чата WinUI 3 phi3
Описание. В этом примере приложения WinUI 3 показано, как использовать библиотеку создания ими среды выполнения ONNX для создания интерфейса чата с локальной языковой моделью, в частности с моделью малого языка Phi3 (SLM).
Функции: Phi3, ONNX Runtime Generative AI, DirectML
Пример эффектов Windows Studio
Репозиторий GitHub: пример приложения с эффектами Windows Studio
Описание. Узнайте, как управлять эффектами Камера Studio из приложения Windows в этом примере кода. Проверьте, доступна ли поддерживаемая камера в системе (требуется устройство с NPU и встроенной камерой), а затем получает и задает расширенные элементы управления камерой, связанные с эффектами Windows Studio, например фоновый размытие, исправление взгляда глаз и автоматическое обрамления.
Функции: эффекты Windows Studio
Локальное аппаратное ускорение с помощью DirectML
Аппаратное ускорение стабильной диффузии в Интернете
Репозиторий GitHub: WebNN Стабильный диффузный turbo
Описание. В этом примере показано, как использовать WebNN с веб-сайтом среды выполнения ONNX для локального запуска стабильного распространения на GPU с помощью DirectML. SD-Turbo — это быстрая модель создания текста в изображение, которая может синтезировать фотореалистические изображения из текстового запроса в одной сетевой оценке. В демонстрационной версии можно создать изображение на устройствах СИ ПК с помощью API WebNN, выделенного низкоуровневого API для определения аппаратного ускорения нейронной сети.
Функции: создание локальных образов, WebNN, DirectML
Тип приложения: JavaScript, веб-приложения
Аппаратное ускорение сегментов в Интернете
Репозиторий GitHub: сегмент WebNN
Описание. В этом примере показано, как использовать WebNN с веб-сайтом среды выполнения ONNX для локального запуска сегментов на GPU с DirectML. Сегмент ничего — это новая модель искусственного интеллекта из Мета ИИ, которая может "вырезать" любой объект. В демонстрации можно сегментирование любого объекта из отправленных изображений.
Функции: сегментация локальных образов, WebNN, DirectML
Тип приложения: JavaScript, веб-приложения
Аппаратное ускорение Whisper в Интернете
Репозиторий GitHub: WebNN Whisper Base
Описание. В этом примере показано, как использовать WebNN с веб-сайтом среды выполнения ONNX для запуска возможностей распознавания речи в текст модели Whisper локально на GPU или NPU с DirectML. Whisper Base — это предварительно обученная модель для автоматического распознавания речи (ASR) и перевода речи. В демонстрации вы можете использовать функцию преобразования речи к тексту с помощью вывода на устройстве с помощью API WebNN и DirectML, особенно ускорения NPU.
Функции: локальная речь к тексту, WebNN, DirectML
Тип приложения: JavaScript, веб-приложения
Аппаратные ускоренные и предварительно оптимизированные языковые модели среды выполнения ONNX (Phi3, Llama3 и т. д.) с DirectML
Репозиторий GitHub: примеры DirectML в репозитории Оливки
Описание. В этом примере показано, как выполнять предварительно оптимизированную языковую модель среды выполнения ONNX (ORT) локально на GPU с помощью DirectML. В примере содержатся инструкции по настройке среды, скачивание последних предварительно обученных языковых моделей с помощью API создания ORT и запуск модели в приложении Gradio.
Функции: аппаратное ускорение, GenAI, ONNX, ONNX Runtime, DirectML
Тип приложения: Python, Gradio
Аппаратное ускорение моделей PyTorch (Phi3, Llama3 и т. д.) с помощью DirectML
Репозиторий GitHub: примеры PyTorch DirectML
Описание. В этом примере показано, как локально запустить языковую модель PyTorch на GPU с помощью DirectML. Пример содержит инструкции по настройке среды, скачиванию последних предварительно обученных языковых моделей и запуску модели в приложении Gradio. Этот пример поддерживает различные языковые модели с открытым кодом, такие как модели Llama, Phi3-mini, Phi2 и Mistral-7B.
Функции: аппаратное ускорение, PyTorch, DirectML
Тип приложения: Python, Gradio
Улучшение приложений Windows с помощью ИИ с помощью облачных API
Дополнительные облачные примеры API можно найти в документации по службам ИИ Azure.
Добавление завершения чата OpenAI в приложение WinUI 3 / Windows App SDK
Руководство по добавлению завершений чата OpenAI в приложение Пакета SDK для приложений WinUI 3 / Windows
Описание. Интеграция возможностей завершения чата OpenAI в классическое приложение WinUI 3 / Windows App SDK.
Функции: завершение чата OpenAI
Добавление DALL-E в классическое приложение WinUI 3 / Windows App SDK
Руководство. Добавление DALL-E в классическое приложение WinUI 3 / Windows App SDK
Описание. Интеграция возможностей создания образов OpenAI DALL-E в классическое приложение WinUI 3 / Windows App SDK.
Функции: создание изображений
Создание приложения рекомендаций с помощью .NET MAUI и ChatGPT
Руководство. Создание приложения рекомендаций с помощью .NET MAUI и ChatGPT
Описание. Интеграция возможностей завершения чата OpenAI в классическое приложение .NET MAUI.
Функции: создание изображений
Добавление DALL-E в классическое приложение .NET MAUI Для Windows
Руководство. Добавление DALL-E в классическое приложение .NET MAUI Для Windows
Описание. Интеграция возможностей создания образов OpenAI DALL-E в классическое приложение .NET MAUI.
Функции: создание изображений
Устаревшие примеры WinML
Репозиторий GitHub: примеры WinML на GitHub
Описание: WinML продолжает поддерживаться, но эти примеры не были обновлены для отражения современного использования ИИ.
Обратная связь
Ожидается в ближайшее время: в течение 2024 года мы постепенно откажемся от GitHub Issues как механизма обратной связи для контента и заменим его новой системой обратной связи. Дополнительные сведения см. в разделе https://aka.ms/ContentUserFeedback.
Отправить и просмотреть отзыв по