Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Microsoft Foundry on Windows — это ведущее решение для разработчиков, желающих интегрировать локальные возможности искусственного интеллекта в свои приложения для Windows.
Microsoft Foundry on Windows предоставляет разработчикам...
- Готовые к использованию модели ИИ и API через Windows AI APIs и Foundry Local
- Платформа вывода искусственного интеллекта для локального запуска любой модели с помощью Windows ML
Независимо от того, не знакомы ли вы с ИИ или опытный эксперт машинного обучения (ML), Microsoft Foundry on Windows есть что-то для вас.
Готовые к использованию модели ИИ и API
Ваше приложение может легко использовать следующие локальные модели ИИ и API менее чем за час. Распределение и исполнение файлов модели обрабатываются корпорацией Майкрософт, а модели разделяются между приложениями. При использовании этих моделей и API требуется лишь несколько строк кода, и никаких навыков в области машинного обучения не требуется.
| Тип модели или API | Что это такое | Параметры и поддерживаемые устройства |
|---|---|---|
| Крупные языковые модели (LLM) | Генеративные модели текста | Phi Silica через AI APIs (поддерживает доработку) или более 20 моделей LLM OSS через Foundry Local Дополнительные сведения см. в разделе локальные LLM. |
| Описание изображения | Получите текстовое описание изображения на естественном языке | Описание изображения с помощью AI APIs (Copilot+ ПК) |
| Средство извлечения изображения переднего плана | Сегментирование переднего плана изображения | Инструмент выделения переднего плана изображения с помощью AI APIs (Copilot+ ПК) |
| Генерация изображений | Создание изображений из текста | Создание образов с помощью AI APIs (Copilot+ персональные компьютеры) |
| Удаление объекта Image | Удаление объектов из изображений | Удаление объекта изображения с помощью AI APIs (Copilot+ ПК) |
| Средство извлечения объектов изображения | Сегментирование определенных объектов в изображении | Извлечение объектов из изображений с помощью AI APIs (Copilot+ ПК) |
| Суперразрешение изображения | Увеличение разрешения изображений | Сверхразрешение изображения с помощью AI APIs (Copilot+ ПК) |
| Семантический поиск | Семантический поиск текста и изображений | Поиск содержимого приложений с использованием AI APIs (Copilot+ PCs) |
| Распознавание речи | Преобразование речи в текст | Whisper через Foundry Local или распознавание речи с помощью пакета SDK для Windows Дополнительные сведения см. в статье "Распознавание речи ". |
| Распознавание текста (OCR) | Распознавание текста из изображений | OCR с помощью AI APIs (ПК Copilot+) |
| Суперразрешение видео (VSR) | Увеличение разрешения видео | Суперразрешение видео через AI APIs (ПК с Copilot+) |
Использование других моделей с Windows ML
Вы можете использовать широкий спектр моделей из Hugging Face или других источников, или даже обучить собственные модели, а также запускать их локально на компьютерах с Windows 10+ с помощью Windows ML(совместимость моделей и производительность будут зависеть от оборудования устройства).
Дополнительные сведения см. в статье "Поиск и обучение моделей для использования с системой".Windows ML
С какого варианта начать
Следуйте этому дереву принятия решений, чтобы выбрать оптимальный подход к приложению и сценарию:
Проверьте, охватывают ли встроенные функции Windows AI APIs ваш сценарий, и рассмотрите возможность нацеливания на компьютеры Copilot+. Это самый быстрый путь на рынок с минимальными усилиями по развитию.
Если у Windows AI APIs нет того, что вам нужно, или вам нужна поддержка Windows 10+, рассмотрите Foundry Local для сценариев LLM или преобразования голоса в текст.
Если вам нужны пользовательские модели, вы хотите использовать существующие модели из Hugging Face или других источников, или у вас есть специфические требования к модели, которые не охватываются приведенными выше параметрами, Windows ML дает вам гибкость, чтобы найти или обучить собственные модели.
Ваше приложение также может использовать сочетание всех трех этих технологий.
Технологии, доступные для локального искусственного интеллекта
Следующие технологии доступны в Microsoft Foundry on Windows:
| Windows: AI APIs | Foundry Local | Windows ML | |
|---|---|---|---|
| Что это такое | Готовые к использованию модели ИИ и API в различных типах задач, оптимизированные для компьютеров Copilot+ | Готовые к использованию LLM и модели преобразования голоса в текст | ONNX Runtime фреймворк для запуска моделей, которые вы нашли или обучили |
| Поддерживаемые устройства | Компьютеры Copilot+ | Все компьютеры с Windows 10+ и кроссплатформенные (Производительность зависит от доступного оборудования, не все модели доступны) |
Все компьютеры с Windows 10+ и кроссплатформенные с открытым исходным кодом ONNX Runtime (Производительность зависит от доступного оборудования) |
| Доступны типы моделей и API |
LLM Описание изображения Средство извлечения изображения переднего плана Генерация изображений Удаление объекта Image Средство извлечения объектов изображения Суперразрешение изображения Семантический поиск Распознавание текста (OCR) Супер разрешение видео |
LLMs (несколько) голосовая связь с текстом Обзор 20+ доступных моделей |
Поиск или обучение собственных моделей |
| Распределение моделей | Размещено корпорацией Майкрософт, доступно во время выполнения и совместно используется приложениями. | Размещено корпорацией Майкрософт, загружается во время выполнения и используется совместно с приложениями | Распределение, обработанное приложением (библиотеки приложений могут совместно использовать модели в приложениях) |
| Подробнее | Читай AI APIs документацию | Прочтите Foundry Local документацию | Прочтите Windows ML документацию |
Microsoft Foundry on Windows также включает средства разработчика, такие как AI Toolkit Visual Studio Code и коллекция разработчиков ИИ , которые помогут вам успешно создавать возможности искусственного интеллекта.
AI Toolkit для Visual Studio Code — это расширение VS Code, которое позволяет локально загружать и запускать модели ИИ, включая доступ к аппаратному ускорением для повышения производительности и масштабирования с помощью DirectML. AI Toolkit также может помочь вам с:
- Тестирование моделей на интуитивно понятной площадке или в приложении с помощью REST API.
- Настройте модель ИИ локально или в облаке (на виртуальной машине), чтобы создать новые навыки, повысить надежность ответов, задать тон и формат ответа.
- Тонкая настройка популярных малоязыковых моделей (SLM), таких как Phi-3 и Mistral.
- Разверните функцию ИИ в облаке или с помощью приложения, работающего на устройстве.
- Используйте аппаратное ускорение для повышения производительности функций ИИ с помощью DirectML. DirectML — это низкоуровневый API, который позволяет оборудованию устройства Windows ускорить производительность моделей машинного обучения с помощью GPU устройства или NPU. Связывание DirectML с ONNX Runtime обычно является самым простым способом для разработчиков, чтобы обеспечить масштабируемую реализацию аппаратного ускорения ИИ своим пользователям. Дополнительные сведения: Обзор DirectML.
- Квантизация и проверка модели для использования в NPU с помощью возможностей преобразования модели
Идеи для использования локального искусственного интеллекта
Несколько способов, которым приложения Windows могут использовать локальный ИИ для улучшения их функциональности и взаимодействия с пользователем, включают:
- Приложения могут использовать генеративные модели ИИ LLM, чтобы понять сложные темы для суммирования, переформулирования, составления отчетов или расширения.
- Приложения могут использовать модели LLM для преобразования содержимого свободной формы в структурированный формат, который может понять ваше приложение.
- Приложения могут использовать модели семантического поиска , позволяющие пользователям искать содержимое по смыслу и быстро находить связанное содержимое.
- Приложения могут использовать модели обработки естественного языка для анализа сложных требований к естественному языку, планировать и выполнять действия для выполнения запросов пользователя.
- Приложения могут использовать модели обработки изображений для интеллектуального изменения изображений, удаления или добавления субъектов, масштабирования или создания нового содержимого.
- Приложения могут использовать прогнозные диагностические модели для выявления и прогнозирования проблем, а также помогать пользователю или делать это для них.
Использование облачных моделей ИИ
Если использование локальных функций ИИ не является правильным способом для вас, использование облачных моделей ИИ и ресурсов может быть решением.
Использование методик ответственного искусственного интеллекта
Каждый раз, когда вы включаете функции искусственного интеллекта в приложение Windows, мы высоко рекомендуем следовать разработке приложений и функций ответственного искусственного интеллекта в Windows.