Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Microsoft Foundry on Windows — это ведущее решение для разработчиков, желающих интегрировать локальные возможности искусственного интеллекта в свои приложения для Windows.
Microsoft Foundry on Windows предоставляет разработчикам...
- Готовые к использованию модели ИИ и API через Windows AI APIs и Foundry Local
- Платформа вывода искусственного интеллекта для локального запуска любой модели с помощью Windows ML
Независимо от того, не знакомы ли вы с ИИ или опытный эксперт машинного обучения (ML), Microsoft Foundry on Windows есть что-то для вас.
Готовые к использованию модели ИИ и API
Ваше приложение может легко использовать следующие локальные модели ИИ и API менее чем за час. Распределение и исполнение файлов модели обрабатываются корпорацией Майкрософт, а модели разделяются между приложениями. При использовании этих моделей и API требуется лишь несколько строк кода, и никаких навыков в области машинного обучения не требуется.
| Тип модели или API | Что это такое | Параметры и поддерживаемые устройства |
|---|---|---|
| Крупные языковые модели (LLM) | Генеративные модели текста | Phi Silica через AI APIs (поддерживает доработку) или более 20 моделей LLM OSS через Foundry Local Дополнительные сведения см. в разделе локальные LLM. |
| Описание изображения | Получите текстовое описание изображения на естественном языке | Описание изображения с помощью AI APIs (Copilot+ ПК) |
| Средство извлечения изображения переднего плана | Сегментирование переднего плана изображения | Инструмент выделения переднего плана изображения с помощью AI APIs (Copilot+ ПК) |
| Генерация изображений | Создание изображений из текста | Создание образов с помощью AI APIs (Copilot+ персональные компьютеры) |
| Удаление объекта Image | Удаление объектов из изображений | Удаление объекта изображения с помощью AI APIs (Copilot+ ПК) |
| Средство извлечения объектов изображения | Сегментирование определенных объектов в изображении | Извлечение объектов из изображений с помощью AI APIs (Copilot+ ПК) |
| Суперразрешение изображения | Увеличение разрешения изображений | Сверхразрешение изображения с помощью AI APIs (Copilot+ ПК) |
| Семантический поиск | Семантический поиск текста и изображений | Поиск содержимого приложений с использованием AI APIs (Copilot+ PCs) |
| Распознавание речи | Преобразование речи в текст | Whisper через Foundry Local или распознавание речи с помощью пакета SDK для Windows Дополнительные сведения см. в статье "Распознавание речи ". |
| Распознавание текста (OCR) | Распознавание текста из изображений | OCR с помощью AI APIs (ПК Copilot+) |
| Суперразрешение видео (VSR) | Увеличение разрешения видео | Суперразрешение видео через AI APIs (ПК с Copilot+) |
Использование других моделей с Windows ML
Вы можете использовать широкий спектр моделей из Hugging Face или других источников, или даже обучить собственные модели и запускать их локально на компьютерах с Windows 10 и более поздних версий, при этом совместимость моделей и производительность будут варьироваться в зависимости от оборудования устройства.
Дополнительные сведения см. в статье "Поиск и обучение моделей для использования с системой".Windows ML
С какого варианта начать
Следуйте этому дереву принятия решений, чтобы выбрать оптимальный подход к приложению и сценарию:
Проверьте, охватывают ли встроенные функции Windows AI APIs ваш сценарий, и рассмотрите возможность нацеливания на компьютеры Copilot+. Это самый быстрый путь на рынок с минимальными усилиями по развитию.
Если в Windows AI APIs нет того, что вам нужно, или вам нужна поддержка Windows 10 и более поздних версий, рассмотрите Foundry Local для сценариев LLM или преобразования речи в текст.
Если вам нужны пользовательские модели, вы хотите использовать существующие модели из Hugging Face или других источников или иметь определенные требования к модели, которые не охватываются приведенными выше параметрами, Windows ML дает возможность находить или обучать собственные модели (и поддерживать Windows 10 и более поздних версий).
Ваше приложение также может использовать сочетание всех трех этих технологий.
Технологии, доступные для локального искусственного интеллекта
Следующие технологии доступны в Microsoft Foundry on Windows:
| Windows: AI APIs | Foundry Local | Windows ML | |
|---|---|---|---|
| Что это такое | Готовые к использованию модели ИИ и API в различных типах задач, оптимизированные для компьютеров Copilot+ | Готовые к использованию LLM и модели преобразования голоса в текст | ONNX Runtime фреймворк для запуска моделей, которые вы нашли или обучили |
| Поддерживаемые устройства | Компьютеры Copilot+ | Компьютеры с Windows 10 и более поздних версий и кроссплатформенные (Производительность зависит от доступного оборудования, не все модели доступны) |
Компьютеры на базе Windows 10 и более поздних версий и кроссплатформенные решения на базе открытого кода ONNX Runtime (Производительность зависит от доступного оборудования) |
| Доступны типы моделей и API |
LLM Описание изображения Средство извлечения изображения переднего плана Генерация изображений Удаление объекта Image Средство извлечения объектов изображения Суперразрешение изображения Семантический поиск Распознавание текста (OCR) Супер разрешение видео |
LLMs (несколько) голосовая связь с текстом Обзор 20+ доступных моделей |
Поиск или обучение собственных моделей |
| Распределение моделей | Размещено корпорацией Майкрософт, доступно во время выполнения и совместно используется приложениями. | Размещено корпорацией Майкрософт, доступно во время выполнения и совместно используется приложениями. | Распределение, обработанное приложением (библиотеки приложений могут совместно использовать модели в приложениях) |
| Подробнее | Читай AI APIs документацию | Читай Foundry Local документацию | Читай Windows ML документацию |
Microsoft Foundry on Windows также включает средства разработчика, такие как AI Toolkit Visual Studio Code и коллекция разработчиков ИИ , которые помогут вам успешно создавать возможности искусственного интеллекта.
AI Toolkit для Visual Studio Code — это расширение VS Code, которое позволяет локально загружать и запускать модели ИИ, включая доступ к аппаратному ускорением для повышения производительности и масштабирования с помощью DirectML. AI Toolkit также может помочь вам с:
- Тестирование моделей на интуитивно понятной площадке или в приложении с помощью REST API.
- Настройте модель ИИ локально или в облаке (на виртуальной машине), чтобы создать новые навыки, повысить надежность ответов, задать тон и формат ответа.
- Тонкая настройка популярных малоязыковых моделей (SLM), таких как Phi-3 и Mistral.
- Разверните функцию ИИ в облаке или с помощью приложения, работающего на устройстве.
- Используйте аппаратное ускорение для повышения производительности функций ИИ с помощью DirectML. DirectML — это низкоуровневый API, который позволяет оборудованию устройства Windows ускорить производительность моделей машинного обучения с помощью GPU устройства или NPU. Связывание DirectML с ONNX Runtime обычно является самым простым способом для разработчиков, чтобы обеспечить масштабируемую реализацию аппаратного ускорения ИИ своим пользователям. Дополнительные сведения: Обзор DirectML.
- Квантизация и проверка модели для использования в NPU с помощью возможностей преобразования модели
Идеи для использования локального искусственного интеллекта
Несколько способов, которым приложения Windows могут использовать локальный ИИ для улучшения их функциональности и взаимодействия с пользователем, включают:
- Приложения могут использовать генеративные модели ИИ LLM, чтобы понять сложные темы для суммирования, переформулирования, составления отчетов или расширения.
- Приложения могут использовать модели LLM для преобразования содержимого свободной формы в структурированный формат, который может понять ваше приложение.
- Приложения могут использовать модели семантического поиска , позволяющие пользователям искать содержимое по смыслу и быстро находить связанное содержимое.
- Приложения могут использовать модели обработки естественного языка для анализа сложных требований к естественному языку, планировать и выполнять действия для выполнения запросов пользователя.
- Приложения могут использовать модели обработки изображений для интеллектуального изменения изображений, удаления или добавления субъектов, масштабирования или создания нового содержимого.
- Приложения могут использовать прогнозные диагностические модели для выявления и прогнозирования проблем, а также помогать пользователю или делать это для них.
Использование облачных моделей ИИ
Если использование локальных функций ИИ не является правильным способом для вас, использование облачных моделей ИИ и ресурсов может быть решением.
Использование методик ответственного искусственного интеллекта
Каждый раз, когда вы включаете функции искусственного интеллекта в приложение Windows, мы высоко рекомендуем следовать разработке приложений и функций ответственного искусственного интеллекта в Windows.