Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Microsoft Foundry on Windows — это премьер-решение для разработчиков, желающих интегрировать локальные возможности искусственного интеллекта в свои приложения Windows.
Microsoft Foundry on Windows предоставляет разработчикам...
- Готовые к использованию модели ИИ и API через Windows AI APIs и Foundry Local
- Платформа вывода искусственного интеллекта для локального запуска любой модели с помощью Windows ML
Независимо от того, не знакомы ли вы с ИИ или опытный эксперт Machine Learning (ML), Microsoft Foundry on Windows имеет что-то для вас.
схема, показывающая различные компоненты, составляющие Microsoft Foundry on Windows (Windows AI APIs, Foundry Local и Windows ML).
Готовые к использованию модели ИИ и API
Ваше приложение может легко использовать следующие локальные модели ИИ и API менее чем за час. Распределение и время выполнения файлов модели обрабатываются Microsoft, а модели совместно используются между приложениями. При использовании этих моделей и API требуется лишь несколько строк кода, и никаких навыков в области машинного обучения не требуется.
| Тип модели или API | Что это такое | Параметры и поддерживаемые устройства |
|---|---|---|
| Крупные языковые модели (LLM) | Генеративные модели текста | Phi Silica через AI APIs (поддерживает доработку) или более 20 моделей LLM OSS через Foundry Local Дополнительные сведения см. в разделе локальные LLM. |
| Описание изображения | Получите текстовое описание изображения на естественном языке | Описание изображений с помощью AI APIs (ПК с Copilot+) |
| Средство извлечения изображения переднего плана | Сегментирование переднего плана изображения | Извлечение переднего плана изображения с помощью AI APIs (Copilot+ компьютеры) |
| Генерация изображений | Создание изображений из текста | Генерация изображений с помощью AI APIs (Copilot+ ПК) |
| Удаление объекта Image | Удаление объектов из изображений | Удаление объектов на изображении при помощи AI APIs (компьютеры Copilot+) |
| Средство извлечения объектов изображения | Сегментирование определенных объектов в изображении | Извлечение объектов изображения через Image Object ExtractorAI APIs (компьютеры Copilot+) |
| Суперразрешение изображения | Увеличение разрешения изображений | Image Super Resolution через AI APIs (Copilot+ ПК) |
| Семантический поиск | Семантический поиск текста и изображений | Поиск содержимого приложения с помощью AI APIs (компьютеры Copilot+) |
| Распознавание речи | Преобразование речи в текст | Whisper через Foundry Local или распознавание речи с помощью Windows SDK Дополнительные сведения см. в статье "Распознавание речи ". |
| Распознавание текста (OCR) | Распознавание текста из изображений | OCR через AI APIs (ПК с Copilot+) |
| Суперразрешение видео (VSR) | Увеличение разрешения видео | Суперразрешение видео с использованием AI APIs (Copilot+ компьютеры) |
Использование других моделей с Windows ML
Вы можете использовать широкий спектр моделей из Hugging Face или других источников, или даже обучить собственные модели, а также запускать их локально на Windows 10 и более поздних компьютерах с помощью Windows ML(совместимость моделей и производительность зависит от оборудования устройства).
Дополнительные сведения см. в статье определивать или обучать модели для использования с Windows ML.
С какого варианта начать
Следуйте этому дереву принятия решений, чтобы выбрать оптимальный подход к приложению и сценарию:
Убедитесь, что встроенные Windows AI APIs охватывают вашу ситуацию и вы нацелены на использование Copilot+ ПК. Это самый быстрый путь на рынок с минимальными усилиями по развитию.
Если в Windows AI APIs нет того, что вам нужно, или вам нужно поддерживать Windows 10 и более поздних версий, рассмотрите возможность использования Foundry Local для сценариев LLM или преобразования голоса в текст.
Если вам нужны пользовательские модели, вы хотите использовать существующие модели из Hugging Face или других источников, или у вас есть определенные требования к модели, которые не охватываются приведенными выше параметрами, Windows ML дает возможность искать или создавать собственные модели (и поддерживает Windows 10 и более поздние версии).
Ваше приложение также может использовать сочетание всех трех этих технологий.
Технологии, доступные для локального искусственного интеллекта
Следующие технологии доступны в Microsoft Foundry on Windows:
| Windows AI APIs | Foundry Local | Windows ML | |
|---|---|---|---|
| Что это такое | Готовые к использованию модели ИИ и API для различных типов задач, оптимизированные для Copilot+ ПК | Готовые к использованию LLM и модели преобразования голоса в текст | ONNX Runtime фреймворк для запуска моделей, которые вы нашли или обучили |
| Поддерживаемые устройства | Компьютеры Copilot+ | Windows 10 и более поздних компьютерах и кроссплатформенных компьютерах (Производительность зависит от доступного оборудования, не все модели доступны) |
Windows 10 и более поздних ПК, и кроссплатформенная поддержка через открытый исходный код ONNX Runtime (Производительность зависит от доступного оборудования) |
| Доступны типы моделей и API |
LLM Описание изображения Средство извлечения изображения переднего плана Генерация изображений Удаление объекта Image Средство извлечения объектов изображения Суперразрешение изображения Семантический поиск Распознавание текста (OCR) Супер разрешение видео |
LLMs (несколько) голосовая связь с текстом Обзор 20+ доступных моделей |
Поиск или обучение собственных моделей |
| Распределение моделей | Размещено Microsoft, приобретено во время выполнения и совместное использование между приложениями | Размещено Microsoft, приобретено во время выполнения и совместное использование между приложениями | Распределение, обработанное приложением (библиотеки приложений могут совместно использовать модели в приложениях) |
| Подробнее | Читай AI APIs документацию | Читай Foundry Local документацию | Читай Windows ML документацию |
Microsoft Foundry on Windows также включает средства разработчика, такие как Foundry Toolkit для Visual Studio Code и AI Dev Gallery, которые помогут вам успешно создавать возможности искусственного интеллекта.
Foundry Toolkit для Visual Studio Code — это расширение VS Code, позволяющее локально загружать и запускать модели ИИ, включая доступ к аппаратному ускорением для повышения производительности и масштабирования с помощью DirectML. Foundry Toolkit также может помочь вам с:
- Тестирование моделей на интуитивно понятной площадке или в приложении с помощью REST API.
- Настройте модель ИИ локально или в облаке (на виртуальной машине), чтобы создать новые навыки, повысить надежность ответов, задать тон и формат ответа.
- Тонкая настройка популярных малоязыковых моделей (SLM), таких как Phi-3 и Mistral.
- Разверните функцию ИИ в облаке или с помощью приложения, работающего на устройстве.
- Используйте аппаратное ускорение для повышения производительности функций ИИ с помощью DirectML. DirectML — это низкоуровневый API, который позволяет оборудованию устройства Windows ускорить производительность моделей машинного обучения с помощью GPU устройства или NPU. Связывание DirectML с ONNX Runtime обычно является самым простым способом для разработчиков, чтобы обеспечить масштабируемую реализацию аппаратного ускорения ИИ своим пользователям. Дополнительные сведения: Обзор DirectML.
- Квантизация и проверка модели для использования в NPU с помощью возможностей преобразования модели
Идеи для использования локального искусственного интеллекта
Несколько способов, которыми Windows приложения могут использовать локальный ИИ для повышения их функциональности и взаимодействия с пользователем, включают:
- Приложения могут использовать генеративные модели ИИ LLM, чтобы понять сложные темы для суммирования, переформулирования, составления отчетов или расширения.
- Приложения могут использовать модели LLM для преобразования содержимого свободной формы в структурированный формат, который может понять ваше приложение.
- Приложения могут использовать модели семантического поиска , позволяющие пользователям искать содержимое по смыслу и быстро находить связанное содержимое.
- Приложения могут использовать модели обработки естественного языка для анализа сложных требований к естественному языку, планировать и выполнять действия для выполнения запросов пользователя.
- Приложения могут использовать модели обработки изображений для интеллектуального изменения изображений, удаления или добавления субъектов, масштабирования или создания нового содержимого.
- Приложения могут использовать прогнозные диагностические модели для выявления и прогнозирования проблем, а также помогать пользователю или делать это для них.
Использование облачных моделей ИИ
Если использование локальных функций ИИ не является правильным способом для вас, использование облачных моделей ИИ и ресурсов может быть решением.
Использование методик ответственного искусственного интеллекта
Каждый раз, когда вы включаете функции ИИ в приложение Windows, мы настоятельно рекомендуем следовать указаниям Разработка ответственных генеративных AI приложений и функций в Windows.