Использование локального искусственного интеллекта с Microsoft Foundry on Windows

Microsoft Foundry on Windows — это премьер-решение для разработчиков, желающих интегрировать локальные возможности искусственного интеллекта в свои приложения Windows.

Microsoft Foundry on Windows предоставляет разработчикам...

Независимо от того, не знакомы ли вы с ИИ или опытный эксперт Machine Learning (ML), Microsoft Foundry on Windows имеет что-то для вас.

схема, показывающая различные компоненты, составляющие Microsoft Foundry on Windows (Windows AI APIs, Foundry Local и Windows ML).

Готовые к использованию модели ИИ и API

Ваше приложение может легко использовать следующие локальные модели ИИ и API менее чем за час. Распределение и время выполнения файлов модели обрабатываются Microsoft, а модели совместно используются между приложениями. При использовании этих моделей и API требуется лишь несколько строк кода, и никаких навыков в области машинного обучения не требуется.

Тип модели или API Что это такое Параметры и поддерживаемые устройства
Крупные языковые модели (LLM) Генеративные модели текста Phi Silica через AI APIs (поддерживает доработку) или более 20 моделей LLM OSS через Foundry Local

Дополнительные сведения см. в разделе локальные LLM.
Описание изображения Получите текстовое описание изображения на естественном языке Описание изображений с помощью AI APIs (ПК с Copilot+)
Средство извлечения изображения переднего плана Сегментирование переднего плана изображения Извлечение переднего плана изображения с помощью AI APIs (Copilot+ компьютеры)
Генерация изображений Создание изображений из текста Генерация изображений с помощью AI APIs (Copilot+ ПК)
Удаление объекта Image Удаление объектов из изображений Удаление объектов на изображении при помощи AI APIs (компьютеры Copilot+)
Средство извлечения объектов изображения Сегментирование определенных объектов в изображении Извлечение объектов изображения через Image Object ExtractorAI APIs (компьютеры Copilot+)
Суперразрешение изображения Увеличение разрешения изображений Image Super Resolution через AI APIs (Copilot+ ПК)
Семантический поиск Семантический поиск текста и изображений Поиск содержимого приложения с помощью AI APIs (компьютеры Copilot+)
Распознавание речи Преобразование речи в текст Whisper через Foundry Local или распознавание речи с помощью Windows SDK

Дополнительные сведения см. в статье "Распознавание речи ".
Распознавание текста (OCR) Распознавание текста из изображений OCR через AI APIs (ПК с Copilot+)
Суперразрешение видео (VSR) Увеличение разрешения видео Суперразрешение видео с использованием AI APIs (Copilot+ компьютеры)

Использование других моделей с Windows ML

Вы можете использовать широкий спектр моделей из Hugging Face или других источников, или даже обучить собственные модели, а также запускать их локально на Windows 10 и более поздних компьютерах с помощью Windows ML(совместимость моделей и производительность зависит от оборудования устройства).

Дополнительные сведения см. в статье определивать или обучать модели для использования с Windows ML.

С какого варианта начать

Следуйте этому дереву принятия решений, чтобы выбрать оптимальный подход к приложению и сценарию:

  1. Убедитесь, что встроенные Windows AI APIs охватывают вашу ситуацию и вы нацелены на использование Copilot+ ПК. Это самый быстрый путь на рынок с минимальными усилиями по развитию.

  2. Если в Windows AI APIs нет того, что вам нужно, или вам нужно поддерживать Windows 10 и более поздних версий, рассмотрите возможность использования Foundry Local для сценариев LLM или преобразования голоса в текст.

  3. Если вам нужны пользовательские модели, вы хотите использовать существующие модели из Hugging Face или других источников, или у вас есть определенные требования к модели, которые не охватываются приведенными выше параметрами, Windows ML дает возможность искать или создавать собственные модели (и поддерживает Windows 10 и более поздние версии).

Ваше приложение также может использовать сочетание всех трех этих технологий.

Технологии, доступные для локального искусственного интеллекта

Следующие технологии доступны в Microsoft Foundry on Windows:

  Windows AI APIs Foundry Local Windows ML
Что это такое Готовые к использованию модели ИИ и API для различных типов задач, оптимизированные для Copilot+ ПК Готовые к использованию LLM и модели преобразования голоса в текст ONNX Runtime фреймворк для запуска моделей, которые вы нашли или обучили
Поддерживаемые устройства Компьютеры Copilot+ Windows 10 и более поздних компьютерах и кроссплатформенных компьютерах

(Производительность зависит от доступного оборудования, не все модели доступны)
Windows 10 и более поздних ПК, и кроссплатформенная поддержка через открытый исходный код ONNX Runtime

(Производительность зависит от доступного оборудования)
Доступны типы моделей и API LLM
Описание изображения
Средство извлечения изображения переднего плана
Генерация изображений
Удаление объекта Image
Средство извлечения объектов изображения
Суперразрешение изображения
Семантический поиск
Распознавание текста (OCR)
Супер разрешение видео
LLMs (несколько)
голосовая связь с текстом

Обзор 20+ доступных моделей
Поиск или обучение собственных моделей
Распределение моделей Размещено Microsoft, приобретено во время выполнения и совместное использование между приложениями Размещено Microsoft, приобретено во время выполнения и совместное использование между приложениями Распределение, обработанное приложением (библиотеки приложений могут совместно использовать модели в приложениях)
Подробнее Читай AI APIs документацию Читай Foundry Local документацию Читай Windows ML документацию

Microsoft Foundry on Windows также включает средства разработчика, такие как Foundry Toolkit для Visual Studio Code и AI Dev Gallery, которые помогут вам успешно создавать возможности искусственного интеллекта.

Foundry Toolkit для Visual Studio Code — это расширение VS Code, позволяющее локально загружать и запускать модели ИИ, включая доступ к аппаратному ускорением для повышения производительности и масштабирования с помощью DirectML. Foundry Toolkit также может помочь вам с:

  • Тестирование моделей на интуитивно понятной площадке или в приложении с помощью REST API.
  • Настройте модель ИИ локально или в облаке (на виртуальной машине), чтобы создать новые навыки, повысить надежность ответов, задать тон и формат ответа.
  • Тонкая настройка популярных малоязыковых моделей (SLM), таких как Phi-3 и Mistral.
  • Разверните функцию ИИ в облаке или с помощью приложения, работающего на устройстве.
  • Используйте аппаратное ускорение для повышения производительности функций ИИ с помощью DirectML. DirectML — это низкоуровневый API, который позволяет оборудованию устройства Windows ускорить производительность моделей машинного обучения с помощью GPU устройства или NPU. Связывание DirectML с ONNX Runtime обычно является самым простым способом для разработчиков, чтобы обеспечить масштабируемую реализацию аппаратного ускорения ИИ своим пользователям. Дополнительные сведения: Обзор DirectML.
  • Квантизация и проверка модели для использования в NPU с помощью возможностей преобразования модели

Идеи для использования локального искусственного интеллекта

Несколько способов, которыми Windows приложения могут использовать локальный ИИ для повышения их функциональности и взаимодействия с пользователем, включают:

  • Приложения могут использовать генеративные модели ИИ LLM, чтобы понять сложные темы для суммирования, переформулирования, составления отчетов или расширения.
  • Приложения могут использовать модели LLM для преобразования содержимого свободной формы в структурированный формат, который может понять ваше приложение.
  • Приложения могут использовать модели семантического поиска , позволяющие пользователям искать содержимое по смыслу и быстро находить связанное содержимое.
  • Приложения могут использовать модели обработки естественного языка для анализа сложных требований к естественному языку, планировать и выполнять действия для выполнения запросов пользователя.
  • Приложения могут использовать модели обработки изображений для интеллектуального изменения изображений, удаления или добавления субъектов, масштабирования или создания нового содержимого.
  • Приложения могут использовать прогнозные диагностические модели для выявления и прогнозирования проблем, а также помогать пользователю или делать это для них.

Использование облачных моделей ИИ

Если использование локальных функций ИИ не является правильным способом для вас, использование облачных моделей ИИ и ресурсов может быть решением.

Использование методик ответственного искусственного интеллекта

Каждый раз, когда вы включаете функции ИИ в приложение Windows, мы настоятельно рекомендуем следовать указаниям Разработка ответственных генеративных AI приложений и функций в Windows.