Поделиться через

Начало работы с API с поддержкой ИИ в приложении Windows

  • Статья

Windows Copilot Runtimeпредлагает различные ИНТЕРФЕЙСЫ API, поддерживаемые ИИ, которые Windows Copilot Library позволяют использовать функции ИИ без необходимости находить, запускать или оптимизировать собственную модель Машинное обучение (ML). Модели, Windows Copilot Library готовые к использованию и пассивно работающие на устройстве, чтобы включить функции искусственного интеллекта на компьютерах Copilot+.

Использование локальных API, поддерживаемых ИИ, доступных в Windows Copilot Library

Windows Copilot Library включает эти API с поддержкой ИИ на основе моделей, работающих локально, непосредственно на устройстве Windows:

  • Phi Silica: API Phi Silica доступен в составе пакета SDK для приложений Windows. Аналогично модели GPT большого языка OpenAI ( LLM), которая позволяет ChatGPT, Phi — это небольшая языковая модель (SLM), разработанная Microsoft Research для выполнения задач обработки языка на локальном устройстве. Phi Silica специально предназначен для устройств Windows с нейронной обработкой (NPU), что позволяет создавать текст и функции беседы в высокопроизводительном аппаратном ускоряющемся способе непосредственно на устройстве.

  • Text Recognition с OCR: Text Recognition API (также называется оптическое распознавание символов или OCR) доступен в составе пакета SDK для приложений Windows. Этот API позволяет распознаванию текста в изображении и преобразовании различных типов документов, таких как сканированные бумажные документы, PDF-файлы или изображения, захваченные цифровой камерой, в редактируемые и доступные для поиска данные на локальном устройстве.

  • Studio Effects: устройства Windows с совместимыми единицами нейронной обработки (NPUS) интегрируются Studio Effects в встроенные параметры камеры устройства и микрофона. Примените специальные эффекты, которые используют ИИ, включая фоновый размытие, исправление контакта глаз, автоматическое обрамление, исправление книжного света, творческие фильтры или фокус голоса для фильтрации фонового шума.

  • Recall: Recall позволяет пользователям быстро находить вещи из прошлого действия, например документы, изображения, веб-сайты и многое другое. Разработчики могут расширить взаимодействие пользователя Recall с приложением, добавив контекстную информацию в базовую базу данных векторов с помощью API действий пользователя. Эта интеграция поможет пользователям выбрать место, в котором они остались в приложении, что улучшает взаимодействие с приложениями и простой поток пользователей между Windows и приложением.

С дополнительными сведениями, включая переводы динамических субтитров, семантический поиск, получение дополненного поколения (RAG), суммирование текста и супер разрешение изображений.

Использование облачных API с поддержкой ИИ в приложении Windows

Вы также можете использовать API,которые запускают модели в облаке для использования функций искусственного интеллекта, которые можно добавить в приложение Windows. Ниже приведены некоторые примеры облачных API, поддерживаемых корпорацией Майкрософт или OpenAI:

Рекомендации по использованию локальных и облачных API с поддержкой искусственного интеллекта в приложении Windows

При выборе между использованием API в приложении Windows, который использует модель машинного обучения локально, а не в облаке, существует несколько преимуществ и недостатков, которые следует учитывать.

  • Доступность ресурса

    • Локальное устройство: выполнение модели зависит от ресурсов, доступных на используемом устройстве, включая ЦП, GPU, NPU, память и емкость хранилища. Это может быть ограничение, если устройство не имеет высокой вычислительной мощности или достаточного хранилища. Небольшие языковые модели (SLM), такие как Phi, более идеально подходят для локального использования на устройстве.
    • Облако: облачные платформы, такие как Azure, предлагают масштабируемые ресурсы. Вы можете использовать столько вычислительной мощности или хранилища, сколько вам нужно, и платить только за то, что вы используете. Для больших языковых моделей (LLM), таких как языковые модели OpenAI, требуются дополнительные ресурсы, но и более мощные.

  • Конфиденциальность и безопасность данных

    • Локальное устройство: так как данные остаются на устройстве, работа модели локально может быть более безопасной и частной. Ответственность за безопасность данных зависит от пользователя.
    • Облако: поставщики облачных служб предлагают надежные меры безопасности, но данные необходимо передать в облако, что может вызвать проблемы конфиденциальности данных в некоторых случаях.

  • Специальные возможности и совместная работа

    • Локальное устройство: модель и данные доступны только на устройстве, если не предоставлен общий доступ вручную. Это может сделать совместную работу с данными модели более сложной.
    • Облако: модель и данные могут быть доступны в любом месте с подключением к Интернету. Это может быть лучше для сценариев совместной работы.

  • Стоимость

    • Локальное устройство: нет дополнительных затрат за рамки первоначальных инвестиций на устройство.
    • Облако. Хотя облачные платформы работают с моделью оплаты по мере использования, затраты могут накапливаться на основе используемых ресурсов и длительности использования.

  • Обслуживание и Обновления

    • Локальное устройство: пользователь отвечает за обслуживание системы и установку обновлений.
    • Облако: обслуживание, обновления системы и новые обновления компонентов обрабатываются поставщиком облачных служб, что снижает затраты на обслуживание для пользователя.

Дополнительные сведения о различиях между запуском небольшой языковой модели (SLM) локально и большой языковой моделью (LLM) в облаке см. в статье "Запуск небольшой языковой модели( SLM) и большая языковая модель (LLM) в облаке.