Windows Copilot Runtime Обзор
Стек Microsoft Copilot в Windows демократизирует возможность экспериментировать, создавать и достигать людей с прорывом возможностей искусственного интеллекта, ставя разработчика под контроль. Copilot в Windows отображается как боковая панель, закрепленная на рабочем столе Windows, и предназначена для того, чтобы помочь пользователям выполнять действия в операционной системе (например, изменение параметров Windows). Дополнительные сведения о настройке Copilot в Windows для коммерческих сред см. в статье "Управление Copilot" в Windows.
Windows Copilot Runtime представляет новые способы взаимодействия с операционной системой, использующую ИИ, такие как Phi Silica, небольшая языковая модель (SLM), созданная Microsoft Research, которая может предложить множество одинаковых возможностей, найденных в крупных языковых моделях (LLMs), но более компактным и эффективным, чтобы он мог работать локально в Windows.
В качестве разработчика вы можете интегрировать приложения с интерфейсами Windows на основе искусственного интеллекта, например Recall Studio Effectsи использовать новые API на устройстве с помощью моделей Windows Copilot Libraryна устройстве, обнаруживать Машинное обучение модели машинного обучения для точной настройки с помощью собственных настраиваемых данных с помощьюAI Toolkit Visual Studio Code, интегрировать собственные модели машинного обучения с помощью таких платформ, как ONNX RuntimePyTorch или WebNN, и получить доступ к аппаратному ускорению для повышения производительности и масштабирования с помощью visual Studio Code. DirectML.
Windows Copilot Runtime и Windows Copilot Library.
Существуют новые инновации, использующие ИИ для улучшения и переопределить интерфейс Windows, при этом некоторые инновации искусственного интеллекта выпекаются прямо в использовании Windows и других, доступных разработчикам приложений для интеграции с функциями приложения. Эти новые способы интеграции ИИ в форму Windows Copilot Libraryприложения Windows — список готовых функций и API, включая следующие:
- Studio Effects: улучшает возможности камеры и звука устройств Windows с помощью эффектов фона с использованием искусственного интеллекта, коррекции контакта глаз, автоматического обрамления, голосового фокуса, размытия, освещения и творческих фильтров, работающих на устройстве NPU, чтобы обеспечить высокую скорость производительности.
- Recall: делает прошлые действия на устройстве Windows для поиска, чтобы вы могли выбрать место, где вы оставили, независимо от того, используется ли приложение, редактирование документа или реагирование на сообщение электронной почты.
- Phi Silica: позволяет приложению подключаться к модели Phi на устройстве для задач обработки естественного языка (чат, математика, код, обоснование) с помощью пакета SDK для приложений Windows.
- Text Recognition: оптическое распознавание символов или OCR позволяет извлекать текст из изображений и документов. Представьте себе задачи, такие как преобразование PDF- документа, документа или рисунка доски класса в редактируемый цифровой текст.
- Трансляции субтитров: помогает всем пользователям в Windows, включая тех, кто глух или трудно слышать, лучше понимать звук, просматривая подпись речевого содержимого, даже если звуковое содержимое находится на языке, отличном от предпочтительного языка системы.
Разработчики смогут получить доступ к этим API в составе пакета SDK для приложений Windows.
Помимо готовых к использованию API Windows Copilot Libraryс поддержкой искусственного интеллекта, мы предлагаем рекомендации по улучшению приложения с помощью моделей Машинное обучение (машинного обучения). В этой статье рассматриваются такие темы:
- Как приложения Windows могут использовать модели машинного обучения?
- Где можно найти открытый код модели машинного обучения в Интернете?
- Разделы справки оптимизировать модель машинного обучения для использования в приложении Windows?
- Как настроить модель машинного обучения с собственными пользовательскими данными?
- Как использовать аппаратное ускорение для повышения производительности с помощью функций ИИ?
Руководство с ответственностью и примерами
Мы также создали ресурсы для поддержки наших разработчиков, стремящихся интегрировать ИИ в приложения Windows, предоставив коллекцию примеров, руководство по использованию ответственного ИИ и некоторые высокоуровневые часто задаваемые вопросы, которые могут помочь с распаковкой некоторых терминов и концепций.
ИИ в коллекции примеров Windows: примеры, демонстрирующие способы интеграции ИИ в приложения Windows.
Разработка ответственных приложений и функций ИИ в Windows: ресурсы и рекомендации по работе с ИИ в Windows и включение ИИ ответственно в приложения Windows.
Часто задаваемые вопросы об использовании ИИ с Windows: часто задаваемые вопросы о терминологии и понятиях, связанных с использованием ИИ в контексте Windows, в которых рассматриваются такие вопросы, как "Что такое DirectML?", "Что такое ONNX?", "Что такое ORT?", "Что такое NPU?", "Что такое SLM?", "Что такое вывод?" и т. д.