CopilotРуководство разработчика для компьютеров и компьютеров

Статья
06/21/2024

Copilot+ ПК — это новый класс оборудования Windows 11, на основе высокопроизводительного модуля нейронной обработки (NPU) — специализированного чипа компьютера для интенсивных процессов искусственного интеллекта, таких как переводы в режиме реального времени и создание изображений, которые могут выполнять более 40 трлн операций в секунду (TOPS). Copilot+ ПК обеспечивают всю жизнь батареи и доступ к самым передовым функциям и моделям ИИ. Дополнительные сведения см. в статье "Введение Copilotи компьютеры" — официальный блог Майкрософт.

Ниже приведены инструкции Copilotразработчика по ПК:

Предварительные требования устройства
Что такое микросхема Snapshell Elite X+ на основе Arm?
Уникальные функции искусственного интеллекта, поддерживаемые Copilot+ ПК с процессором NPU
Как получить доступ к NPU на компьютере Copilot+PC
Использование среды выполнения ONNX для программного доступа к NPU на компьютере Copilot+PC
Как измерять производительность моделей ИИ, работающих локально на NPU устройства

Необходимые компоненты

Это руководство предназначено для Copilotкомпьютеров и более поздних версий.

Многие из новых функций ИИ Windows требуют NPU с возможностью запуска 40+ TOPS, включая не только следующие:

Устройства На основе Arm Qualcomm Snap android X Elite
Устройства Intel Lunar Lake — скоро
Устройства AMD STRIX (Ryzen AI 9) — скоро

Что такое микросхема Snapshell Elite X на основе Arm?

Новый чип Snapink X Elite Arm, построенный Qualcomm, подчеркивает интеграцию ИИ через свой ведущий в отрасли нейронный модуль обработки (NPU). Этот NPU может обрабатывать большие объемы данных параллельно, выполняя триллионы операций в секунду, используя энергию для задач ИИ более эффективно, чем ЦП или GPU, что приводит к более длительной работе батареи устройства. NPU работает в соответствии с ЦП и GPU. Windows 11 назначает задачи обработки наиболее подходящему месту для обеспечения быстрой и эффективной производительности. NPU обеспечивает интеллектуальные возможности искусственного интеллекта на устройстве с безопасностью корпоративного уровня для повышения защиты от микросхемы в облако.

Узнайте больше о Qualcomm Snapdl X Elite.
Узнайте больше об использовании и разработке для Windows в Arm.

Уникальные функции искусственного интеллекта, поддерживаемые Copilot+ пк с NPU

Copilot+ ПК предлагают уникальные возможности искусственного интеллекта, которые предоставляют современные версии Windows 11. К этим функциям ИИ, предназначенным для запуска на NPU устройства, относятся:

Эффекты Windows Studio: набор эффектов искусственного интеллекта с ускорением звука и видео от Майкрософт, включая Creative Filter, фоновый размытие, контакт глаз, авторамение, фокус голоса. Разработчики также могут добавлять переключатели в свое приложение для элементов управления уровнем системы. Список улучшений искусственного интеллекта в Windows Studio.
Помните: API UserActivity, поддерживаемый ИИ, который позволяет пользователям искать прошлые взаимодействия с использованием естественного языка и забрать место, где они оставили. Доступно для Copilotкомпьютеров с помощью программы предварительной оценки Windows (WIP). Дополнительные сведения. Повторное извлечение шагов с помощью отзыва
Phi Silica: Модель малого языка Phi (SLM), которая позволяет приложению подключаться к модели на устройстве для выполнения задач обработки естественного языка (чат, математика, код, обоснование) с помощью предстоящего выпуска пакета SDK для приложений Windows.
Распознавание текста: API оптического распознавания символов (OCR), который позволяет извлекать текст из изображений и документов. Представьте себе задачи, такие как преобразование PDF- документа, документа или рисунка доски класса в редактируемый цифровой текст.
Совместное создание с краской новой функции в Microsoft Paint, которая преобразует изображения в ИИ Art.
Супер разрешение: ведущая в отрасли технология искусственного интеллекта, которая использует NPU, чтобы сделать игры работают быстрее и выглядят лучше.

*Не все функции могут быть изначально доступны на всех Copilotкомпьютерах и компьютерах.

Внимание

Модели искусственного интеллекта в последних выпусках Windows будут доступны через API в среде выполнения WindowsCopilot, объявленном в сборке 2024. API для новых функций ИИ, таких как Phi Silica, поддерживаются моделями, оптимизированными для запуска (вывода) на NPU и будут отправляться в предстоящем выпуске пакета SDK для приложений Windows.

Как получить доступ к NPU на компьютере Copilot+PC

Единица нейронной обработки (NPU) — это новый аппаратный ресурс. Как и другие аппаратные ресурсы на компьютере, NPU должен быть специально запрограммирован, чтобы воспользоваться преимуществами, которые он предлагает. NPUs предназначены специально для выполнения математических операций глубокого обучения, составляющих модели искусственного интеллекта.

Перечисленные выше функции Windows 11 Copilot+ AI специально предназначены для использования использования NPU. Пользователи получат улучшенную продолжительность работы батареи и ускорить выполнение вывода для моделей ИИ, предназначенных для NPU. Поддержка Windows 11 для NPUs будет включать устройства На основе Arm, а также устройства Intel и AMD (в ближайшее время).

Для устройств с NPUs диспетчер задач теперь можно использовать для просмотра использования ресурсов NPU.

Снимок экрана: диспетчер задач Windows, отображающий производительность NPU вместе с ЦП, GPU, памятью, Ethernet и диском

Рекомендуемый способ вывода (выполнение задач ИИ) на NPU устройства — использовать среду выполнения ONNX. Среда выполнения ONNX — это гибкий и выполняющийся стек для программирования с помощью NPU, а также GPU и ЦП, что позволяет принести собственные модели ИИ или использовать открытый код модели ИИ, найденные в Интернете. Дополнительные сведения об использовании среды выполнения ONNX для доступа к NPU ниже или дополнительные сведения об использовании Машинное обучение моделей в приложении Windows.

Примечание.

Как использовать другие среды выполнения для PyTorch или Tensorflow? Другие среды выполнения для PyTorch, Tensorflow и других типов пакетов SDK, предоставляемых поставщиком Силикона, также поддерживаются в Windows. В настоящее время вы можете запускать PyTorch, TensorFlow и другие типы моделей, преобразовав в гибкий формат ONNX, но встроенная поддержка скоро будет доступна.

Использование среды выполнения ONNX для программного доступа к NPU на компьютере Copilot+PC

Корпорация Майкрософт предоставляет полную открытый код платформу вывода и обучения с именем ONNX Runtime. Среда выполнения ONNX — это рекомендуемое открытый код решением Майкрософт для запуска моделей искусственного интеллекта в NPU. Так как среда выполнения ONNX является гибкой и поддерживает множество различных вариантов запуска моделей ИИ, варианты могут быть запутанными. В этом руководстве вы узнаете, как выбрать варианты, относящиеся к Windows Copilot+ ПК.

Qualcomm Snapshell X: В настоящее время разработчики должны нацелиться на поставщик выполнения Qualcomm QNN (EP), который использует Direct SDK для Ядра ИИ Qualcomm (QNN). Готовые пакеты с поддержкой QNN доступны для скачивания. Это тот же стек, который в настоящее время используется средой выполнения Windows Copilot и интерфейсом на Copilotустройствах + PC Qualcomm. Поддержка DirectML и WebNN для Qualcomm Snapdl X Elite NPUs была объявлена на сборке 2024 и будет доступна в ближайшее время.
Устройства Intel и AMD NPU: дополнительные устройства NPU будут доступны позже в 2024 году. DirectML — это рекомендуемый метод для целевых устройств.

Поддерживаемые форматы моделей

Модели искусственного интеллекта часто обучены и доступны в более крупных форматах данных, таких как FP32. Однако многие устройства NPU поддерживают только целочисленную математику в нижнем битовом формате, например INT8, для повышения производительности и эффективности питания. Таким образом, модели искусственного интеллекта необходимо преобразовать (или "кванантизировать") для запуска в NPU. Существует множество моделей, которые уже были преобразованы в готовый к использованию формат. Вы также можете использовать собственную модель (BYOM) для преобразования или оптимизации.

Qualcomm AI Hub (Compute): Qualcomm предоставляет модели искусственного интеллекта, которые уже проверены для использования Copilotна компьютерах + С Оснастки X Elite с доступными моделями, специально оптимизированными для эффективного запуска на этом NPU. Дополнительные сведения: ускорение развертывания модели с помощью Центра ИИ Qualcomm | Microsoft Build 2024.
Зоопарк моделей ONNX: этот открытый код репозиторий предлагает курированную коллекцию предварительно обученных, готовых моделей в формате ONNX. Эти модели рекомендуется использовать с NPUs на всех компьютерах Copilotи компьютерах, включая устройства Intel и AMD (в ближайшее время).

Для тех, кто хочет принести собственную модель, рекомендуется использовать средство оптимизации модели с поддержкой оборудования, Олив. Оливка может помочь с сжатием модели, оптимизацией и компиляцией для работы с onNX Runtime в качестве решения для оптимизации производительности NPU. Дополнительные сведения: ИИ упрощается: как среда выполнения ONNX и цепочка инструментов оливки помогут вам в Q&A | Сборка 2023.

Как измерять производительность моделей ИИ, работающих локально на NPU устройства

Чтобы оценить производительность интеграции функций ИИ в приложении и связанных средах выполнения модели ИИ:

Запись трассировки: запись действия устройства за период времени называется системной трассировкой. Трассировка системы создает файл трассировки, который можно использовать для создания отчета и помогает определить, как повысить производительность приложения. Дополнительные сведения: запись системной трассировки для анализа использования памяти.
Просмотр использования NPU: проверьте, какие процессы используют NPU и вызовы, отправляющие работу.
Просмотр рабочих и вызовов на ЦП: изучите результаты предварительной подготовки моделей ИИ и моделей ИИ после работы.
Загрузка и среда выполнения. Проверьте время загрузки модели ИИ и создайте сеанс среды выполнения ONNX.
Параметры среды выполнения. Проверьте конфигурацию среды выполнения ONNX и параметры поставщика выполнения (EP), влияющие на производительность и оптимизацию среды выполнения модели.
Время вывода по отдельности: отслеживание времени вывода и вложенных сведений из NPU.
Профилировщик: операции модели ИИ профиля, чтобы узнать, сколько времени занимает каждый оператор, чтобы внести свой вклад в общее время вывода.
NPU: изучите вложенные сведения NPU, такие как метрики под HW, пропускная способность памяти и многое другое.

Снимок экрана: общее впечатление о средстве Windows Анализатор производительности

Для выполнения этих измерений рекомендуется использовать следующие средства диагностики и трассировки:

Диспетчер задач. Позволяет пользователю просматривать производительность операционной системы Windows, установленной на своем устройстве, включая процессы, производительность, журнал приложений, запуск приложений, пользователей, сведений и служб. Данные о производительности в режиме реального времени будут отображаться для ЦП устройства, памяти, диска хранилища, Wi-Fi, GPU... и теперь NPU. Данные включают процент использования, доступную память, общую память, версию драйвера, физическое расположение и многое другое.
Средство записи производительности Windows (WPR): WPR теперь поставляется с профилем нейронной обработки для записи действия NPU. Эта запись записывает взаимодействие модели драйвера вычислений Майкрософт (MCDM) с NPU. Теперь разработчики могут видеть использование NPU, которые используют NPU, а также вызовы, отправляющие работу.
Windows Анализатор производительности (WPA): WPA создает графы и таблицы данных событий трассировки событий для Windows (ETW), записанные средством записи производительности Windows (WPR), Xperf или оценкой, выполняемой на платформе оценки. Он предоставляет удобные точки доступа для анализа событий среды выполнения ЦП, диска, сети, ONNX... и новая таблица для анализа NPU в одной временной шкале. WPA теперь может просматривать рабочие и вызовы на ЦП, связанных с предрабатными моделями ИИ и результатами модели ИИ после обработки. Скачайте Анализатор производительности Windows из Microsoft Store.
GPUView: GPUView — это средство разработки, которое считывает записанные видео и события ядра из файла журнала трассировки событий (etl) и отображает данные графически для пользователя. Теперь это средство включает как операции GPU, так и NPU, а также поддержку просмотра событий DirectX для устройств MCDM , таких как NPU.
События среды выполнения ONNX в Windows Анализатор производительности. Начиная с ONNXRuntime 1.17 (и улучшено в версии 1.18.1), доступны следующие варианты использования с событиями, созданными в среде выполнения:
- Узнайте, сколько времени потребовалось для загрузки модели ИИ и создания сеанса среды выполнения ONNX.
- См. параметры конфигурации и поставщика выполнения ONNX, влияющие на производительность и оптимизацию среды выполнения модели.
- Отслеживание времени вывода и вложенных сведений из NPU (QNN).
- Операции модели ИИ профилирования, чтобы узнать, сколько времени потребовалось каждому оператору, чтобы внести свой вклад в общее время вывода.
- Дополнительные сведения о профилировании поставщика выполнения ONNX (EP).

Примечание.

Пользовательский интерфейс WPR (пользовательский интерфейс, доступный для поддержки WPR на основе командной строки, включенной в Windows), WPA и GPUView являются частью Набора средств производительности Windows (WPT), версии май 2024+. Чтобы использовать WPT, необходимо скачать набор средств Windows ADK.

Краткое руководство по просмотру событий среды выполнения ONNX с помощью Windows Анализатор производительности (WPA) выполните следующие действия.

Скачайте ort.wprp и etw_provider.wprp.

Откройте командную строку и введите:

wpr -start ort.wprp -start etw_provider.wprp -start NeuralProcessing -start CPU
echo Repro the issue allowing ONNX to run 
wpr -stop onnx_NPU.etl -compress

Объединение профилей записей производительности Windows (WPR) с другими встроенными профилями записи, такими как ЦП, диск и т. д.
Скачайте Windows Анализатор производительности (WPA) из Microsoft Store.
onnx_NPU.etl Откройте файл в WPA. Дважды щелкните, чтобы открыть эти графы:
- "Нейронная обработка —> использование NPU
- Универсальные события ONNX

Дополнительные средства измерения производительности, которые рекомендуется использовать с приведенными выше средствами Microsoft Windows, включают:

Qualcomm Snapdl Profiler (qprof): графический интерфейс и средство профилирования производительности на уровне системы, предназначенное для визуализации производительности системы, а также определение возможностей оптимизации и масштабирования приложений в ЦП Qualcomm SoC, GPU, DSPs и других IP-блоках. Snapdl Profiler позволяет просматривать вложенные сведения NPU, такие как метрики под HW, пропускная способность памяти и многое другое.

Поделиться через