Обзор WebNN

API веб-нейронной сети (WebNN) — это новый веб-стандарт, позволяющий веб-приложениям и платформам ускорить глубокие нейронные сети с помощью gpu, ЦП или специально созданных акселераторов ИИ, таких как NP. API WebNN использует API DirectML в Windows для доступа к собственным возможностям оборудования и оптимизации выполнения моделей нейронной сети.

Поскольку использование искусственного интеллекта и машинного обучения в приложениях становится более популярным, API WebNN предоставляет следующие преимущества:

• Оптимизация производительности. Используя DirectML, WebNN позволяет веб-приложениям и платформам использовать лучшие возможности оптимизации оборудования и программного обеспечения для каждой платформы и устройства, не требуя сложного и конкретного кода платформы.
• Низкая задержка . Вывод в браузере помогает включить новые варианты использования с локальными источниками мультимедиа, такими как анализ видео в режиме реального времени, обнаружение лиц и распознавание речи, без необходимости отправлять данные на удаленные серверы и ждать ответов.
• Сохранение конфиденциальности — данные пользователей остаются на устройстве и сохраняют конфиденциальность пользователей, так как веб-приложения и платформы не должны передавать конфиденциальные или персональные данные в облачные службы для обработки.
• Высокий уровень доступности — отсутствие зависимости от сети после первоначального кэширования ресурсов в автономном режиме, так как веб-приложения и платформы могут локально запускать модели нейронной сети, даже если подключение к Интернету недоступно или ненадежно.
• Низкие затраты на сервер — вычисления на клиентских устройствах не требуются серверы, что помогает веб-приложениям сократить затраты на эксплуатацию и обслуживание служб искусственного интеллекта и машинного обучения в облаке.

Ai/ML, поддерживаемый WebNN, включают генеривные ИИ, обнаружение людей, обнаружение лиц, семантические сегментации, обнаружение скелетов, передача стилей, супер разрешение, подпись изображения, машинный перевод и подавление шума.

Примечание.

API WebNN по-прежнему выполняется, с поддержкой GPU в состоянии предварительной версии и поддержка NPU в ближайшее время. В настоящее время API WebNN не следует использовать в рабочей среде.

Поддержка платформы

WebNN разработан в качестве серверного API для веб-платформ. Для Windows рекомендуется использовать веб-сайт среды выполнения ONNX. Это дает знакомый интерфейс для использования DirectML и ONNX Runtime в собственном коде, чтобы обеспечить согласованное развертывание ИИ в формате ONNX в веб-приложениях и собственных приложениях.

Требования к WebNN

Вы можете проверка сведения о браузере, перейдя к about://version в адресной строке браузера chromium.

Оборудование	Веб-браузеры	Версия Windows	Веб-версия среды выполнения ONNX	Версия драйвера
GPU	Для WebNN требуется браузер Chromium*. Используйте последнюю версию бета-версии Microsoft Edge.	Минимальная версия: Windows 11 версии 21H2.	Минимальная версия: 1.18	Установите последний драйвер для оборудования.

Примечание.

Браузеры на основе Chromium в настоящее время могут поддерживать WebNN, но будут зависеть от состояния реализации отдельного браузера.

Поддержка моделей

GPU (предварительная версия):

При запуске на gpu, WebNN в настоящее время поддерживает следующие модели:

• Стабильное диффузионное турбо
• Стабильная диффузия 1,5
• Whisper-base
• MobileNetv2
• Сегментирование всех компонентов
• ResNet
• Эффективная сеть
• SqueezeNet

WebNN также работает с пользовательскими моделями до тех пор, пока поддержка операторов достаточна. Проверьте состояние операторов здесь.

Вопросы и ответы

Разделы справки файл проблемы с WebNN?

Для общих проблем с WebNN отправьте проблему на веб-сайте WebNN Developer Preview GitHub

Для проблем с веб-средой выполнения ONNX или поставщиком выполнения WebNN перейдите на сайт ONNXRuntime Github.

Разделы справки проблемы отладки с WebNN?

Спецификация WebNN W3C содержит сведения о распространении ошибок, как правило, с помощью исключений DOM. Журнал в конце about://gpu также может содержать полезные сведения. Для дальнейших проблем отправьте файл проблемы, как описано выше.

Поддерживает ли WebNN другие операционные системы?

В настоящее время WebNN лучше всего поддерживает операционную систему Windows. Выполняется версия операционных систем Mac.

Какие аппаратные внутренние компоненты сейчас доступны? Поддерживаются ли некоторые модели только с определенными аппаратными внутренними устройствами?

Сведения о поддержке операторов в WebNN см. в разделе "Состояние реализации операций WebNN" | Веб-Машинное обучение.