Übersicht über WebNN

Die Web Neural Network (WebNN) API ist ein neuer Webstandard, mit dem Web-Apps und Frameworks Deep Neural Networks mit GPUs, CPUs oder speziell erstellten KI-Beschleunigern wie NPUs beschleunigen können. Die WebNN-API nutzt die DirectML-API unter Windows, um auf die systemeigenen Hardwarefunktionen zuzugreifen und die Ausführung neuraler Netzwerkmodelle zu optimieren.

Während die Verwendung von AI/ML in Apps beliebter wird, bietet die WebNN-API folgende Vorteile:

• Leistungsoptimierungen – Durch den Einsatz von DirectML hilft WebNN, Webanwendungen und Frameworks zu ermöglichen, die Vorteile der besten verfügbaren Hardware- und Software-Optimierungen für jede Plattform und jedes Gerät zu nutzen, ohne komplexen und plattformspezifischen Code zu benötigen.
• Geringe Latenz – In-Browser-Rückschluss hilft dabei, neue Anwendungsfälle mit lokalen Medienquellen zu ermöglichen, z. B. Echtzeit-Videoanalyse, Gesichts- und Spracherkennung, ohne dass Daten an Remoteserver gesendet werden müssen und auf Antworten gewartet werden muss.
• Erhaltung des Datenschutzes – Benutzerdaten bleiben auf dem Gerät erhalten und die Daten geschützt, da Web-Apps und Frameworks keine vertraulichen oder persönlichen Informationen zur Verarbeitung in Clouddienste hochladen müssen.
• Hohe Verfügbarkeit – Keine Abhängigkeit vom Netzwerk nach der anfänglichen Zwischenspeicherung von Ressourcen für Offlinevorgänge, da Web-Apps und Frameworks Modelle neuronaler Netze lokal ausführen können, auch wenn die Internetverbindung nicht verfügbar oder unzuverlässig ist.
• Niedrige Serverkosten – Computing auf Client-Geräten bedeutet, dass keine Server benötigt werden, was Webanwendungen hilft, die Betriebs- und Wartungskosten für den Betrieb von KI/ML-Diensten in der Cloud zu reduzieren.

VON WebNN unterstützte KI/ML umfasst generative KI, Personen- und Gesichtserkennung, semantische Segmentierung, Skeletterkennung, Stilübertragung, Superauflösung, Bilduntertitelung, maschinelle Übersetzung und Rauschunterdrückung.

Hinweis

Die WebNN-API befindet sich noch in Arbeit, mit GPU-Unterstützung in einem Vorschauzustand und NPU-Unterstützung in Kürze verfügbar. Die WebNN API sollte nicht in einer Produktionsumgebung verwendet werden.

Framework-Support

WebNN wurde als Back-End-API für Webframeworks konzipiert. Für Windows empfehlen wir die Verwendung von ONNX-Runtime-Web. Das bietet eine vertraute Erfahrung bei der nativen Nutzung von DirectML und ONNX-Runtime, sodass Sie eine konsistente Erfahrung beim Bereitstellen von KI im ONNX-Format über Web- und systemeigene Anwendungen hinweg haben.

Anforderungen für WebNN

Sie können Informationen zu Ihrem Browser prüfen, indem Sie in der Adressleiste Ihres Chromium-Browsers zu about://version navigieren.

Hardware	Webbrowser	Windows-Version	Webversion von ONNX-Runtime	Treiberversion
GPU	WebNN erfordert einen Chromium-Browser*. Nutzen Sie die neueste Version von Microsoft Edge Beta.	Mindestversion: Windows 11, Version 21H2.	Mindestversion: 1.18	Installieren Sie den neuesten Treiber, der für Ihre Hardware verfügbar sind.

Hinweis

Chromium-basierte Browser können derzeit WebNN unterstützen, hängen jedoch vom Implementierungsstatus des jeweiligen Browsers ab.

Modellunterstützung

GPU (Vorschau):

Bei der Ausführung auf GPUs unterstützt WebNN derzeit die folgenden Modelle:

• Stable Diffusion Turbo
• Stable Diffusion 1.5
• Whisper-base
• MobileNetv2
• Segment Anything
• ResNet
• EfficientNet
• SqueezeNet

WebNN funktioniert auch mit benutzerdefinierten Modellen, solange die Unterstützung der Operatoren ausreicht. Überprüfen Sie den Status der Operatoren hier.

Häufig gestellte Fragen

Wie melde ich ein Problem mit WebNN?

Für allgemeine Probleme mit WebNN melden Sie bitte ein Problem in unserem WebNN Developer Preview GitHub.

Bei Problemen mit dem ONNX-Runtime-Web oder dem WebNN-Ausführungsanbieter nutzen Sie das ONNXRuntime Github.

Wie debugge ich Probleme mit WebNN?

Die WebNN W3C Spec enthält Informationen zur Fehlerverteilung, in der Regel über DOM-Ausnahmen. Das Protokoll am Ende von about://gpu kann auch hilfreiche Informationen enthalten. Bei weiteren Problemen melden Sie bitte ein Problem wie oben verlinkt.

Unterstützt WebNN andere Betriebssysteme?

Derzeit unterstützt WebNN das Windows-Betriebssystem am besten. Eine Version für Mac-Betriebssysteme ist in Arbeit.

Welche Hardware-Back-Ends sind derzeit verfügbar? Werden bestimmte Modelle nur mit bestimmten Hardware-Back-Ends unterstützt?

Informationen zur Operatorunterstützung finden Sie in WebNN unter Implementierungsstatus von WebNN-Vorgängen | Web maschinelles Lernen.