Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Importante
WebGPU EP es un proveedor de ejecución experimental . Requiere la instalación de paquetes NuGet experimentales y aún no se recomienda para escenarios de producción críticos para el rendimiento. Las API y el comportamiento pueden cambiar en futuras versiones.
En el caso de producción, el enfoque recomendado sigue usando Windows ML con EPs específicos del proveedor para hardware premium y revierte a DirectML para lograr una amplia compatibilidad. WebGPU EP solo se recomienda para escenarios experimentales o de casos especiales una vez probados exhaustivamente.
El Windows proveedor de ejecución webGPU de ML (WebGPU EP) es un proveedor de ejecución de GPU experimental que usa el estándar WebGPU (a través de DirectX 12) para ejecutar modelos ONNX en una amplia gama de GPU.
Tip
OnNX Runtime proporciona WebGPU EP. Para conocer el comportamiento específico del proveedor, las opciones de configuración y la compatibilidad con operadores, consulte la documentación del proveedor de ejecución de WebGPU en tiempo de ejecución de ONNX.
En Windows ML, la ruta de acceso de GPU principal y recomendada es el proveedor de ejecución específico de IHV para el hardware, como MIGraphX o VitisAI para AMD, NvTensorRtRtx para NVIDIA o OpenVINO para Intel. DirectML está disponible como reserva para una amplia compatibilidad con Windows 11 24H2 y versiones posteriores, pero está en modo de mantenimiento. WebGPU EP es una alternativa experimental diseñada solo para los escenarios descritos a continuación en este momento.
WebGPU EP es compatible con casi todas las GPU compatibles con DirectX 12.
Licencias
WebGPU EP se rige por dos licencias:
- WebGPU EP para SDK de Aplicaciones para Windows Licencia, que contiene el Términos de licencia del software de Microsoft que rige la distribución de WebGPU EP.
- La licencia en tiempo de ejecución de ONNX, que cubre los componentes en tiempo de ejecución de ONNX incluidos en webGPU EP.
Ambas licencias se aceptan implícitamente cuando se instalan y usan los paquetes respectivos.
Cuándo usar WebGPU EP
Considere la posibilidad de habilitar WebGPU EP en escenarios específicos:
Amplia cobertura de hardware cruzado: WebGPU EP puede proporcionar aceleración de GPU en dispositivos y versiones Windows en las que las direcciones IP específicas de IHV no están disponibles, incluido el hardware anterior sin un EP dedicado.
Operadores no admitidos: si el modelo contiene operadores o características no optimizados en DirectML que provocan una reserva de CPU, WebGPU EP podría admitirlos. Esto puede evitar la reserva de CPU, lo que mejora el rendimiento.
Flujos de trabajo basados en estándares o web first: si se alinea con estándares web (WebGPU) o se puentea un escenario nativo o explorador, WebGPU EP usa la misma tecnología disponible en exploradores modernos. Esto puede simplificar el desarrollo y las pruebas de ML multiplataforma. Por ejemplo, un modelo prototipo con ONNX Runtime Web + WebGPU en el explorador puede usar WebGPU EP en una aplicación nativa de aprendizaje automático de Windows para lograr un comportamiento coherente.
Note
DirectML está en modo de mantenimiento. Microsoft sigue distribuyendo correcciones de errores críticos y actualizaciones de seguridad, pero no hay cobertura de operador nueva, ninguna optimización específica del hardware nueva y no se planea ninguna inversión importante en el rendimiento. Trate DirectML como un backstop de compatibilidad para GPU compatibles con DirectX 12 que no tienen ningún PROVEEDOR EP disponible.
No planee la obtención de nuevas operaciones de DirectML, nuevas rutas de cuantificación ni nuevas optimizaciones de nivel de kernel; esas inversiones se están produciendo en los EP de IHV y webGPU EP. Al diseñar nuevas canalizaciones, suponga que la posición relativa de DirectML se rechazará a lo largo del tiempo a medida que la cobertura de EP y WebGPU EP del proveedor madura y diseñe la migración fuera de DirectML en consecuencia.
Limitations
Antes de habilitar WebGPU EP, tenga en cuenta las siguientes limitaciones:
Rendimiento: WebGPU EP es un proveedor de fase temprana y aún no se recomienda para cargas de trabajo críticas para el rendimiento o ultra optimizadas. Las canalizaciones de inferencia a gran escala que exigen un rendimiento máximo deben seguir usando EPs de proveedor o DirectML.
Compatibilidad con precisión: WebGPU EP admite actualmente la inferencia FP32/FP16 y la cuantificación INT4/INT8 para LAS VM. No se admiten modelos INT8 cuantizados que no son LLM en la ruta de acceso de WebGPU: estos modelos se ejecutarán con mayor precisión o pueden revertir a la CPU, negando las ventajas de rendimiento.
Controladores y sistema operativo: WebGPU EP usa el motor Chromium Dawn a través de Direct3D 12. Requiere una GPU moderna compatible con DirectX 12 con controladores de up-to-date. El uso de WebGPU EP en controladores obsoletos o hardware heredado puede dar lugar a incompatibilidad.
Hardware recomendado: para una experiencia confiable, use GPU recientes, aproximadamente gráficos integrados intel de 11ª generación o nvidia Turing-class y versiones más recientes. Proporcionan el nivel de característica de DirectX (12_0+) y la madurez del controlador que WebGPU EP espera. Es posible que las GPU anteriores se sigan ejecutando, pero podrían estar sujetas a problemas de compatibilidad o controlador.
Compatibilidad del modelo: WebGPU EP es sensible a los gráficos de modelos y a la compatibilidad con operadores. Si no se admiten determinados operadores, ONNX Runtime particionará la ejecución de particiones para que los elementos no admitidos se ejecuten en la CPU. Esto puede provocar una ejecución mixta de CPU/GPU y un rendimiento imprevisible. Compruebe si el grafo completo del modelo se ejecuta en WebGPU EP mediante Windows registros de ML o herramientas de generación de perfiles.
Prerequisites
Para usar WebGPU EP, necesita:
- Windows 11, versión 24H2 (compilación 26100) o posterior. Windows los proveedores de ejecución de ML solo se admiten en 24H2 y versiones posteriores.
- Las versiones experimentales de los paquetes NuGet de Windows ML instalados en el proyecto.
Note
Instale el Microsoft.Windows experimental. IA. Paquete NuGet MachineLearning, versión 2.4.66-preview o posterior. Consulte las notas de la versión de ml de Windows para obtener la información más reciente del paquete experimental.
Habilitación de WebGPU EP
Para usar WebGPU EP, enumere los proveedores disponibles, instale y registre WebGPU EP explícitamente, conéctelo a una sesión y anule el registro cuando haya terminado. La llamada EnsureAndRegisterCertifiedAsync()no instala WebGPU EP, por lo que debe realizar estos pasos usted mismo. En el ejemplo siguiente se muestra la secuencia completa; Los pasos se explican en Descripción de los pasos después del código.
Note
WebGPU EP se registra con el nombre WebGpuExecutionProvider. Este es el valor devuelto por ExecutionProvider.Name y que se usa como onnx runtime EpName.
using System;
using System.Collections.Generic;
using System.Linq;
using Microsoft.ML.OnnxRuntime;
using Microsoft.Windows.AI.MachineLearning;
const string WebGpuEpName = "WebGpuExecutionProvider";
// 1. Enumerate providers and find the WebGPU EP by name.
var catalog = ExecutionProviderCatalog.GetDefault();
var webGpuProvider = catalog.FindAllProviders()
.FirstOrDefault(p => p.Name == WebGpuEpName);
if (webGpuProvider is null)
{
Console.WriteLine("WebGPU EP is not available on this device.");
return;
}
// 2. Install (downloads if needed) and register the EP with ONNX Runtime.
var result = await webGpuProvider.EnsureReadyAsync();
if (result.Status != ExecutionProviderReadyResultState.Success || !webGpuProvider.TryRegister())
{
Console.WriteLine("Failed to install or register WebGPU EP.");
return;
}
// 3. Select the WebGPU EP device and create a session bound to it.
var env = OrtEnv.Instance();
var webGpuEpDevice = env.GetEpDevices().FirstOrDefault(d => d.EpName == WebGpuEpName);
if (webGpuEpDevice is null)
{
Console.WriteLine("WebGPU EP is not available on this device.");
return;
}
using (var sessionOptions = new SessionOptions())
{
sessionOptions.AppendExecutionProvider(env, new[] { webGpuEpDevice }, new Dictionary<string, string>());
using var session = new InferenceSession("model.onnx", sessionOptions);
// Run inference...
}
// 4. Unregister the EP library before the environment is torn down.
env.UnregisterExecutionProviderLibrary(WebGpuEpName);
Descripción de los pasos
En el ejemplo anterior se separan las fases de descarga, instalación y registro que WebGPU EP requiere:
-
Enumerar:
FindAllProviders()enumera los proveedores disponibles en el dispositivo. WebGPU EP aparece en la lista solo cuando se instala el paquete experimental. -
Descargar e instalar:
EnsureReadyAsync()descarga el paquete EP si aún no está presente e lo instala localmente. Este es el paso queEnsureAndRegisterCertifiedAsync()se omite para WebGPU EP, por lo que debe llamarlo explícitamente. -
Registrar:
TryRegister()registra la biblioteca EP instalada con ONNX Runtime para que una sesión pueda seleccionarla. Después del registro,GetEpDevices()devuelve los dispositivos EP disponibles. Un dispositivo EP (OrtEpDevice) representa un proveedor de ejecución emparejado con un dispositivo de hardware específico en el que se puede ejecutar. Identifica tanto el proveedor (a través de suEpName) como el dispositivo de hardware subyacente, en lugar de un dispositivo de hardware propio. Seleccione el dispositivo EP cuyasEpNamecoincidencias con WebGPU EP y, a continuación, vincule a las opciones de sesión. -
Anular registro:
UnregisterExecutionProviderLibrary()quita el registro antes de que se descomponga el entorno.
Las opciones específicas del proveedor se pueden encontrar en la documentación del proveedor de ejecución de WEBGPU de ONNX. Después de que webGPU EP funcione, realice pruebas comparativas de su rendimiento y comportamiento en el hardware de destino. Use los datos de pruebas comparativas para guiar las decisiones de adopción y mantenerse actualizados a medida que WebGPU EP agrega nuevas mejoras a lo largo del tiempo.
Notificar problemas
File all issues about WebGPU EP in the Windows ML GitHub repository. Si el equipo de APRENDIZAJE automático de Windows determina que un problema es específico de ONNX Runtime, puede transferirlo al repositorio de GitHub en tiempo de ejecución de ONNX.