Introducción a DirectML

El enlace de DirectML con el entorno de ejecución de ONNX suele ser la forma más sencilla que muchos desarrolladores usan para llevar la AI acelerada mediante hardware a sus usuarios a gran escala. Estos tres pasos son una guía general para usar esta potente combinación.

1. Convertir

El formato ONNX le permite aprovechar el entorno de ejecución de ONNX con DirectML, que proporciona funcionalidades entre hardware.

Para convertir el modelo al formato ONNX, puede usar ONNXMLTools u Olive.

2. Optimizar

Una vez que tenga un modelo .onnx, aproveche Olive con tecnología de DirectML para optimizar el modelo. Verá grandes mejoras de rendimiento que puede implementar en el ecosistema de hardware de Windows.

3. Integrar

Cuando el modelo esté listo, es el momento de llevar la inferencia acelerada mediante hardware a la aplicación con el entorno de ejecución de ONNX y DirectML. En el caso de los modelos de IA generativa, se recomienda usar la API ONXX Runtime Generate().

Hemos creado algunos ejemplos para mostrarle cómo puede usar DirectML y el entorno de ejecución de ONNX:

• Phi-3-mini
• Modelos de lenguaje grandes (LLM)
• Difusión estable
• Transferencia de estilo
• Inferencia en NPU

DirectML y PyTorch

El back-end de DirectML para Pytorch permite el acceso de alto rendimiento y bajo nivel al hardware de GPU, al tiempo que muestra una API familiar de Pytorch para desarrolladores. Puede encontrar más información sobre cómo usar PyTorch con DirectML aquí.

DirectML para aplicaciones web (versión preliminar)

La API de red neuronal web (WebNN) es un estándar web emergente que permite a las aplicaciones web y marcos acelerar las redes neuronales profundas con hardware del dispositivo como GPU, CPU o aceleradores de IA creados específicamente, como NPUs. La API de WebNN aprovecha la API de DirectML en Windows para acceder a las funcionalidades de hardware nativas y optimizar la ejecución de modelos de red neuronal. Para obtener más información sobre WebNN, consulte aquí.