Introducción a DirectML

El emparejamiento de DirectML con el entorno de ejecución de ONNX suele ser la manera más sencilla de que muchos desarrolladores incorporen la inteligencia artificial acelerada por hardware a sus usuarios a escala. Estos tres pasos son una guía general para usar este potente combo.

1. Convertir

El formato ONNX le permite aprovechar el entorno de ejecución de ONNX con DirectML, que proporciona funcionalidades entre hardware.

Para convertir el modelo al formato ONNX, puede usar ONNXMLTools o Olive.

2. Optimizar

Una vez que tenga un modelo .onnx, aproveche Olive powered by DirectML para optimizar el modelo. Verá mejoras de rendimiento dramáticas que puede implementar en el ecosistema de hardware de Windows.

3. Integrar

Cuando el modelo esté listo, es el momento de llevar la inferencia acelerada por hardware a la aplicación con ONNX Runtime y DirectML. En el caso de los modelos de IA generativa, se recomienda usar la API Generate() de ONNX Runtime.

Hemos creado algunos ejemplos para mostrar cómo puede usar DirectML y el entorno de ejecución de ONNX:

• Phi-3-mini
• Modelos de lenguaje grande (LLM)
• Difusión estable
• Transferencia de estilo
• Inferencia en NPUs

DirectML y PyTorch

El back-end de DirectML para Pytorch permite el acceso de alto rendimiento y bajo nivel al hardware de GPU, al tiempo que expone una API familiar de Pytorch para desarrolladores. Puede encontrar más información sobre cómo usar PyTorch con DirectML aquí.

DirectML para aplicaciones web (versión preliminar)

La API de red neuronal web (WebNN) es un estándar web emergente que permite a las aplicaciones web y marcos acelerar las redes neuronales profundas con hardware en el dispositivo, como GPU, CPU o aceleradores de IA creados específicamente, como NPUs. La API de WebNN aprovecha la API de DirectML en Windows para acceder a las funcionalidades de hardware nativas y optimizar la ejecución de modelos de red neuronal. Para obtener más información sobre WebNN, consulte aquí.