Herramientas de DirectML

Las siguientes herramientas están disponibles para mejorar DirectML e incorporarlo a su aplicación de IA.

ONNX Runtime Go Live (Olive)

Olive es una herramienta de optimización de modelos compatible con el hardware y fácil de usar que combina técnicas líderes del sector de compresión, optimización y compilación de modelos. Puede pasar un modelo a través de Olive con DirectML como backend de destino y Olive compone las mejores técnicas de optimización adecuadas para obtener el modelo o modelos más eficientes. Para más información y ejemplos sobre cómo utilizar Olive, consulte la documentación de Olive.

DxDispatch

DxDispatch es un ejecutable de línea de comandos simple para iniciar programas de proceso de DirectX 12 sin escribir todas las reutilizables de C++. La entrada de la herramienta es un modelo JSON que define recursos, distribuidores (sombreadores de proceso, operadores DirectML y modelos ONNX) y comandos que se van a ejecutar. Para más información, consulte la guía de DxDispatch en Github.

DirectMLX

DirectMLX es una biblioteca auxiliar solo de encabezado de C++ para DirectML, diseñada para facilitar la redacción de operadores individuales en grafos. Para más información, consulte la documentación de SQL Server.

Pruebas de rendimiento en tiempo de ejecución de ONNX

La prueba de rendimiento onnxruntime es una herramienta que mide el rendimiento de la ejecución de modelos ONNX con diferentes proveedores de ejecución (EP) en el marco onnxruntime. Puede informar de métricas como latencia, rendimiento, uso de memoria y uso de CPU/GPU para cada EP y modelo. La prueba de rendimiento de onnxruntime también puede comparar los resultados de diferentes PE y modelos y generar gráficos y tablas para su análisis.

Para usar la prueba de rendimiento de onnxruntime con el PE directml, instale el paquete onnxruntime-directml y especifique directml como PE en los argumentos de la línea de comandos. Por ejemplo, el siguiente comando ejecuta la prueba de rendimiento para el modelo resnet50 con directml ep y la configuración predeterminada:

onnxruntime_perf_test -m resnet50 -e directml

La prueba de rendimiento generará la latencia media, la memoria máxima del conjunto de trabajo y el uso medio de CPU/GPU para directml ep y el modelo resnet50. También puede usar otras opciones para personalizar la prueba de rendimiento, como cambiar el número de iteraciones, el tamaño del lote, la simultaneidad, las ejecuciones de preparación, las entradas del modelo y los formatos de salida. Para más información, consulte la documentación de la prueba de rendimiento onnxruntime.