Outils DirectML

Les outils suivants sont disponibles pour améliorer DirectML et l’intégrer dans votre application d’IA.

Mise en service du runtime ONNX (Olive)

Olive est un outil d’optimisation de modèle prenant en charge le matériel simple d’utilisation qui compose des techniques de pointe sur la compression, l’optimisation et la compilation des modèles. Vous pouvez passer un modèle via Olive avec DirectML comme backend cible et Olive compose les techniques d’optimisation les mieux adaptées pour générer le(s) modèle(s) le (s) le (les) plus efficace(s). Pour plus d’informations et des exemples sur l’utilisation d’Olive, veuillez consulter la documentation d’Olive.

DxDispatch

DxDispatch est un exécutable en ligne de commande simple permettant de lancer des programmes de calcul DirectX 12 sans écrire tous les éléments réutilisables C++. L’entrée de l’outil est un modèle JSON qui définit les ressources, les distribuables (nuanceurs de calcul, opérateurs DirectML et modèles ONNX) et les commandes à exécuter. Pour plus d’informations, veuillez consulter le guide DxDispatch sur Github.

DirectMLX

DirectMLX est une bibliothèque d’assistance en-tête C++ uniquement pour DirectML, destinée à faciliter la composition d’opérateurs individuels dans des graphiques. Pour plus d’informations, veuillez consulter la documentation DirectMLX

Tests de performance d’exécution ONNX

Le test de performance onnxruntime est un outil qui mesure les performances de l’exécution de modèles ONNX avec différents fournisseurs d’exécution (EP) dans le cadre onnxruntime. Il peut signaler des mesures telles que la latence, le débit, l’utilisation de la mémoire et l’utilisation du CPU/GPU pour chaque EP et modèle. Le test de performance onnxruntime peut également comparer les résultats de différents EP et modèles et générer des graphiques et des tableaux pour l’analyse.

Pour utiliser le test de performance onnxruntime avec l’ep directml, installez le package onnxruntime-directml et spécifiez directml comme EP dans les arguments de la ligne de commande. Par exemple, la commande suivante exécute le test de performance pour le modèle resnet50 avec le directml ep et les paramètres par défaut :

onnxruntime_perf_test -m resnet50 -e directml

Le test de performance affichera la latence moyenne, la mémoire de travail maximale et l’utilisation moyenne du CPU/GPU pour le modèle directml ep et le modèle resnet50. Il est également possible d’utiliser d’autres options pour personnaliser le test de performance, telles que la modification du nombre d’itérations, de la taille du lot, de la simultanéité, des exécutions d’échauffement, des entrées du modèle et des formats de sortie. Pour plus d’informations, reportez-vous à la documentation du test de performance onnxruntime.