Средства DirectML

Следующие средства доступны для улучшения DirectML и включения его в приложение ИИ.

ONNX Runtime Go Live (Оливка)

Оливка — это средство оптимизации модели с поддержкой оборудования, которое создает ведущие в отрасли методы сжатия, оптимизации и компиляции моделей. Модель можно передать с помощью Olive с DirectML в качестве целевой серверной части и Оливки создает лучшие подходящие методы оптимизации для вывода наиболее эффективных моделей. Дополнительные сведения и примеры использования Оливки см . в документации по Оливку.

DxDispatch

DxDispatch — это простой исполняемый файл командной строки для запуска вычислительных программ DirectX 12 без написания всех стандартных шаблонов C++. Входные данные средства — это модель JSON, которая определяет ресурсы, диспетчеры (вычислительные шейдеры, операторы DirectML и модели ONNX) и команды для выполнения. Дополнительные сведения см . в руководстве dxDispatch на сайте Github.

DirectMLX

DirectMLX — это вспомогательный вспомогательный библиотеку только для заголовков C++ для DirectML, предназначенную для упрощения создания отдельных операторов в графы. Дополнительные сведения см . в документации по DirectMLX

Тесты perf среды выполнения ONNX

Тест onnxruntime perf — это средство, которое измеряет производительность выполнения моделей ONNX с различными поставщиками выполнения (EPS) в платформе onnxruntime. Он может сообщать метрики, такие как задержка, пропускная способность, использование памяти и использование ЦП и GPU для каждой модели EP и GPU. Тест onnxruntime perf также может сравнить результаты различных EPs и моделей и создать диаграммы и таблицы для анализа.

Чтобы использовать тест onnxruntime perf с directml ep, установите пакет onnxruntime-directml и укажите directml в качестве EP в аргументах командной строки. Например, следующая команда запускает тест perf для модели resnet50 с directml ep и параметрами по умолчанию:

onnxruntime_perf_test -m resnet50 -e directml

Тест perf выводит среднюю задержку, пиковый рабочий набор памяти и среднее использование ЦП/GPU для directml ep и модели resnet50. Можно также использовать другие параметры для настройки теста perf, например изменения количества итерации, размера пакета, параллелизма, запуска прогревания, входных данных модели и форматов выходных данных. Дополнительные сведения см. в документации по тесту onnxruntime perf.