Bagikan melalui

Alat DirectML

  • Artikel

Alat berikut tersedia untuk meningkatkan DirectML dan menggabungkannya ke dalam aplikasi AI Anda.

ONNX Runtime Go Live (Olive)

Olive adalah alat pengoptimalan model sadar perangkat keras yang mudah digunakan yang menyusun teknik terdepan di industri di seluruh kompresi, pengoptimalan, dan kompilasi model. Anda dapat meneruskan model melalui Olive dengan DirectML karena backend target dan Olive menyusun teknik pengoptimalan yang paling sesuai untuk menghasilkan model yang paling efisien. Untuk informasi selengkapnya dan sampel tentang cara menggunakan Olive, silakan lihat dokumentasi Olive.

DxDispatch

DxDispatch adalah executable baris perintah sederhana untuk meluncurkan program komputasi DirectX 12 tanpa menulis semua boilerplate C++. Input ke alat ini adalah model JSON yang mendefinisikan sumber daya, dapat dikirim (shader komputasi, operator DirectML, dan model ONNX), dan perintah untuk dijalankan. Untuk informasi selengkapnya, silakan lihat panduan DxDispatch di Github.

DirectMLX

DirectMLX adalah pustaka pembantu khusus header C++ untuk DirectML, dimaksudkan untuk mempermudah pembuatan operator individual ke dalam grafik. Untuk informasi lebih lanjut, silakan kunjungi dokumentasi DirectMLX

Pengujian ONNX Runtime Perf

Pengujian onnxruntime perf adalah alat yang mengukur performa menjalankan model ONNX dengan penyedia eksekusi (EPs) yang berbeda dalam kerangka kerja onnxruntime. Ini dapat melaporkan metrik seperti latensi, throughput, penggunaan memori, dan pemanfaatan CPU/GPU untuk setiap EP dan model. Pengujian onnxruntime perf juga dapat membandingkan hasil IP dan model yang berbeda dan menghasilkan bagan dan tabel untuk analisis.

Untuk menggunakan pengujian onnxruntime perf dengan directml ep, instal paket onnxruntime-directml dan tentukan directml sebagai EP dalam argumen baris perintah. Misalnya, perintah berikut menjalankan pengujian perf untuk model resnet50 dengan directml ep dan pengaturan default:

onnxruntime_perf_test -m resnet50 -e directml

Pengujian perf akan menghasilkan latensi rata-rata, memori set kerja puncak, dan pemanfaatan CPU/GPU rata-rata untuk directml ep dan model resnet50. Seseorang juga dapat menggunakan opsi lain untuk menyesuaikan pengujian perf, seperti mengubah jumlah iterasi, ukuran batch, konkurensi, eksekusi pemanasan, input model, dan format output. Untuk detail selengkapnya, lihat dokumentasi pengujian onnxruntime perf.