Alat DirectML

Alat berikut tersedia untuk meningkatkan DirectML dan menggabungkannya ke dalam aplikasi AI Anda.

ONNX Runtime Go Live (Zaitun)

Olive adalah alat pengoptimalan model sadar perangkat keras yang mudah digunakan yang menyusun teknik terdepan di industri di seluruh kompresi, pengoptimalan, dan kompilasi model. Anda dapat meneruskan model melalui Olive dengan menetapkan DirectML sebagai backend target, dan Olive menyusun teknik pengoptimalan yang paling sesuai untuk menghasilkan model yang paling efisien. Untuk informasi selengkapnya dan sampel tentang cara menggunakan Olive, silakan lihat dokumentasi Olive.

Pengiriman DxDispatch

DxDispatch adalah program command-line sederhana untuk meluncurkan program komputasi DirectX 12 tanpa harus menulis semua kode boilerplate C++. Input ke alat ini adalah model JSON yang mendefinisikan sumber daya, elemen yang dapat dijalankan (shader komputasi, operator DirectML, dan model ONNX), serta perintah yang dieksekusi. Untuk informasi selengkapnya, silakan lihat panduan DxDispatch di Github.

DirectMLX

DirectMLX adalah pustaka pembantu khusus header C++ untuk DirectML, dimaksudkan untuk mempermudah pembuatan operator individual ke dalam grafik. Untuk informasi lebih lanjut, silakan kunjungi dokumentasi DirectMLX

Pengujian Kinerja ONNX Runtime

Pengujian onnxruntime perf adalah alat yang mengukur performa menjalankan model ONNX dengan penyedia eksekusi (EPs) yang berbeda dalam kerangka kerja onnxruntime. Ini dapat melaporkan metrik seperti latensi, throughput, penggunaan memori, dan pemanfaatan CPU/GPU untuk setiap EP dan model. Pengujian performa onnxruntime juga dapat membandingkan hasil dari EP dan model yang berbeda serta menghasilkan bagan dan tabel untuk analisis.

Untuk menggunakan pengujian onnxruntime perf dengan directml ep, instal paket onnxruntime-directml dan tentukan directml sebagai EP dalam argumen baris perintah. Misalnya, perintah berikut menjalankan pengujian perf untuk model resnet50 dengan directml ep dan pengaturan default:

onnxruntime_perf_test -m resnet50 -e directml

Pengujian perf akan menghasilkan latensi rata-rata, memori set kerja puncak, dan pemanfaatan CPU/GPU rata-rata untuk directml ep dan model resnet50. Seseorang juga dapat menggunakan opsi lain untuk menyesuaikan pengujian perf, seperti mengubah jumlah iterasi, ukuran batch, konkurensi, eksekusi pemanasan, input model, dan format output. Untuk detail selengkapnya, lihat dokumentasi pengujian onnxruntime perf.