DirectML Araçları

DirectML'yi geliştirmek ve yapay zeka uygulamanıza eklemek için aşağıdaki araçlar kullanılabilir.

ONNX Çalışma Zamanı Canlı Yayına Geç (Olive)

Olive, model sıkıştırma, iyileştirme ve derleme genelinde sektör lideri teknikler oluşturan, kullanımı kolay bir donanım kullanan model iyileştirme aracıdır. Bir modeli Hedef arka uç olarak DirectML ile Olive'e geçirebilirsiniz ve Olive en verimli modellerin çıkışını elde etmek için en uygun iyileştirme tekniklerini oluşturur. Olive'i kullanma hakkında daha fazla bilgi ve örnek için lütfen Olive'in belgelerine bakın.

DxSevk

DxDispatch, tüm C++ altyapısını yazmadan DirectX 12 işlem programlarını başlatmak için basit bir komut satırı çalıştırılabilir dosyasıdır. Araç girişi, kaynakları, gönderilebilir öğeleri (işlem gölgelendiricileri, DirectML işleçleri ve ONNX modelleri) ve yürütülecek komutları tanımlayan bir JSON modelidir. Daha fazla bilgi için github'da DxDispatch kılavuzuna bakın.

DirectMLX

DirectMLX, DirectML için C++ 'header-only' bir yardımcı kütüphanedir ve bireysel operatörleri grafikler halinde birleştirmeyi kolaylaştırır. Daha fazla bilgi için lütfen DirectMLX belgelerini ziyaret edin

ONNX Çalışma Zamanı Performans Testleri

onnxruntime performans testi, onnxruntime çerçevesinde farklı yürütme sağlayıcılarıyla (IP'ler) ONNX modellerini çalıştırma performansını ölçen bir araçtır. Her EP ve model için gecikme süresi, aktarım hızı, bellek kullanımı ve CPU/GPU kullanımı gibi ölçümleri bildirebilir. Onnxruntime performans testi ayrıca farklı IP'lerin ve modellerin sonuçlarını karşılaştırabilir ve analiz için grafikler ve tablolar oluşturabilir.

directml ep ile onnxruntime perf testini kullanmak için onnxruntime-directml paketini yükleyin ve komut satırı bağımsız değişkenlerinde directml'yi EP olarak belirtin. Örneğin, aşağıdaki komut directml ep ve varsayılan ayarlarla resnet50 modeli için performans testini çalıştırır:

onnxruntime_perf_test -m resnet50 -e directml

Performans testi directml ep ve resnet50 modeli için ortalama gecikme süresi, en yüksek çalışma kümesi belleği ve ortalama CPU/GPU kullanımı sağlar. Yineleme sayısını, toplu iş boyutunu, eşzamanlılığı, ısınma çalıştırmalarını, model girişlerini ve çıkış biçimlerini değiştirme gibi performans testini özelleştirmek için diğer seçenekleri de kullanabilirsiniz. Daha fazla ayrıntı için onnxruntime perf test belgelerine bakın.