DirectML 工具

下列工具可用來增強 DirectML，並將其併入您的 AI 應用程式。

ONNX 執行時間上線 （奧利弗）

Olive 是一種易於使用的硬體感知模型優化工具，可跨模型壓縮、優化和編譯撰寫領先業界的技術。 您可以使用 DirectML 傳遞模型作為目標後端，而 Olive 會撰寫最適合的優化技術，以輸出最有效率的模型。 如需如何使用 Olive 的詳細資訊和範例，請參閱 Olive 的檔。

DxDispatch

DxDispatch 是簡單的命令行可執行檔，用於啟動 DirectX 12 計算程式，而不需撰寫所有 C++ 重複使用。 工具的輸入是 JSON 模型，可定義資源、可分派專案（計算著色器、DirectML 運算符和 ONNX 模型），以及要執行的命令。 如需詳細資訊，請參閱 Github 上的 DxDispatch 指南。

DirectMLX

DirectMLX 是 DirectML 的 C++ 標頭專用協助程式連結庫，旨在讓您更輕鬆地將個別運算符撰寫成圖表。 如需詳細資訊，請流覽 DirectMLX 檔

ONNX 運行時間效能測試

onnxruntime perf 測試是一種工具，可測量在 onnxruntime 架構中使用不同執行提供者 （EPs） 執行 ONNX 模型的效能。 它可以報告每個 EP 和模型的延遲、輸送量、記憶體使用量和 CPU/GPU 使用率等計量。 onnxruntime perf 測試也可以比較不同 EP 和模型的結果，併產生圖表和數據表進行分析。

若要搭配 directml ep 使用 onnxruntime perf 測試，請安裝 onnxruntime-directml 套件，並將 directml 指定為命令行自變數中的 EP。 例如，下列命令會使用 directml ep 和預設設定來執行 resnet50 模型的 perf 測試：

onnxruntime_perf_test -m resnet50 -e directml

perf 測試會輸出 directml ep 和 resnet50 模型的平均延遲、尖峰工作集記憶體，以及平均 CPU/GPU 使用率。 您也可以使用其他選項來自定義效能測試，例如變更反覆項目數目、批次大小、並行、熱身執行、模型輸入和輸出格式。 如需詳細資訊，請參閱 onnxruntime perf 測試檔。