閱讀英文

共用方式為


DirectML 工具

下列工具可用來增強 DirectML,並將其併入您的 AI 應用程式。

ONNX 執行時間上線 (奧利弗)

Olive 是一種易於使用的硬體感知模型優化工具,可跨模型壓縮、優化和編譯撰寫領先業界的技術。 您可以使用 DirectML 傳遞模型作為目標後端,而 Olive 會撰寫最適合的優化技術,以輸出最有效率的模型。 如需如何使用 Olive 的詳細資訊和範例,請參閱 Olive 的檔

DxDispatch

DxDispatch 是簡單的命令行可執行檔,用於啟動 DirectX 12 計算程式,而不需撰寫所有 C++ 重複使用。 工具的輸入是 JSON 模型,可定義資源、可分派專案(計算著色器、DirectML 運算符和 ONNX 模型),以及要執行的命令。 如需詳細資訊,請參閱 Github 上的 DxDispatch 指南。

DirectMLX

DirectMLX 是 DirectML 的 C++ 標頭專用協助程式連結庫,旨在讓您更輕鬆地將個別運算符撰寫成圖表。 如需詳細資訊,請流覽 DirectMLX 檔

ONNX 運行時間效能測試

onnxruntime perf 測試是一種工具,可測量在 onnxruntime 架構中使用不同執行提供者 (EPs) 執行 ONNX 模型的效能。 它可以報告每個 EP 和模型的延遲、輸送量、記憶體使用量和 CPU/GPU 使用率等計量。 onnxruntime perf 測試也可以比較不同 EP 和模型的結果,併產生圖表和數據表進行分析。

若要搭配 directml ep 使用 onnxruntime perf 測試,請安裝 onnxruntime-directml 套件,並將 directml 指定為命令行自變數中的 EP。 例如,下列命令會使用 directml ep 和預設設定來執行 resnet50 模型的 perf 測試:

onnxruntime_perf_test -m resnet50 -e directml

perf 測試會輸出 directml ep 和 resnet50 模型的平均延遲、尖峰工作集記憶體,以及平均 CPU/GPU 使用率。 您也可以使用其他選項來自定義效能測試,例如變更反覆項目數目、批次大小、並行、熱身執行、模型輸入和輸出格式。 如需詳細資訊,請參閱 onnxruntime perf 測試檔