Nástroje DirectML

K dispozici jsou následující nástroje pro vylepšení DirectML a jeho začlenění do vaší aplikace AI.

Přechod do ostrého provozu modulu runtime ONNX (olivový)

Olive je snadno použitelný nástroj pro optimalizaci modelů pracující s hardwarem, který skládá špičkové techniky napříč kompresemi, optimalizací a kompilací modelů. Model můžete předat prostřednictvím Olive, přičemž DirectML je cílovým backendem. Olive vybírá nejvhodnější techniky optimalizace pro vytvoření nejúčinnějších modelů. Další informace a ukázky o tom, jak používat Olive, najdete v dokumentaci k Olive.

DxDispatch

DxDispatch je jednoduchý program příkazového řádku pro spouštění výpočetních úloh DirectX 12 bez nutnosti psát veškerý běžný kód v C++. Vstup do nástroje je model JSON, který definuje prostředky, dispečovatelné objekty (výpočetní shadery, operátory DirectML a modely ONNX) a příkazy, které se mají spustit. Další informace najdete v příručce DxDispatch na GitHubu.

DirectMLX

DirectMLX je pomocná knihovna určená jen pro jazyk DirectML v jazyce C++, která usnadňuje vytváření jednotlivých operátorů do grafů. Další informace najdete v dokumentaci k Rozhraní DirectMLX.

Testy výkonu modulu runtime ONNX

Test výkonu onnxruntime je nástroj, který měří výkon spouštění modelů ONNX s různými poskytovateli provádění (EPs) v architektuře onnxruntime. Může hlásit metriky, jako je latence, propustnost, využití paměti a využití procesoru nebo GPU pro každý EP a model. Test výkonu onnxruntime může také porovnat výsledky různých EPS a modelů a generovat grafy a tabulky pro analýzu.

Pokud chcete použít test perf onnxruntime s directml ep, nainstalujte balíček onnxruntime-directml a v argumentech příkazového řádku zadejte directml jako EP. Například následující příkaz spustí test výkonu pro model resnet50 s directml ep a výchozím nastavením:

onnxruntime_perf_test -m resnet50 -e directml

Test výkonu vypíše průměrnou latenci, paměť pracovní sady ve špičce a průměrné využití procesoru a GPU pro directml ep a model resnet50. Můžete také použít další možnosti k přizpůsobení testu výkonu, například ke změně počtu iterací, velikosti dávky, souběžnosti, spuštění zahřátí, vstupů modelu a výstupních formátů. Další podrobnosti najdete v dokumentaci k testování výkonu onnxruntime.