Začínáme s DirectML

Důležité

DirectML je v udržitelném inženýrství. DirectML se nadále podporuje, ale vývoj nových funkcí se přesunul do Windows ML pro nasazení onNX Runtime založených na Windows. Windows ML poskytuje stejná rozhraní API modulu runtime ONNX a dynamicky vybírá nejlepšího zprostředkovatele spouštění na základě vašeho hardwaru. Další informace najdete v tématu Co je Windows ML .

Párování DirectML s modulem runtime ONNX je často nejjednodušší způsob, jak mnoho vývojářů přinést uživatelům hardwarově akcelerovanou AI ve velkém měřítku. Tyto tři kroky jsou obecným průvodcem pro použití tohoto výkonného kombinovaného souboru.

1. Převést

Formát ONNX umožňuje využívat modul runtime ONNX s DirectML, který poskytuje možnosti pro různé hardware.

Pokud chcete model převést na formát ONNX, můžete využít ONNXMLTools nebo Olive.

2. Optimalizace

Jakmile máte model .onnx, využijte Olive využívající DirectML k optimalizaci modelu. Uvidíte dramatická vylepšení výkonu, která můžete nasadit napříč hardwarovým ekosystémem Windows.

3. Integrace

Jakmile je váš model připravený, je čas přenést hardwarově akcelerované odvozování do aplikace pomocí modulu runtime ONNX a DirectML. Pro modely generativní AI doporučujeme použít rozhraní ONNX Runtime Generate() API.

Vytvořili jsme několik ukázek, které ukazují, jak můžete používat DirectML a modul runtime ONNX:

• Phi-3-mini
• Velké jazykové modely (LLM)
• Stabilní difúze
• Přenos stylu
• Odvozovat na NPU

DirectML a PyTorch

Back-end DirectML pro Pytorch umožňuje vysoce výkonný a nízkoúrovňový přístup k hardwaru GPU a současně vývojářům zpřístupní známé rozhraní API Pytorch. Další informace o tom, jak používat PyTorch s DirectML, najdete tady.

DirectML pro webové aplikace (Preview)

Webové rozhraní API pro neurální síť (WebNN) je nově vznikající webový standard, který umožňuje webovým aplikacím a architekturám zrychlit hluboké neurální sítě s hardwarem na zařízení, jako jsou GPU, procesory nebo účelově vytvořené akcelerátory AI, jako jsou NPU. Rozhraní WebNN API využívá rozhraní DirectML API ve Windows pro přístup k nativním hardwarovým funkcím a optimalizaci provádění modelů neurální sítě. Další informace o webNN najdete tady.