DirectML'i Kullanmaya Başlama

DirectML'yi ONNX Çalışma Zamanı ile eşleştirmek çoğu geliştiricinin kullanıcıları için donanım hızlandırmalı yapay zekayı uygun ölçekte getirmesinin en kolay yoludur. Bu üç adım, bu güçlü kombinasyonu kullanmak için genel bir kılavuzdur.

1. Dönüştür

ONNX biçimi, donanımlar arası özellikler sağlayan DirectML ile ONNX Çalışma Zamanı'nı kullanmanıza olanak tanır.

Modelinizi ONNX biçimine dönüştürmek için ONNXMLTools veya Olive kullanabilirsiniz.

2. İyileştir

Bir .onnx modeliniz olduğunda, modelinizi iyileştirmek için DirectML tarafından desteklenen Olive'den yararlanın. Windows donanım ekosisteminde dağıtabileceğiniz önemli performans geliştirmeleri göreceksiniz.

3. Tümleştirme

Modeliniz hazır olduğunda, ONNX Runtime ve DirectML ile uygulamanıza donanım hızlandırmalı çıkarım getirmenin zamanı geldi. Üretken yapay zeka modelleri için ONNX Runtime Generate() API'sini kullanmanızı öneririz

DirectML ve ONNX Çalışma Zamanı'nı nasıl kullanabileceğinizi göstermek için bazı örnekler derledik:

• Phi-3-mini
• Büyük Dil Modelleri (LLM'ler)
• Kararlı Difüzyon
• Stil aktarımı
• NPU'larda çıkarım

DirectML ve PyTorch

Pytorch için DirectML arka ucu, GPU donanımına yüksek performanslı, düşük düzeyli erişim sağlarken geliştiriciler için tanıdık bir Pytorch API'sini ortaya çıkarmaktadır. DirectML ile PyTorch kullanma hakkında daha fazla bilgiyi burada bulabilirsiniz

Web uygulamaları için DirectML (Önizleme)

Web Sinir Ağı API'si (WebNN), web uygulamalarının ve çerçevelerinin GPU'lar, CPU'lar gibi cihaz içi donanımlar veya NPU'lar gibi amaca yönelik yapay zeka hızlandırıcıları ile derin sinir ağlarını hızlandırmasını sağlayan yeni bir web standardıdır. WebNN API'si, yerel donanım özelliklerine erişmek ve sinir ağı modellerinin yürütülmesini iyileştirmek için Windows üzerinde DirectML API'sini kullanır. WebNN hakkında daha fazla bilgi için burada bulunabilir