Bagikan melalui

Mulai menggunakan DirectML

  • Artikel

Memasangkan DirectML dengan ONNX Runtime seringkali merupakan cara paling mudah bagi banyak pengembang untuk membawa AI yang dipercepat perangkat keras kepada pengguna mereka dalam skala besar. Ketiga langkah ini adalah panduan umum untuk menggunakan kombo yang kuat ini.

1. Konversi

Format ONNX memungkinkan Anda memanfaatkan ONNX Runtime dengan DirectML, yang menyediakan kemampuan lintas perangkat keras.

Untuk mengonversi model Anda ke format ONNX, Anda dapat menggunakan ONNXMLTools atau Olive.

2. Optimalkan

Setelah Anda memiliki model .onnx, manfaatkan Olive yang didukung oleh DirectML untuk mengoptimalkan model Anda. Anda akan melihat peningkatan performa dramatis yang dapat Anda sebarkan di seluruh ekosistem perangkat keras Windows.

3. Integrasikan

Saat model Anda siap, saatnya untuk membawa inferensi yang dipercepat perangkat keras ke aplikasi Anda dengan ONNX Runtime dan DirectML. Untuk model AI Generatif, kami sarankan Anda menggunakan API ONNX Runtime Generate()

Kami membuat beberapa sampel untuk menunjukkan bagaimana Anda dapat menggunakan DirectML dan ONNX Runtime:

DirectML dan PyTorch

Backend DirectML untuk Pytorch memungkinkan akses tingkat rendah berkinerja tinggi ke perangkat keras GPU, sambil mengekspos API Pytorch yang sudah dikenal untuk pengembang. Informasi selengkapnya tentang cara menggunakan PyTorch dengan DirectML dapat ditemukan di sini

DirectML untuk aplikasi web (Pratinjau)

Web Neural Network API (WebNN) adalah standar web yang muncul yang memungkinkan aplikasi web dan kerangka kerja mempercepat jaringan neural mendalam dengan perangkat keras pada perangkat keras seperti GPU, CPU, atau akselerator AI yang dibuat khusus seperti NPU. API WebNN memanfaatkan Api DirectML di Windows untuk mengakses kemampuan perangkat keras asli dan mengoptimalkan eksekusi model jaringan neural. Untuk informasi lebih lanjut tentang WebNN dapat ditemukan di sini