Bölüm

Buluttan İstemciye ONNX Çalışma Zamanı ile Daha Hızlı ve Daha Hafif Model Çıkarımı

AI Show

ONNX Runtime , makine öğrenmesi modelleri için yüksek performanslı bir çıkarım ve eğitim altyapısıdır. Bu gösteri, model çıkarımı için ONNX Çalışma Zamanına odaklanır. ONNX Runtime, Bing, Office 365 ve Azure Bilişsel Hizmetler  gibi çeşitli Microsoft ürünleri tarafından yaygın olarak benimsenmiştir ve ortalama 2,9 kat çıkarım hızı elde edilmiştir. Şimdi daha da küçük model boyutu ve çalışma zamanı boyutuyla model çıkarımının daha da hızlandırılması için ONNX Çalışma Zamanı niceleme ve ONNX Runtime mobil'i kullanıma sunmaktan mutluluk duyarız. ONNX Çalışma Zamanı yalnızca bulut tabanlı çıkarım için değil, aynı zamanda cihaz içi çıkarım için de gelişmeye devam ediyor.

Şuraya Atla: 

  • [01:02] ONNX ve ONNX Runtime'a genel bakış
  • [02:26] ONNX Runtime ile model kullanıma hazır hale getirme
  • [04:04] ONNX Çalışma Zamanı benimsemesi
  • [05:07] Model boyutunu küçültme ve çıkarım hızlandırma için ONNX Runtime INT8 nicelemesi
  • [09:46] ONNX Runtime INT8 niceleme tanıtımı
  • [16:00] Çalışma zamanı boyutunu küçültmek için ONNX Runtime mobil

Daha fazla bilgi edinin: 

Yeni bölümleri kaçırmayın,yapay  zeka gösterisine abone olun