Share via

Gambar Docker bawaan untuk inferensi

  • Artikel

Gambar kontainer Docker bawaan untuk inferensi digunakan saat menyebarkan model dengan Azure Machine Learning. Gambar bawaan dengan kerangka kerja pembelajaran mesin populer dan paket Python. Anda juga dapat memperluas paket untuk menambahkan paket lain dengan menggunakan salah satu metode berikut:

Mengapa saya harus menggunakan gambar bawaan?

  • Mengurangi latensi penyebaran model
  • Meningkatkan tingkat keberhasilan penyebaran model
  • Menghindari build gambar yang tidak perlu selama penyebaran model
  • Hanya mencakup dependensi dan akses yang diperlukan langsung di gambar/kontainer

Mencantumkan gambar Docker bawaan untuk inferensi

Penting

Daftar yang disediakan dalam tabel berikut hanya menyertakan gambar Docker inferensi yang saat ini didukung oleh Azure Pembelajaran Mesin.

  • Semua gambar Docker berjalan sebagai pengguna non-root.
  • Sebaiknya gunakan latest tag untuk gambar Docker. Gambar Docker bawaan untuk inferensi diterbitkan ke registri kontainer Microsoft (MCR). Untuk informasi tentang cara mengkueri daftar tag yang tersedia, lihat repositori GitHub MCR.
  • Jika Anda ingin menggunakan tag tertentu untuk gambar Docker inferensi apa pun, Azure Pembelajaran Mesin mendukung tag yang berkisar dari latest hingga enam bulan yang lebih lama dari latest.

Gambar dasar minimal inferensi

Versi kerangka kerja CPU/GPU Paket pra-pasang Jalur MCR
NA CPU NA mcr.microsoft.com/azureml/minimal-ubuntu20.04-py38-cpu-inference:latest
NA GPU NA mcr.microsoft.com/azureml/minimal-ubuntu20.04-py38-cuda11.6.2-gpu-inference:latest
NA CPU NA mcr.microsoft.com/azureml/minimal-ubuntu22.04-py39-cpu-inference:latest
NA GPU NA mcr.microsoft.com/azureml/minimal-ubuntu22.04-py39-cuda11.8-gpu-inference:latest

Konten terkait