Gambar Docker bawaan untuk inferensi
Gambar kontainer Docker bawaan untuk inferensi digunakan saat menyebarkan model dengan Azure Machine Learning. Gambar bawaan dengan kerangka kerja pembelajaran mesin populer dan paket Python. Anda juga dapat memperluas paket untuk menambahkan paket lain dengan menggunakan salah satu metode berikut:
Mengapa saya harus menggunakan gambar bawaan?
- Mengurangi latensi penyebaran model
- Meningkatkan tingkat keberhasilan penyebaran model
- Menghindari build gambar yang tidak perlu selama penyebaran model
- Hanya mencakup dependensi dan akses yang diperlukan langsung di gambar/kontainer
Mencantumkan gambar Docker bawaan untuk inferensi
Penting
Daftar yang disediakan dalam tabel berikut hanya menyertakan gambar Docker inferensi yang saat ini didukung oleh Azure Pembelajaran Mesin.
- Semua gambar Docker berjalan sebagai pengguna non-root.
- Sebaiknya gunakan
latest
tag untuk gambar Docker. Gambar Docker bawaan untuk inferensi diterbitkan ke registri kontainer Microsoft (MCR). Untuk informasi tentang cara mengkueri daftar tag yang tersedia, lihat repositori GitHub MCR. - Jika Anda ingin menggunakan tag tertentu untuk gambar Docker inferensi apa pun, Azure Pembelajaran Mesin mendukung tag yang berkisar dari
latest
hingga enam bulan yang lebih lama darilatest
.
Gambar dasar minimal inferensi
Versi kerangka kerja | CPU/GPU | Paket pra-pasang | Jalur MCR |
---|---|---|---|
NA | CPU | NA | mcr.microsoft.com/azureml/minimal-ubuntu20.04-py38-cpu-inference:latest |
NA | GPU | NA | mcr.microsoft.com/azureml/minimal-ubuntu20.04-py38-cuda11.6.2-gpu-inference:latest |
NA | CPU | NA | mcr.microsoft.com/azureml/minimal-ubuntu22.04-py39-cpu-inference:latest |
NA | GPU | NA | mcr.microsoft.com/azureml/minimal-ubuntu22.04-py39-cuda11.8-gpu-inference:latest |
Catatan
Azure Pembelajaran Mesin mendukung Lingkungan yang dikumpulkan. Anda dapat menelusuri lingkungan yang dikumpulkan dan menambahkan filter untuk Tags: Inferencing
.
Konten terkait
Saran dan Komentar
https://aka.ms/ContentUserFeedback.
Segera hadir: Sepanjang tahun 2024 kami akan menghentikan penggunaan GitHub Issues sebagai mekanisme umpan balik untuk konten dan menggantinya dengan sistem umpan balik baru. Untuk mengetahui informasi selengkapnya, lihat:Kirim dan lihat umpan balik untuk