預先建置的推斷 Docker 映像

  • 發行項

使用 Azure Machine Learning 部署模型時，會使用用於推斷的預建 Docker 容器映像。 映像會使用熱門的機器學習架構和 Python 套件來預建。 您也可以使用下列其中一個方法來擴充套件，以新增其他套件：

為什麼應該使用預建映像？

  • 減少模型部署延遲
  • 改善模型部署成功率
  • 避免在模型部署期間建立不必要的映像
  • 只包含映像/容器中所需的相依性和存取權

用於推斷的預建 Docker 映像清單

重要

下表中提供的清單只包含 Azure 機器學習 目前支援的推斷 Docker 映像。

  • 所有 Docker 映像都會以非根使用者身分執行。
  • 我們建議針對 Docker 映像使用 latest 標籤。 預先建置的 Docker 映射以進行推斷會發佈至 Microsoft 容器登錄 （MCR）。 如需如何查詢可用標籤清單的資訊，請參閱 MCR GitHub 存放 庫。
  • 如果您想要針對任何推斷 Docker 映像使用特定標籤，Azure 機器學習 支援從 到 latest6 個月之前的latest標籤。

推斷最小基礎映像

架構版本 CPU/GPU 預先安裝的套件 MCR 路徑
NA CPU NA mcr.microsoft.com/azureml/minimal-ubuntu20.04-py38-cpu-inference:latest
NA GPU NA mcr.microsoft.com/azureml/minimal-ubuntu20.04-py38-cuda11.6.2-gpu-inference:latest
NA CPU NA mcr.microsoft.com/azureml/minimal-ubuntu22.04-py39-cpu-inference:latest
NA GPU NA mcr.microsoft.com/azureml/minimal-ubuntu22.04-py39-cuda11.8-gpu-inference:latest

相關內容