Udostępnij za pośrednictwem

InferenceConfig Klasa

  • Odwołanie

Reprezentuje ustawienia konfiguracji dla środowiska niestandardowego używanego do wdrożenia.

Konfiguracja wnioskowania to parametr wejściowy dla Model akcji związanych z wdrażaniem:

Zainicjuj obiekt konfiguracji.

Dziedziczenie
builtins.object
InferenceConfig

Konstruktor

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parametry

Nazwa Opis
entry_script
Wymagane
str

Ścieżka do pliku lokalnego zawierającego kod do uruchomienia dla obrazu.
runtime
str

Środowisko uruchomieniowe do użycia dla obrazu. Bieżące obsługiwane środowiska uruchomieniowe to "spark-py" i "python".

Domyślna wartość: None
conda_file
str

Ścieżka do pliku lokalnego zawierającego definicję środowiska conda do użycia dla obrazu.

Domyślna wartość: None
extra_docker_file_steps
str

Ścieżka do pliku lokalnego zawierającego dodatkowe kroki platformy Docker do uruchomienia podczas konfigurowania obrazu.

Domyślna wartość: None
source_directory
str

Ścieżka do folderu zawierającego wszystkie pliki do utworzenia obrazu.

Domyślna wartość: None
enable_gpu
bool

Wskazuje, czy należy włączyć obsługę procesora GPU na obrazie. Obraz procesora GPU musi być używany w usługach platformy Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines i Azure Kubernetes Service. Wartość domyślna to False.

Domyślna wartość: None
description
str

Opis do nadania temu obrazowi.

Domyślna wartość: None
base_image
str

Obraz niestandardowy, który ma być używany jako obraz podstawowy. Jeśli nie podano obrazu podstawowego, obraz podstawowy będzie używany na podstawie danego parametru środowiska uruchomieniowego.

Domyślna wartość: None
base_image_registry
ContainerRegistry

Rejestr obrazów zawierający obraz podstawowy.

Domyślna wartość: None
cuda_version
str

Wersja interfejsu CUDA do zainstalowania dla obrazów wymagających obsługi procesora GPU. Obraz procesora GPU musi być używany w usługach platformy Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines i Azure Kubernetes Service. Obsługiwane wersje to 9.0, 9.1 i 10.0. Jeśli enable_gpu jest ustawiona, ta wartość domyślna to "9.1".

Domyślna wartość: None
environment
Environment

Obiekt środowiska, który ma być używany do wdrożenia. Środowisko nie musi być zarejestrowane.

Podaj ten parametr lub inne parametry, ale nie oba. Poszczególne parametry nie będą służyć jako przesłonięcia obiektu środowiska. Wyjątki obejmują entry_script, source_directoryi description.

Domyślna wartość: None
entry_script
Wymagane
str

Ścieżka do pliku lokalnego zawierającego kod do uruchomienia dla obrazu.
runtime
Wymagane
str

Środowisko uruchomieniowe do użycia dla obrazu. Bieżące obsługiwane środowiska uruchomieniowe to "spark-py" i "python".
conda_file
Wymagane
str

Ścieżka do pliku lokalnego zawierającego definicję środowiska conda do użycia dla obrazu.
extra_docker_file_steps
Wymagane
str

Ścieżka do pliku lokalnego zawierającego dodatkowe kroki platformy Docker do uruchomienia podczas konfigurowania obrazu.
source_directory
Wymagane
str

Ścieżka do folderu zawierającego wszystkie pliki do utworzenia obrazu.
enable_gpu
Wymagane
bool

Wskazuje, czy należy włączyć obsługę procesora GPU na obrazie. Obraz procesora GPU musi być używany w usługach platformy Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines i Azure Kubernetes Service. Wartość domyślna to False.
description
Wymagane
str

Opis do nadania temu obrazowi.
base_image
Wymagane
str

Obraz niestandardowy, który ma być używany jako obraz podstawowy. Jeśli nie podano obrazu podstawowego, obraz podstawowy będzie używany na podstawie danego parametru środowiska uruchomieniowego.
base_image_registry
Wymagane
ContainerRegistry

Rejestr obrazów zawierający obraz podstawowy.
cuda_version
Wymagane
str

Wersja interfejsu CUDA do zainstalowania dla obrazów wymagających obsługi procesora GPU. Obraz procesora GPU musi być używany w usługach platformy Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines i Azure Kubernetes Service. Obsługiwane wersje to 9.0, 9.1 i 10.0. Jeśli enable_gpu jest ustawiona, ta wartość domyślna to "9.1".
environment
Wymagane
Environment

Obiekt środowiska, który ma być używany do wdrożenia. Środowisko nie musi być zarejestrowane.

Podaj ten parametr lub inne parametry, ale nie oba. Poszczególne parametry nie będą służyć jako przesłonięcia obiektu środowiska. Wyjątki obejmują entry_script, source_directoryi description.

Uwagi

W poniższym przykładzie pokazano, jak utworzyć obiekt InferenceConfig i użyć go do wdrożenia modelu.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Zmienne

Nazwa Opis
entry_script
str

Ścieżka do pliku lokalnego zawierającego kod do uruchomienia dla obrazu.
runtime
str

Środowisko uruchomieniowe do użycia dla obrazu. Bieżące obsługiwane środowiska uruchomieniowe to "spark-py" i "python".
conda_file
str

Ścieżka do pliku lokalnego zawierającego definicję środowiska conda do użycia dla obrazu.
extra_docker_file_steps
str

Ścieżka do pliku lokalnego zawierającego dodatkowe kroki platformy Docker do uruchomienia podczas konfigurowania obrazu.
source_directory
str

Ścieżka do folderu zawierającego wszystkie pliki do utworzenia obrazu.
enable_gpu
bool

Wskazuje, czy należy włączyć obsługę procesora GPU na obrazie. Obraz procesora GPU musi być używany w usługach platformy Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines i Azure Kubernetes Service.
azureml.core.model.InferenceConfig.description

Opis do nadania temu obrazowi.
base_image
str

Obraz niestandardowy, który ma być używany jako obraz podstawowy. Jeśli nie podano obrazu podstawowego, obraz podstawowy będzie używany na podstawie danego parametru środowiska uruchomieniowego.
base_image_registry
ContainerRegistry

Rejestr obrazów zawierający obraz podstawowy.
cuda_version
str

Wersja cuda do zainstalowania dla obrazów, które wymagają obsługi procesora GPU. Obraz procesora GPU musi być używany w usługach platformy Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines i Azure Kubernetes Service. Obsługiwane wersje to 9.0, 9.1 i 10.0. Jeśli enable_gpu jest ustawiona, ta wartość domyślna to "9.1".
azureml.core.model.InferenceConfig.environment

Obiekt środowiska, który ma być używany do wdrożenia. Środowisko nie musi być zarejestrowane.

Podaj ten parametr lub inne parametry, ale nie oba. Poszczególne parametry nie będą służyć jako przesłonięcia obiektu środowiska. Wyjątki obejmują entry_script, source_directoryi description.

Metody

build_create_payload

Skompiluj ładunek tworzenia obrazu kontenera.
build_profile_payload

Skompiluj ładunek profilowania dla pakietu model.
validate_configuration

Sprawdź, czy określone wartości konfiguracji są prawidłowe.

Zgłasza błąd WebserviceException w przypadku niepowodzenia walidacji.
validation_script_content

Sprawdź, czy składnia skryptu oceny jest prawidłowa przy użyciu pliku ast.parse.

Zgłasza błąd UserErrorException w przypadku niepowodzenia walidacji.

build_create_payload

Skompiluj ładunek tworzenia obrazu kontenera.

build_create_payload(workspace, name, model_ids)

Parametry

Nazwa Opis
workspace
Wymagane
Workspace

Obiekt obszaru roboczego do utworzenia obrazu.
name
Wymagane
str

Nazwa obrazu.
model_ids
Wymagane
list[str]

Lista identyfikatorów modeli do spakowania na obrazie.

Zwraca

Typ Opis
dict

Ładunek tworzenia obrazu kontenera.

Wyjątki

Typ Opis
WebserviceException

build_profile_payload

Skompiluj ładunek profilowania dla pakietu model.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parametry

Nazwa Opis
profile_name
Wymagane
str

Nazwa przebiegu profilowania.
input_data
str

Dane wejściowe do profilowania.

Domyślna wartość: None
workspace
Workspace

Obiekt obszaru roboczego, w którym ma być profilowy model.

Domyślna wartość: None
models
list[Model]

Lista obiektów modelu. Może być pustą listą.

Domyślna wartość: None
dataset_id
str

Identyfikator skojarzony z zestawem danych zawierającym dane wejściowe dla przebiegu profilowania.

Domyślna wartość: None
container_resource_requirements
ContainerResourceRequirements

wymagania dotyczące zasobów kontenera dla największego wystąpienia, do którego ma zostać wdrożony model

Domyślna wartość: None
description
str

Opis, który ma być skojarzony z przebiegiem profilowania.

Domyślna wartość: None

Zwraca

Typ Opis
dict

Ładunek profilu modelu

Wyjątki

Typ Opis
WebserviceException

validate_configuration

Sprawdź, czy określone wartości konfiguracji są prawidłowe.

Zgłasza błąd WebserviceException w przypadku niepowodzenia walidacji.

validate_configuration()

Wyjątki

Typ Opis
WebserviceException

validation_script_content

Sprawdź, czy składnia skryptu oceny jest prawidłowa przy użyciu pliku ast.parse.

Zgłasza błąd UserErrorException w przypadku niepowodzenia walidacji.

validation_script_content()

Wyjątki

Typ Opis
UserErrorException