InferenceConfig Klasa

  • Odwołanie

Reprezentuje ustawienia konfiguracji dla środowiska niestandardowego używanego do wdrożenia.

Konfiguracja wnioskowania to parametr wejściowy dla Model akcji związanych z wdrażaniem:

Zainicjuj obiekt konfiguracji.

Dziedziczenie
builtins.object
InferenceConfig

Konstruktor

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parametry

entry_script
str
Wymagane

Ścieżka do pliku lokalnego zawierającego kod do uruchomienia dla obrazu.

runtime
str
wartość domyślna: None

Środowisko uruchomieniowe do użycia dla obrazu. Bieżące obsługiwane środowiska uruchomieniowe to "spark-py" i "python".

conda_file
str
wartość domyślna: None

Ścieżka do pliku lokalnego zawierającego definicję środowiska conda do użycia dla obrazu.

extra_docker_file_steps
str
wartość domyślna: None

Ścieżka do pliku lokalnego zawierającego dodatkowe kroki platformy Docker do uruchomienia podczas konfigurowania obrazu.

source_directory
str
wartość domyślna: None

Ścieżka do folderu zawierającego wszystkie pliki do utworzenia obrazu.

enable_gpu
bool
wartość domyślna: None

Wskazuje, czy należy włączyć obsługę procesora GPU na obrazie. Obraz procesora GPU musi być używany w usługach platformy Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines i Azure Kubernetes Service. Wartość domyślna to False.

description
str
wartość domyślna: None

Opis do nadania temu obrazowi.

base_image
str
wartość domyślna: None

Obraz niestandardowy, który ma być używany jako obraz podstawowy. Jeśli nie podano obrazu podstawowego, obraz podstawowy będzie używany na podstawie danego parametru środowiska uruchomieniowego.

base_image_registry
ContainerRegistry
wartość domyślna: None

Rejestr obrazów zawierający obraz podstawowy.

cuda_version
str
wartość domyślna: None

Wersja interfejsu CUDA do zainstalowania dla obrazów wymagających obsługi procesora GPU. Obraz procesora GPU musi być używany w usługach platformy Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines i Azure Kubernetes Service. Obsługiwane wersje to 9.0, 9.1 i 10.0. Jeśli enable_gpu jest ustawiona, ta wartość domyślna to "9.1".

environment
Environment
wartość domyślna: None

Obiekt środowiska, który ma być używany do wdrożenia. Środowisko nie musi być zarejestrowane.

Podaj ten parametr lub inne parametry, ale nie oba. Poszczególne parametry nie będą służyć jako przesłonięcia obiektu środowiska. Wyjątki obejmują entry_script, source_directoryi description.

entry_script
str
Wymagane

Ścieżka do pliku lokalnego zawierającego kod do uruchomienia dla obrazu.

runtime
str
Wymagane

Środowisko uruchomieniowe do użycia dla obrazu. Bieżące obsługiwane środowiska uruchomieniowe to "spark-py" i "python".

conda_file
str
Wymagane

Ścieżka do pliku lokalnego zawierającego definicję środowiska conda do użycia dla obrazu.

extra_docker_file_steps
str
Wymagane

Ścieżka do pliku lokalnego zawierającego dodatkowe kroki platformy Docker do uruchomienia podczas konfigurowania obrazu.

source_directory
str
Wymagane

Ścieżka do folderu zawierającego wszystkie pliki do utworzenia obrazu.

enable_gpu
bool
Wymagane

Wskazuje, czy należy włączyć obsługę procesora GPU na obrazie. Obraz procesora GPU musi być używany w usługach platformy Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines i Azure Kubernetes Service. Wartość domyślna to False.

description
str
Wymagane

Opis do nadania temu obrazowi.

base_image
str
Wymagane

Obraz niestandardowy, który ma być używany jako obraz podstawowy. Jeśli nie podano obrazu podstawowego, obraz podstawowy będzie używany na podstawie danego parametru środowiska uruchomieniowego.

base_image_registry
ContainerRegistry
Wymagane

Rejestr obrazów zawierający obraz podstawowy.

cuda_version
str
Wymagane

Wersja interfejsu CUDA do zainstalowania dla obrazów wymagających obsługi procesora GPU. Obraz procesora GPU musi być używany w usługach platformy Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines i Azure Kubernetes Service. Obsługiwane wersje to 9.0, 9.1 i 10.0. Jeśli enable_gpu jest ustawiona, ta wartość domyślna to "9.1".

environment
Environment
Wymagane

Obiekt środowiska, który ma być używany do wdrożenia. Środowisko nie musi być zarejestrowane.

Podaj ten parametr lub inne parametry, ale nie oba. Poszczególne parametry nie będą służyć jako przesłonięcia obiektu środowiska. Wyjątki obejmują entry_script, source_directoryi description.

Uwagi

W poniższym przykładzie pokazano, jak utworzyć obiekt InferenceConfig i użyć go do wdrożenia modelu.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Zmienne

entry_script
str

Ścieżka do pliku lokalnego zawierającego kod do uruchomienia dla obrazu.

runtime
str

Środowisko uruchomieniowe do użycia dla obrazu. Bieżące obsługiwane środowiska uruchomieniowe to "spark-py" i "python".

conda_file
str

Ścieżka do pliku lokalnego zawierającego definicję środowiska conda do użycia dla obrazu.

extra_docker_file_steps
str

Ścieżka do pliku lokalnego zawierającego dodatkowe kroki platformy Docker do uruchomienia podczas konfigurowania obrazu.

source_directory
str

Ścieżka do folderu zawierającego wszystkie pliki do utworzenia obrazu.

enable_gpu
bool

Wskazuje, czy należy włączyć obsługę procesora GPU na obrazie. Obraz procesora GPU musi być używany w usługach platformy Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines i Azure Kubernetes Service.

azureml.core.model.InferenceConfig.description

Opis do nadania temu obrazowi.

base_image
str

Obraz niestandardowy, który ma być używany jako obraz podstawowy. Jeśli nie podano obrazu podstawowego, obraz podstawowy będzie używany na podstawie danego parametru środowiska uruchomieniowego.

base_image_registry
ContainerRegistry

Rejestr obrazów zawierający obraz podstawowy.

cuda_version
str

Wersja cuda do zainstalowania dla obrazów, które wymagają obsługi procesora GPU. Obraz procesora GPU musi być używany w usługach platformy Microsoft Azure, takich jak Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines i Azure Kubernetes Service. Obsługiwane wersje to 9.0, 9.1 i 10.0. Jeśli enable_gpu jest ustawiona, ta wartość domyślna to "9.1".

azureml.core.model.InferenceConfig.environment

Obiekt środowiska, który ma być używany do wdrożenia. Środowisko nie musi być zarejestrowane.

Podaj ten parametr lub inne parametry, ale nie oba. Poszczególne parametry nie będą służyć jako przesłonięcia obiektu środowiska. Wyjątki obejmują entry_script, source_directoryi description.

Metody

build_create_payload

Skompiluj ładunek tworzenia obrazu kontenera.
build_profile_payload

Skompiluj ładunek profilowania dla pakietu model.
validate_configuration

Sprawdź, czy określone wartości konfiguracji są prawidłowe.

Zgłasza błąd WebserviceException w przypadku niepowodzenia walidacji.
validation_script_content

Sprawdź, czy składnia skryptu oceny jest prawidłowa przy użyciu pliku ast.parse.

Zgłasza błąd UserErrorException w przypadku niepowodzenia walidacji.

build_create_payload

Skompiluj ładunek tworzenia obrazu kontenera.

build_create_payload(workspace, name, model_ids)

Parametry

workspace
Workspace
Wymagane

Obiekt obszaru roboczego do utworzenia obrazu.

name
str
Wymagane

Nazwa obrazu.

model_ids
list[str]
Wymagane

Lista identyfikatorów modeli do spakowania na obrazie.

Zwraca

Ładunek tworzenia obrazu kontenera.

Typ zwracany

dict

Wyjątki

WebserviceException

build_profile_payload

Skompiluj ładunek profilowania dla pakietu model.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parametry

profile_name
str
Wymagane

Nazwa przebiegu profilowania.

input_data
str
wartość domyślna: None

Dane wejściowe do profilowania.

workspace
Workspace
wartość domyślna: None

Obiekt obszaru roboczego, w którym ma być profilowy model.

models
list[Model]
wartość domyślna: None

Lista obiektów modelu. Może być pustą listą.

dataset_id
str
wartość domyślna: None

Identyfikator skojarzony z zestawem danych zawierającym dane wejściowe dla przebiegu profilowania.

container_resource_requirements
ContainerResourceRequirements
wartość domyślna: None

wymagania dotyczące zasobów kontenera dla największego wystąpienia, do którego ma zostać wdrożony model

description
str
wartość domyślna: None

Opis, który ma być skojarzony z przebiegiem profilowania.

Zwraca

Ładunek profilu modelu

Typ zwracany

dict

Wyjątki

WebserviceException

validate_configuration

Sprawdź, czy określone wartości konfiguracji są prawidłowe.

Zgłasza błąd WebserviceException w przypadku niepowodzenia walidacji.

validate_configuration()

Wyjątki

WebserviceException

validation_script_content

Sprawdź, czy składnia skryptu oceny jest prawidłowa przy użyciu pliku ast.parse.

Zgłasza błąd UserErrorException w przypadku niepowodzenia walidacji.

validation_script_content()

Wyjątki

UserErrorException