InferenceConfig Třída

Představuje nastavení konfigurace pro vlastní prostředí používané k nasazení.

Konfigurace odvozování je vstupní parametr pro Model akce související s nasazením:

Inicializuje objekt konfigurace.

Dědičnost
builtins.object
InferenceConfig

Konstruktor

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parametry

entry_script
str
Vyžadováno

Cesta k místnímu souboru, který obsahuje kód, který se má spustit pro image.

runtime
str
výchozí hodnota: None

Modul runtime, který se má použít pro image. Aktuálně podporované moduly runtime jsou spark-py a python.

conda_file
str
výchozí hodnota: None

Cesta k místnímu souboru obsahujícímu definici prostředí conda, která se má použít pro image.

extra_docker_file_steps
str
výchozí hodnota: None

Cesta k místnímu souboru obsahující další kroky Dockeru, které se mají spustit při nastavování image.

source_directory
str
výchozí hodnota: None

Cesta ke složce, která obsahuje všechny soubory pro vytvoření image.

enable_gpu
bool
výchozí hodnota: None

Určuje, jestli se má v imagi povolit podpora GPU. Image GPU se musí používat ve službách Microsoft Azure, jako jsou Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines a Azure Kubernetes Service. Výchozí hodnota je False.

description
str
výchozí hodnota: None

Popis pro tento obrázek.

base_image
str
výchozí hodnota: None

Vlastní image, která se má použít jako základní image. Pokud není uvedena žádná základní image, použije se základní image na základě daného parametru modulu runtime.

base_image_registry
ContainerRegistry
výchozí hodnota: None

Registr imagí, který obsahuje základní image.

cuda_version
str
výchozí hodnota: None

Verze CUDA, která se má nainstalovat pro image, které potřebují podporu GPU. Image GPU se musí používat ve službách Microsoft Azure, jako jsou Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines a Azure Kubernetes Service. Podporované verze jsou 9.0, 9.1 a 10.0. Pokud enable_gpu je nastavená, bude výchozí hodnota 9.1.

environment
Environment
výchozí hodnota: None

Objekt prostředí, který se má použít pro nasazení. Prostředí nemusí být zaregistrované.

Zadejte buď tento parametr, nebo ostatní parametry, ale ne oba parametry. Jednotlivé parametry nebudou sloužit jako přepsání objektu prostředí. Mezi výjimky patří entry_script, source_directorya description.

entry_script
str
Vyžadováno

Cesta k místnímu souboru, který obsahuje kód, který se má spustit pro image.

runtime
str
Vyžadováno

Modul runtime, který se má použít pro image. Aktuálně podporované moduly runtime jsou spark-py a python.

conda_file
str
Vyžadováno

Cesta k místnímu souboru obsahujícímu definici prostředí conda, která se má použít pro image.

extra_docker_file_steps
str
Vyžadováno

Cesta k místnímu souboru obsahující další kroky Dockeru, které se mají spustit při nastavování image.

source_directory
str
Vyžadováno

Cesta ke složce, která obsahuje všechny soubory pro vytvoření image.

enable_gpu
bool
Vyžadováno

Určuje, jestli se má v imagi povolit podpora GPU. Image GPU se musí používat ve službách Microsoft Azure, jako jsou Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines a Azure Kubernetes Service. Výchozí hodnota je False.

description
str
Vyžadováno

Popis pro tento obrázek.

base_image
str
Vyžadováno

Vlastní image, která se má použít jako základní image. Pokud není uvedena žádná základní image, použije se základní image na základě daného parametru modulu runtime.

base_image_registry
ContainerRegistry
Vyžadováno

Registr imagí, který obsahuje základní image.

cuda_version
str
Vyžadováno

Verze CUDA, která se má nainstalovat pro image, které potřebují podporu GPU. Image GPU se musí používat ve službách Microsoft Azure, jako jsou Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines a Azure Kubernetes Service. Podporované verze jsou 9.0, 9.1 a 10.0. Pokud enable_gpu je nastavená, bude výchozí hodnota 9.1.

environment
Environment
Vyžadováno

Objekt prostředí, který se má použít pro nasazení. Prostředí nemusí být zaregistrované.

Zadejte buď tento parametr, nebo ostatní parametry, ale ne oba parametry. Jednotlivé parametry nebudou sloužit jako přepsání objektu prostředí. Mezi výjimky patří entry_script, source_directorya description.

Poznámky

Následující ukázka ukazuje, jak vytvořit objekt InferenceConfig a použít ho k nasazení modelu.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Proměnné

entry_script
str

Cesta k místnímu souboru, který obsahuje kód, který se má spustit pro image.

runtime
str

Modul runtime, který se má použít pro image. Aktuálně podporované moduly runtime jsou spark-py a python.

conda_file
str

Cesta k místnímu souboru obsahujícímu definici prostředí conda, která se má použít pro image.

extra_docker_file_steps
str

Cesta k místnímu souboru obsahující další kroky Dockeru, které se mají spustit při nastavování image.

source_directory
str

Cesta ke složce, která obsahuje všechny soubory pro vytvoření image.

enable_gpu
bool

Určuje, jestli se má v imagi povolit podpora GPU. Image GPU se musí používat ve službách Microsoft Azure, jako jsou Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines a Azure Kubernetes Service.

azureml.core.model.InferenceConfig.description

Popis pro tento obrázek.

base_image
str

Vlastní image, která se má použít jako základní image. Pokud není uvedena žádná základní image, použije se základní image na základě daného parametru modulu runtime.

base_image_registry
ContainerRegistry

Registr imagí, který obsahuje základní image.

cuda_version
str

Verze CUDA, která se má nainstalovat pro image, které potřebují podporu GPU. Image GPU se musí používat ve službách Microsoft Azure, jako jsou Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines a Azure Kubernetes Service. Podporované verze jsou 9.0, 9.1 a 10.0. Pokud enable_gpu je nastavená hodnota , ve výchozím nastavení se nastaví 9.1.

azureml.core.model.InferenceConfig.environment

Objekt prostředí, který se má použít pro nasazení. Prostředí nemusí být zaregistrované.

Zadejte buď tento parametr, nebo ostatní parametry, ale ne oba parametry. Jednotlivé parametry NEBUDOU sloužit jako přepsání objektu prostředí. Mezi výjimky patří entry_script, source_directorya description.

Metody

build_create_payload

Sestavte datovou část vytváření pro image kontejneru.

build_profile_payload

Sestavte datovou část profilace pro balíček modelu.

validate_configuration

Zkontrolujte, jestli jsou zadané hodnoty konfigurace platné.

Vyvolá v WebserviceException případě, že se ověření nezdaří.

validation_script_content

Zkontrolujte, jestli je syntaxe skriptu skóre platná s ast.parse.

Vyvolá v UserErrorException případě, že se ověření nezdaří.

build_create_payload

Sestavte datovou část vytváření pro image kontejneru.

build_create_payload(workspace, name, model_ids)

Parametry

workspace
Workspace
Vyžadováno

Objekt pracovního prostoru, ve které se má image vytvořit.

name
str
Vyžadováno

Název obrázku.

model_ids
list[str]
Vyžadováno

Seznam ID modelů, které se mají zabalit do image.

Návraty

Datová část vytvoření image kontejneru

Návratový typ

Výjimky

build_profile_payload

Sestavte datovou část profilace pro balíček modelu.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parametry

profile_name
str
Vyžadováno

Název běhu profilace.

input_data
str
výchozí hodnota: None

Vstupní data pro profilaci.

workspace
Workspace
výchozí hodnota: None

Objekt Pracovního prostoru, ve kterém chcete model profilovat.

models
list[Model]
výchozí hodnota: None

Seznam objektů modelu. Může to být prázdný seznam.

dataset_id
str
výchozí hodnota: None

ID přidružené k datové sadě obsahující vstupní data pro spuštění profilace.

container_resource_requirements
ContainerResourceRequirements
výchozí hodnota: None

Požadavky na prostředky kontejneru pro největší instanci, do které se má model nasadit

description
str
výchozí hodnota: None

Popis, který se má přidružit ke spuštění profilace.

Návraty

Datová část profilu modelu

Návratový typ

Výjimky

validate_configuration

Zkontrolujte, jestli jsou zadané hodnoty konfigurace platné.

Vyvolá v WebserviceException případě, že se ověření nezdaří.

validate_configuration()

Výjimky

validation_script_content

Zkontrolujte, jestli je syntaxe skriptu skóre platná s ast.parse.

Vyvolá v UserErrorException případě, že se ověření nezdaří.

validation_script_content()

Výjimky