InferenceConfig Klass

  • Referens

Representerar konfigurationsinställningar för en anpassad miljö som används för distribution.

Inferenskonfiguration är en indataparameter för Model distributionsrelaterade åtgärder:

Initiera konfigurationsobjektet.

Arv
builtins.object
InferenceConfig

Konstruktor

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parametrar

entry_script
str
Obligatorisk

Sökvägen till en lokal fil som innehåller koden som ska köras för avbildningen.

runtime
str
standardvärde: None

Körningen som ska användas för avbildningen. Aktuella körningsmiljöer som stöds är "spark-py" och "python".

conda_file
str
standardvärde: None

Sökvägen till en lokal fil som innehåller en conda-miljödefinition som ska användas för avbildningen.

extra_docker_file_steps
str
standardvärde: None

Sökvägen till en lokal fil som innehåller ytterligare Docker-steg som ska köras när avbildningen konfigureras.

source_directory
str
standardvärde: None

Sökvägen till mappen som innehåller alla filer för att skapa avbildningen.

enable_gpu
bool
standardvärde: None

Anger om GPU-stöd ska aktiveras i avbildningen. GPU-avbildningen måste användas i Microsoft Azure-tjänster som Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines och Azure Kubernetes Service. Standardvärdet är Falskt.

description
str
standardvärde: None

En beskrivning för att ge den här bilden.

base_image
str
standardvärde: None

En anpassad avbildning som ska användas som basavbildning. Om ingen basavbildning anges används basavbildningen baserat på den angivna körningsparametern.

base_image_registry
ContainerRegistry
standardvärde: None

Avbildningsregistret som innehåller basavbildningen.

cuda_version
str
standardvärde: None

Den version av CUDA som ska installeras för avbildningar som behöver GPU-stöd. GPU-avbildningen måste användas i Microsoft Azure-tjänster som Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines och Azure Kubernetes Service. Versioner som stöds är 9.0, 9.1 och 10.0. Om enable_gpu har angetts är standardvärdet "9.1".

environment
Environment
standardvärde: None

Ett miljöobjekt som ska användas för distributionen. Miljön behöver inte registreras.

Ange antingen den här parametern eller de andra parametrarna, men inte båda. De enskilda parametrarna fungerar INTE som en åsidosättning för miljöobjektet. Undantag är entry_script, source_directoryoch description.

entry_script
str
Obligatorisk

Sökvägen till en lokal fil som innehåller koden som ska köras för avbildningen.

runtime
str
Obligatorisk

Körningen som ska användas för avbildningen. Aktuella körningsmiljöer som stöds är "spark-py" och "python".

conda_file
str
Obligatorisk

Sökvägen till en lokal fil som innehåller en conda-miljödefinition som ska användas för avbildningen.

extra_docker_file_steps
str
Obligatorisk

Sökvägen till en lokal fil som innehåller ytterligare Docker-steg som ska köras när avbildningen konfigureras.

source_directory
str
Obligatorisk

Sökvägen till mappen som innehåller alla filer för att skapa avbildningen.

enable_gpu
bool
Obligatorisk

Anger om GPU-stöd ska aktiveras i avbildningen. GPU-avbildningen måste användas i Microsoft Azure-tjänster som Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines och Azure Kubernetes Service. Standardvärdet är Falskt.

description
str
Obligatorisk

En beskrivning för att ge den här bilden.

base_image
str
Obligatorisk

En anpassad avbildning som ska användas som basavbildning. Om ingen basavbildning anges används basavbildningen baserat på den angivna körningsparametern.

base_image_registry
ContainerRegistry
Obligatorisk

Avbildningsregistret som innehåller basavbildningen.

cuda_version
str
Obligatorisk

Den version av CUDA som ska installeras för avbildningar som behöver GPU-stöd. GPU-avbildningen måste användas i Microsoft Azure-tjänster som Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines och Azure Kubernetes Service. Versioner som stöds är 9.0, 9.1 och 10.0. Om enable_gpu har angetts är standardvärdet "9.1".

environment
Environment
Obligatorisk

Ett miljöobjekt som ska användas för distributionen. Miljön behöver inte registreras.

Ange antingen den här parametern eller de andra parametrarna, men inte båda. De enskilda parametrarna fungerar INTE som en åsidosättning för miljöobjektet. Undantag är entry_script, source_directoryoch description.

Kommentarer

Följande exempel visar hur du skapar ett InferenceConfig-objekt och använder det för att distribuera en modell.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Variabler

entry_script
str

Sökvägen till en lokal fil som innehåller koden som ska köras för avbildningen.

runtime
str

Körningen som ska användas för avbildningen. Aktuella körningsmiljöer som stöds är "spark-py" och "python".

conda_file
str

Sökvägen till en lokal fil som innehåller en conda-miljödefinition som ska användas för avbildningen.

extra_docker_file_steps
str

Sökvägen till en lokal fil som innehåller ytterligare Docker-steg som ska köras när avbildningen konfigureras.

source_directory
str

Sökvägen till mappen som innehåller alla filer för att skapa avbildningen.

enable_gpu
bool

Anger om GPU-stöd ska aktiveras i avbildningen. GPU-avbildningen måste användas i Microsoft Azure-tjänster som Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines och Azure Kubernetes Service.

azureml.core.model.InferenceConfig.description

En beskrivning för att ge den här bilden.

base_image
str

En anpassad avbildning som ska användas som basavbildning. Om ingen basavbildning anges används basavbildningen baserat på den angivna körningsparametern.

base_image_registry
ContainerRegistry

Avbildningsregistret som innehåller basavbildningen.

cuda_version
str

Den version av CUDA som ska installeras för avbildningar som behöver GPU-stöd. GPU-avbildningen måste användas i Microsoft Azure-tjänster som Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines och Azure Kubernetes Service. Versioner som stöds är 9.0, 9.1 och 10.0. Om enable_gpu har angetts är standardvärdet "9.1".

azureml.core.model.InferenceConfig.environment

Ett miljöobjekt som ska användas för distributionen. Miljön behöver inte registreras.

Ange antingen den här parametern eller de andra parametrarna, men inte båda. De enskilda parametrarna fungerar INTE som en åsidosättning för miljöobjektet. Undantagen är entry_script, source_directoryoch description.

Metoder

build_create_payload

Skapa nyttolasten för containeravbildningen.
build_profile_payload

Skapa profileringsnyttolasten för modellpaketet.
validate_configuration

Kontrollera att de angivna konfigurationsvärdena är giltiga.

Genererar ett WebserviceException om valideringen misslyckas.
validation_script_content

Kontrollera att syntaxen för poängskriptet är giltig med ast.parse.

Genererar ett UserErrorException om valideringen misslyckas.

build_create_payload

Skapa nyttolasten för containeravbildningen.

build_create_payload(workspace, name, model_ids)

Parametrar

workspace
Workspace
Obligatorisk

Det arbetsyteobjekt som avbildningen ska skapas i.

name
str
Obligatorisk

Namnet på avbildningen.

model_ids
list[str]
Obligatorisk

En lista över modell-ID:t som ska paketeras i avbildningen.

Returer

Nyttolasten för att skapa containeravbildningar.

Returtyp

dict

Undantag

WebserviceException

build_profile_payload

Skapa profileringsnyttolasten för modellpaketet.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parametrar

profile_name
str
Obligatorisk

Namnet på profileringskörningen.

input_data
str
standardvärde: None

Indata för profilering.

workspace
Workspace
standardvärde: None

Ett arbetsyteobjekt där modellen ska profileras.

models
list[Model]
standardvärde: None

En lista över modellobjekt. Kan vara en tom lista.

dataset_id
str
standardvärde: None

ID som är associerat med datauppsättningen som innehåller indata för profileringskörningen.

container_resource_requirements
ContainerResourceRequirements
standardvärde: None

containerresurskrav för den största instans som modellen ska distribueras till

description
str
standardvärde: None

Beskrivning som ska associeras med profileringskörningen.

Returer

Nyttolast för modellprofil

Returtyp

dict

Undantag

WebserviceException

validate_configuration

Kontrollera att de angivna konfigurationsvärdena är giltiga.

Genererar ett WebserviceException om valideringen misslyckas.

validate_configuration()

Undantag

WebserviceException

validation_script_content

Kontrollera att syntaxen för poängskriptet är giltig med ast.parse.

Genererar ett UserErrorException om valideringen misslyckas.

validation_script_content()

Undantag

UserErrorException