InferenceConfig Klas

  • Referentie

Vertegenwoordigt configuratie-instellingen voor een aangepaste omgeving die wordt gebruikt voor implementatie.

Deductieconfiguratie is een invoerparameter voor Model implementatiegerelateerde acties:

Initialiseer het configuratieobject.

Overname
builtins.object
InferenceConfig

Constructor

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parameters

entry_script
str
Vereist

Het pad naar een lokaal bestand dat de code bevat die moet worden uitgevoerd voor de installatiekopieën.

runtime
str
standaardwaarde: None

De runtime die moet worden gebruikt voor de installatiekopieën. Huidige ondersteunde runtimes zijn 'spark-py' en 'python'.

conda_file
str
standaardwaarde: None

Het pad naar een lokaal bestand met een Conda-omgevingsdefinitie die moet worden gebruikt voor de installatiekopie.

extra_docker_file_steps
str
standaardwaarde: None

Het pad naar een lokaal bestand met extra Docker-stappen die moeten worden uitgevoerd bij het instellen van de installatiekopie.

source_directory
str
standaardwaarde: None

Het pad naar de map die alle bestanden bevat om de afbeelding te maken.

enable_gpu
bool
standaardwaarde: None

Hiermee wordt aangegeven of GPU-ondersteuning in de installatiekopieën moet worden ingeschakeld. De GPU-installatiekopieën moeten worden gebruikt voor Microsoft Azure-services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. Standaard ingesteld op False.

description
str
standaardwaarde: None

Een beschrijving om deze afbeelding te geven.

base_image
str
standaardwaarde: None

Een aangepaste installatiekopieën die als basisinstallatiekopieën moeten worden gebruikt. Als er geen basisinstallatiekopieën worden opgegeven, wordt de basisinstallatiekopieën gebruikt op basis van de opgegeven runtimeparameter.

base_image_registry
ContainerRegistry
standaardwaarde: None

Het installatiekopieënregister dat de basisinstallatiekopieën bevat.

cuda_version
str
standaardwaarde: None

De versie van CUDA die moet worden geïnstalleerd voor installatiekopieën waarvoor GPU-ondersteuning nodig is. De GPU-installatiekopieën moeten worden gebruikt voor Microsoft Azure-services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. Ondersteunde versies zijn 9.0, 9.1 en 10.0. Als enable_gpu is ingesteld, wordt dit standaard ingesteld op '9.1'.

environment
Environment
standaardwaarde: None

Een omgevingsobject dat moet worden gebruikt voor de implementatie. De omgeving hoeft niet te worden geregistreerd.

Geef deze parameter of de andere parameters op, maar niet beide. De afzonderlijke parameters dienen NIET als overschrijving voor het omgevingsobject. Uitzonderingen zijn , entry_scriptsource_directoryen description.

entry_script
str
Vereist

Het pad naar een lokaal bestand dat de code bevat die moet worden uitgevoerd voor de installatiekopieën.

runtime
str
Vereist

De runtime die moet worden gebruikt voor de installatiekopieën. Huidige ondersteunde runtimes zijn 'spark-py' en 'python'.

conda_file
str
Vereist

Het pad naar een lokaal bestand met een Conda-omgevingsdefinitie die moet worden gebruikt voor de installatiekopie.

extra_docker_file_steps
str
Vereist

Het pad naar een lokaal bestand met extra Docker-stappen die moeten worden uitgevoerd bij het instellen van de installatiekopie.

source_directory
str
Vereist

Het pad naar de map die alle bestanden bevat om de afbeelding te maken.

enable_gpu
bool
Vereist

Hiermee wordt aangegeven of GPU-ondersteuning in de installatiekopieën moet worden ingeschakeld. De GPU-installatiekopieën moeten worden gebruikt voor Microsoft Azure-services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. Standaard ingesteld op False.

description
str
Vereist

Een beschrijving om deze afbeelding te geven.

base_image
str
Vereist

Een aangepaste installatiekopieën die als basisinstallatiekopieën moeten worden gebruikt. Als er geen basisinstallatiekopieën worden opgegeven, wordt de basisinstallatiekopieën gebruikt op basis van de opgegeven runtimeparameter.

base_image_registry
ContainerRegistry
Vereist

Het installatiekopieënregister dat de basisinstallatiekopieën bevat.

cuda_version
str
Vereist

De versie van CUDA die moet worden geïnstalleerd voor installatiekopieën waarvoor GPU-ondersteuning nodig is. De GPU-installatiekopieën moeten worden gebruikt voor Microsoft Azure-services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. Ondersteunde versies zijn 9.0, 9.1 en 10.0. Als enable_gpu is ingesteld, wordt dit standaard ingesteld op '9.1'.

environment
Environment
Vereist

Een omgevingsobject dat moet worden gebruikt voor de implementatie. De omgeving hoeft niet te worden geregistreerd.

Geef deze parameter of de andere parameters op, maar niet beide. De afzonderlijke parameters dienen NIET als overschrijving voor het omgevingsobject. Uitzonderingen zijn , entry_scriptsource_directoryen description.

Opmerkingen

In het volgende voorbeeld ziet u hoe u een InferenceConfig-object maakt en dit gebruikt om een model te implementeren.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Variabelen

entry_script
str

Het pad naar een lokaal bestand dat de code bevat die moet worden uitgevoerd voor de installatiekopieën.

runtime
str

De runtime die moet worden gebruikt voor de installatiekopieën. Huidige ondersteunde runtimes zijn 'spark-py' en 'python'.

conda_file
str

Het pad naar een lokaal bestand met een Conda-omgevingsdefinitie die moet worden gebruikt voor de installatiekopie.

extra_docker_file_steps
str

Het pad naar een lokaal bestand met extra Docker-stappen die moeten worden uitgevoerd bij het instellen van de installatiekopie.

source_directory
str

Het pad naar de map die alle bestanden bevat om de afbeelding te maken.

enable_gpu
bool

Hiermee wordt aangegeven of GPU-ondersteuning in de installatiekopieën moet worden ingeschakeld. De GPU-installatiekopieën moeten worden gebruikt voor Microsoft Azure-services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service.

azureml.core.model.InferenceConfig.description

Een beschrijving om deze afbeelding te geven.

base_image
str

Een aangepaste installatiekopieën die als basisinstallatiekopieën moeten worden gebruikt. Als er geen basisinstallatiekopieën worden opgegeven, wordt de basisinstallatiekopieën gebruikt op basis van de opgegeven runtimeparameter.

base_image_registry
ContainerRegistry

Het installatiekopieënregister dat de basisinstallatiekopieën bevat.

cuda_version
str

De versie van CUDA die moet worden geïnstalleerd voor installatiekopieën waarvoor GPU-ondersteuning nodig is. De GPU-installatiekopieën moeten worden gebruikt voor Microsoft Azure-services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. Ondersteunde versies zijn 9.0, 9.1 en 10.0. Als enable_gpu is ingesteld, wordt dit standaard ingesteld op '9.1'.

azureml.core.model.InferenceConfig.environment

Een omgevingsobject dat moet worden gebruikt voor de implementatie. De omgeving hoeft niet te worden geregistreerd.

Geef deze parameter of de andere parameters op, maar niet beide. De afzonderlijke parameters fungeren NIET als onderdrukking voor het omgevingsobject. Uitzonderingen zijn , entry_scriptsource_directoryen description.

Methoden

build_create_payload

Bouw de nettolading voor het maken van de containerinstallatiekopieën.
build_profile_payload

Bouw de nettolading van de profilering voor het modelpakket.
validate_configuration

Controleer of de opgegeven configuratiewaarden geldig zijn.

Genereert een WebserviceException als de validatie mislukt.
validation_script_content

Controleer of de syntaxis van het scorescript geldig is met ast.parse.

Genereert een UserErrorException als de validatie mislukt.

build_create_payload

Bouw de nettolading voor het maken van de containerinstallatiekopieën.

build_create_payload(workspace, name, model_ids)

Parameters

workspace
Workspace
Vereist

Het werkruimteobject waarin de afbeelding moet worden gemaakt.

name
str
Vereist

De naam van de afbeelding.

model_ids
list[str]
Vereist

Een lijst met model-id's die in de afbeelding moeten worden verpakt.

Retouren

De nettolading voor het maken van de containerinstallatiekopieën.

Retourtype

dict

Uitzonderingen

WebserviceException

build_profile_payload

Bouw de nettolading van de profilering voor het modelpakket.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parameters

profile_name
str
Vereist

De naam van de profileringsuitvoering.

input_data
str
standaardwaarde: None

De invoergegevens voor profilering.

workspace
Workspace
standaardwaarde: None

Een werkruimteobject waarin het model moet worden geprofilleerd.

models
list[Model]
standaardwaarde: None

Een lijst met modelobjecten. Kan een lege lijst zijn.

dataset_id
str
standaardwaarde: None

Id die is gekoppeld aan de gegevensset met invoergegevens voor de profileringsuitvoering.

container_resource_requirements
ContainerResourceRequirements
standaardwaarde: None

containerresourcevereisten voor het grootste exemplaar waarop het model moet worden geïmplementeerd

description
str
standaardwaarde: None

Beschrijving die moet worden gekoppeld aan de profileringsuitvoering.

Retouren

Nettolading van modelprofiel

Retourtype

dict

Uitzonderingen

WebserviceException

validate_configuration

Controleer of de opgegeven configuratiewaarden geldig zijn.

Genereert een WebserviceException als de validatie mislukt.

validate_configuration()

Uitzonderingen

WebserviceException

validation_script_content

Controleer of de syntaxis van het scorescript geldig is met ast.parse.

Genereert een UserErrorException als de validatie mislukt.

validation_script_content()

Uitzonderingen

UserErrorException