InferenceConfig Klas
- Overname
-
builtins.objectInferenceConfig
Constructor
InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)
Parameters
- entry_script
- str
Het pad naar een lokaal bestand dat de code bevat die moet worden uitgevoerd voor de installatiekopieën.
- runtime
- str
De runtime die moet worden gebruikt voor de installatiekopieën. Huidige ondersteunde runtimes zijn 'spark-py' en 'python'.
- conda_file
- str
Het pad naar een lokaal bestand met een Conda-omgevingsdefinitie die moet worden gebruikt voor de installatiekopie.
- extra_docker_file_steps
- str
Het pad naar een lokaal bestand met extra Docker-stappen die moeten worden uitgevoerd bij het instellen van de installatiekopie.
- source_directory
- str
Het pad naar de map die alle bestanden bevat om de afbeelding te maken.
- enable_gpu
- bool
Hiermee wordt aangegeven of GPU-ondersteuning in de installatiekopieën moet worden ingeschakeld. De GPU-installatiekopieën moeten worden gebruikt voor Microsoft Azure-services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. Standaard ingesteld op False.
- base_image
- str
Een aangepaste installatiekopieën die als basisinstallatiekopieën moeten worden gebruikt. Als er geen basisinstallatiekopieën worden opgegeven, wordt de basisinstallatiekopieën gebruikt op basis van de opgegeven runtimeparameter.
- base_image_registry
- ContainerRegistry
Het installatiekopieënregister dat de basisinstallatiekopieën bevat.
- cuda_version
- str
De versie van CUDA die moet worden geïnstalleerd voor installatiekopieën waarvoor GPU-ondersteuning nodig is. De GPU-installatiekopieën moeten worden gebruikt voor Microsoft Azure-services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. Ondersteunde versies zijn 9.0, 9.1 en 10.0.
Als enable_gpu
is ingesteld, wordt dit standaard ingesteld op '9.1'.
- environment
- Environment
Een omgevingsobject dat moet worden gebruikt voor de implementatie. De omgeving hoeft niet te worden geregistreerd.
Geef deze parameter of de andere parameters op, maar niet beide. De afzonderlijke parameters dienen NIET als overschrijving voor het omgevingsobject. Uitzonderingen zijn , entry_script
source_directory
en description
.
- entry_script
- str
Het pad naar een lokaal bestand dat de code bevat die moet worden uitgevoerd voor de installatiekopieën.
- runtime
- str
De runtime die moet worden gebruikt voor de installatiekopieën. Huidige ondersteunde runtimes zijn 'spark-py' en 'python'.
- conda_file
- str
Het pad naar een lokaal bestand met een Conda-omgevingsdefinitie die moet worden gebruikt voor de installatiekopie.
- extra_docker_file_steps
- str
Het pad naar een lokaal bestand met extra Docker-stappen die moeten worden uitgevoerd bij het instellen van de installatiekopie.
- source_directory
- str
Het pad naar de map die alle bestanden bevat om de afbeelding te maken.
- enable_gpu
- bool
Hiermee wordt aangegeven of GPU-ondersteuning in de installatiekopieën moet worden ingeschakeld. De GPU-installatiekopieën moeten worden gebruikt voor Microsoft Azure-services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. Standaard ingesteld op False.
- base_image
- str
Een aangepaste installatiekopieën die als basisinstallatiekopieën moeten worden gebruikt. Als er geen basisinstallatiekopieën worden opgegeven, wordt de basisinstallatiekopieën gebruikt op basis van de opgegeven runtimeparameter.
- base_image_registry
- ContainerRegistry
Het installatiekopieënregister dat de basisinstallatiekopieën bevat.
- cuda_version
- str
De versie van CUDA die moet worden geïnstalleerd voor installatiekopieën waarvoor GPU-ondersteuning nodig is. De GPU-installatiekopieën moeten worden gebruikt voor Microsoft Azure-services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. Ondersteunde versies zijn 9.0, 9.1 en 10.0.
Als enable_gpu
is ingesteld, wordt dit standaard ingesteld op '9.1'.
- environment
- Environment
Een omgevingsobject dat moet worden gebruikt voor de implementatie. De omgeving hoeft niet te worden geregistreerd.
Geef deze parameter of de andere parameters op, maar niet beide. De afzonderlijke parameters dienen NIET als overschrijving voor het omgevingsobject. Uitzonderingen zijn , entry_script
source_directory
en description
.
Opmerkingen
In het volgende voorbeeld ziet u hoe u een InferenceConfig-object maakt en dit gebruikt om een model te implementeren.
from azureml.core.model import InferenceConfig
from azureml.core.webservice import AciWebservice
service_name = 'my-custom-env-service'
inference_config = InferenceConfig(entry_script='score.py', environment=environment)
aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)
service = Model.deploy(workspace=ws,
name=service_name,
models=[model],
inference_config=inference_config,
deployment_config=aci_config,
overwrite=True)
service.wait_for_deployment(show_output=True)
Variabelen
- entry_script
- str
Het pad naar een lokaal bestand dat de code bevat die moet worden uitgevoerd voor de installatiekopieën.
- runtime
- str
De runtime die moet worden gebruikt voor de installatiekopieën. Huidige ondersteunde runtimes zijn 'spark-py' en 'python'.
- conda_file
- str
Het pad naar een lokaal bestand met een Conda-omgevingsdefinitie die moet worden gebruikt voor de installatiekopie.
- extra_docker_file_steps
- str
Het pad naar een lokaal bestand met extra Docker-stappen die moeten worden uitgevoerd bij het instellen van de installatiekopie.
- source_directory
- str
Het pad naar de map die alle bestanden bevat om de afbeelding te maken.
- enable_gpu
- bool
Hiermee wordt aangegeven of GPU-ondersteuning in de installatiekopieën moet worden ingeschakeld. De GPU-installatiekopieën moeten worden gebruikt voor Microsoft Azure-services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service.
- azureml.core.model.InferenceConfig.description
Een beschrijving om deze afbeelding te geven.
- base_image
- str
Een aangepaste installatiekopieën die als basisinstallatiekopieën moeten worden gebruikt. Als er geen basisinstallatiekopieën worden opgegeven, wordt de basisinstallatiekopieën gebruikt op basis van de opgegeven runtimeparameter.
- base_image_registry
- ContainerRegistry
Het installatiekopieënregister dat de basisinstallatiekopieën bevat.
- cuda_version
- str
De versie van CUDA die moet worden geïnstalleerd voor installatiekopieën waarvoor GPU-ondersteuning nodig is. De GPU-installatiekopieën moeten worden gebruikt voor Microsoft Azure-services, zoals Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines en Azure Kubernetes Service. Ondersteunde versies zijn 9.0, 9.1 en 10.0.
Als enable_gpu
is ingesteld, wordt dit standaard ingesteld op '9.1'.
- azureml.core.model.InferenceConfig.environment
Een omgevingsobject dat moet worden gebruikt voor de implementatie. De omgeving hoeft niet te worden geregistreerd.
Geef deze parameter of de andere parameters op, maar niet beide. De afzonderlijke parameters fungeren NIET als onderdrukking voor het omgevingsobject. Uitzonderingen zijn , entry_script
source_directory
en description
.
Methoden
build_create_payload |
Bouw de nettolading voor het maken van de containerinstallatiekopieën. |
build_profile_payload |
Bouw de nettolading van de profilering voor het modelpakket. |
validate_configuration |
Controleer of de opgegeven configuratiewaarden geldig zijn. Genereert een WebserviceException als de validatie mislukt. |
validation_script_content |
Controleer of de syntaxis van het scorescript geldig is met ast.parse. Genereert een UserErrorException als de validatie mislukt. |
build_create_payload
Bouw de nettolading voor het maken van de containerinstallatiekopieën.
build_create_payload(workspace, name, model_ids)
Parameters
Retouren
De nettolading voor het maken van de containerinstallatiekopieën.
Retourtype
Uitzonderingen
build_profile_payload
Bouw de nettolading van de profilering voor het modelpakket.
build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)
Parameters
- workspace
- Workspace
Een werkruimteobject waarin het model moet worden geprofilleerd.
- dataset_id
- str
Id die is gekoppeld aan de gegevensset met invoergegevens voor de profileringsuitvoering.
- container_resource_requirements
- ContainerResourceRequirements
containerresourcevereisten voor het grootste exemplaar waarop het model moet worden geïmplementeerd
- description
- str
Beschrijving die moet worden gekoppeld aan de profileringsuitvoering.
Retouren
Nettolading van modelprofiel
Retourtype
Uitzonderingen
validate_configuration
Controleer of de opgegeven configuratiewaarden geldig zijn.
Genereert een WebserviceException als de validatie mislukt.
validate_configuration()
Uitzonderingen
validation_script_content
Controleer of de syntaxis van het scorescript geldig is met ast.parse.
Genereert een UserErrorException als de validatie mislukt.
validation_script_content()
Uitzonderingen
Feedback
https://aka.ms/ContentUserFeedback.
Binnenkort beschikbaar: In de loop van 2024 zullen we GitHub-problemen geleidelijk uitfaseren als het feedbackmechanisme voor inhoud en deze vervangen door een nieuw feedbacksysteem. Zie voor meer informatie:Feedback verzenden en weergeven voor