InferenceConfig Klasse
Stellt Konfigurationseinstellungen für eine benutzerdefinierte Umgebung dar, die für die Bereitstellung verwendet wird.
Die Rückschlusskonfiguration ist ein Eingabeparameter für Aktionen, die mit Model-Bereitstellungen im Zusammenhang stehen.
Initialisieren Sie das Config-Objekt.
- Vererbung
-
builtins.objectInferenceConfig
Konstruktor
InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)
Parameter
- entry_script
- str
Pfad zu einer lokalen Datei, die den Code zum Ausführen für das Image enthält.
- runtime
- str
Die für das Image zu verwendende Runtime. Aktuelle unterstützte Runtimes sind „spark-py“ und „python“.
- conda_file
- str
Pfad zur lokalen Datei, die eine für das Image zu verwendende Conda-Umgebungsdefinition enthält.
- extra_docker_file_steps
- str
Der Pfad zu einer lokalen Datei mit zusätzlichen Docker-Schritten, die bei der Einrichtung des Images ausgeführt werden.
- source_directory
- str
Der Pfad zu dem Ordner, die alle Dateien zum Erstellen des Images enthalten.
- enable_gpu
- bool
Gibt an, ob die GPU-Unterstützung im Image aktiviert werden soll. Das GPU-Image muss in Microsoft Azure-Diensten wie Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines und Azure Kubernetes Service verwendet werden. Der Standardwert lautet „False“.
- base_image
- str
Ein benutzerdefiniertes Image, das als Basisimage verwendet werden soll. Wenn kein Basisimage angegeben wird, dann wird das Basisimage basierend auf dem angegebenen Laufzeitparameter verwendet.
- base_image_registry
- ContainerRegistry
Die Imageregistrierung, die das Basisimage enthält.
- cuda_version
- str
Die CUDA-Version, die für Images installiert wird, die GPU-Unterstützung benötigen. Das GPU-Image muss in Microsoft Azure-Diensten wie Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines und Azure Kubernetes Service verwendet werden. Unterstützt werden die Versionen 9.0, 9.1 und 10.0.
Wenn enable_gpu
festgelegt ist, ist der Standardwert 9.1.
- environment
- Environment
Ein für die Bereitstellung zu verwendendes Umgebungsobjekt. Die Umgebung muss nicht registriert werden.
Geben Sie entweder diesen Parameter oder die anderen Parameter an, aber nicht beide. Die einzelnen Parameter dienen NICHT als Überschreibung für das Umgebungsobjekt. Ausnahmen sind entry_script
, source_directory
und description
.
- entry_script
- str
Pfad zu einer lokalen Datei, die den Code zum Ausführen für das Image enthält.
- runtime
- str
Die für das Image zu verwendende Runtime. Aktuelle unterstützte Runtimes sind „spark-py“ und „python“.
- conda_file
- str
Pfad zur lokalen Datei, die eine für das Image zu verwendende Conda-Umgebungsdefinition enthält.
- extra_docker_file_steps
- str
Der Pfad zu einer lokalen Datei mit zusätzlichen Docker-Schritten, die bei der Einrichtung des Images ausgeführt werden.
- source_directory
- str
Der Pfad zu dem Ordner, die alle Dateien zum Erstellen des Images enthalten.
- enable_gpu
- bool
Gibt an, ob die GPU-Unterstützung im Image aktiviert werden soll. Das GPU-Image muss in Microsoft Azure-Diensten wie Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines und Azure Kubernetes Service verwendet werden. Der Standardwert lautet „False“.
- base_image
- str
Ein benutzerdefiniertes Image, das als Basisimage verwendet werden soll. Wenn kein Basisimage angegeben wird, dann wird das Basisimage basierend auf dem angegebenen Laufzeitparameter verwendet.
- base_image_registry
- ContainerRegistry
Die Imageregistrierung, die das Basisimage enthält.
- cuda_version
- str
Die CUDA-Version, die für Images installiert wird, die GPU-Unterstützung benötigen. Das GPU-Image muss in Microsoft Azure-Diensten wie Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines und Azure Kubernetes Service verwendet werden. Unterstützt werden die Versionen 9.0, 9.1 und 10.0.
Wenn enable_gpu
festgelegt ist, ist der Standardwert 9.1.
- environment
- Environment
Ein für die Bereitstellung zu verwendendes Umgebungsobjekt. Die Umgebung muss nicht registriert werden.
Geben Sie entweder diesen Parameter oder die anderen Parameter an, aber nicht beide. Die einzelnen Parameter dienen NICHT als Überschreibung für das Umgebungsobjekt. Ausnahmen sind entry_script
, source_directory
und description
.
Hinweise
Das folgende Beispiel zeigt, wie Sie ein InferenceConfig-Objekt erstellen und zum Bereitstellen eines Modells verwenden.
from azureml.core.model import InferenceConfig
from azureml.core.webservice import AciWebservice
service_name = 'my-custom-env-service'
inference_config = InferenceConfig(entry_script='score.py', environment=environment)
aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)
service = Model.deploy(workspace=ws,
name=service_name,
models=[model],
inference_config=inference_config,
deployment_config=aci_config,
overwrite=True)
service.wait_for_deployment(show_output=True)
Variablen
- entry_script
- str
Pfad zu einer lokalen Datei, die den Code zum Ausführen für das Image enthält.
- runtime
- str
Die für das Image zu verwendende Runtime. Aktuelle unterstützte Runtimes sind „spark-py“ und „python“.
- conda_file
- str
Pfad zur lokalen Datei, die eine für das Image zu verwendende Conda-Umgebungsdefinition enthält.
- extra_docker_file_steps
- str
Der Pfad zu einer lokalen Datei mit zusätzlichen Docker-Schritten, die bei der Einrichtung des Images ausgeführt werden.
- source_directory
- str
Der Pfad zu dem Ordner, die alle Dateien zum Erstellen des Images enthalten.
- enable_gpu
- bool
Gibt an, ob die GPU-Unterstützung im Image aktiviert werden soll. Das GPU-Image muss in Microsoft Azure-Diensten wie Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines und Azure Kubernetes Service verwendet werden.
- azureml.core.model.InferenceConfig.description
Eine Beschreibung, die diesem Image zugeordnet werden soll.
- base_image
- str
Ein benutzerdefiniertes Image, das als Basisimage verwendet werden soll. Wenn kein Basisimage angegeben wird, dann wird das Basisimage basierend auf dem angegebenen Laufzeitparameter verwendet.
- base_image_registry
- ContainerRegistry
Die Imageregistrierung, die das Basisimage enthält.
- cuda_version
- str
Die CUDA-Version, die für Images installiert wird, die GPU-Unterstützung benötigen. Das GPU-Image muss in Microsoft Azure-Diensten wie Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines und Azure Kubernetes Service verwendet werden. Unterstützt werden die Versionen 9.0, 9.1 und 10.0.
Wenn enable_gpu
festgelegt ist, ist der Standardwert 9.1.
- azureml.core.model.InferenceConfig.environment
Ein für die Bereitstellung zu verwendendes Umgebungsobjekt. Die Umgebung muss nicht registriert werden.
Geben Sie entweder diesen Parameter oder die anderen Parameter an, aber nicht beide. Die einzelnen Parameter dienen NICHT als Überschreibung für das Umgebungsobjekt. Ausnahmen sind entry_script
, source_directory
und description
.
Methoden
build_create_payload |
Erstellen Sie die Nutzdaten für die Erstellung für das Containerimage. |
build_profile_payload |
Erstellen Sie die Profilerstellungs-Nutzdaten für das Modellpaket. |
validate_configuration |
Überprüft, ob die angegebenen Konfigurationswerte gültig sind. Löst eine WebserviceException aus, wenn die Überprüfung zu einem Fehler führt. |
validation_script_content |
Überprüfen mit „ast.parse“, ob die Syntax des Bewertungsskripts gültig ist. Löst eine UserErrorException aus, wenn die Überprüfung zu einem Fehler führt. |
build_create_payload
Erstellen Sie die Nutzdaten für die Erstellung für das Containerimage.
build_create_payload(workspace, name, model_ids)
Parameter
Gibt zurück
Die Nutzdaten für die Erstellung des Containerimages.
Rückgabetyp
Ausnahmen
build_profile_payload
Erstellen Sie die Profilerstellungs-Nutzdaten für das Modellpaket.
build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)
Parameter
- workspace
- Workspace
Ein Arbeitsbereichsobjekt, in dem ein Profil für das Modell erstellt werden soll.
- dataset_id
- str
ID, die dem Dataset zugeordnet ist, das Eingabedaten für die Profilerstellung enthält.
- container_resource_requirements
- ContainerResourceRequirements
Containerressourcenanforderungen für die größte Instanz, für die das Modell bereitgestellt werden soll
- description
- str
Eine Beschreibung, die der Profilerstellungsausführung zugeordnet werden soll.
Gibt zurück
Nutzdaten des Modellprofils
Rückgabetyp
Ausnahmen
validate_configuration
Überprüft, ob die angegebenen Konfigurationswerte gültig sind.
Löst eine WebserviceException aus, wenn die Überprüfung zu einem Fehler führt.
validate_configuration()
Ausnahmen
validation_script_content
Überprüfen mit „ast.parse“, ob die Syntax des Bewertungsskripts gültig ist.
Löst eine UserErrorException aus, wenn die Überprüfung zu einem Fehler führt.
validation_script_content()
Ausnahmen
Feedback
https://aka.ms/ContentUserFeedback.
Bald verfügbar: Im Laufe des Jahres 2024 werden wir GitHub-Tickets als Feedbackmechanismus für Inhalte auslaufen lassen und es durch ein neues Feedbacksystem ersetzen. Weitere Informationen finden Sie unter:Feedback senden und anzeigen für