InferenceConfig Klasse

Stellt Konfigurationseinstellungen für eine benutzerdefinierte Umgebung dar, die für die Bereitstellung verwendet wird.

Die Rückschlusskonfiguration ist ein Eingabeparameter für Aktionen, die mit Model-Bereitstellungen im Zusammenhang stehen.

Initialisieren Sie das Config-Objekt.

Vererbung
builtins.object
InferenceConfig

Konstruktor

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Parameter

entry_script
str
Erforderlich

Pfad zu einer lokalen Datei, die den Code zum Ausführen für das Image enthält.

runtime
str
Standardwert: None

Die für das Image zu verwendende Runtime. Aktuelle unterstützte Runtimes sind „spark-py“ und „python“.

conda_file
str
Standardwert: None

Pfad zur lokalen Datei, die eine für das Image zu verwendende Conda-Umgebungsdefinition enthält.

extra_docker_file_steps
str
Standardwert: None

Der Pfad zu einer lokalen Datei mit zusätzlichen Docker-Schritten, die bei der Einrichtung des Images ausgeführt werden.

source_directory
str
Standardwert: None

Der Pfad zu dem Ordner, die alle Dateien zum Erstellen des Images enthalten.

enable_gpu
bool
Standardwert: None

Gibt an, ob die GPU-Unterstützung im Image aktiviert werden soll. Das GPU-Image muss in Microsoft Azure-Diensten wie Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines und Azure Kubernetes Service verwendet werden. Der Standardwert lautet „False“.

description
str
Standardwert: None

Eine Beschreibung, die diesem Image zugeordnet werden soll.

base_image
str
Standardwert: None

Ein benutzerdefiniertes Image, das als Basisimage verwendet werden soll. Wenn kein Basisimage angegeben wird, dann wird das Basisimage basierend auf dem angegebenen Laufzeitparameter verwendet.

base_image_registry
ContainerRegistry
Standardwert: None

Die Imageregistrierung, die das Basisimage enthält.

cuda_version
str
Standardwert: None

Die CUDA-Version, die für Images installiert wird, die GPU-Unterstützung benötigen. Das GPU-Image muss in Microsoft Azure-Diensten wie Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines und Azure Kubernetes Service verwendet werden. Unterstützt werden die Versionen 9.0, 9.1 und 10.0. Wenn enable_gpu festgelegt ist, ist der Standardwert 9.1.

environment
Environment
Standardwert: None

Ein für die Bereitstellung zu verwendendes Umgebungsobjekt. Die Umgebung muss nicht registriert werden.

Geben Sie entweder diesen Parameter oder die anderen Parameter an, aber nicht beide. Die einzelnen Parameter dienen NICHT als Überschreibung für das Umgebungsobjekt. Ausnahmen sind entry_script, source_directoryund description.

entry_script
str
Erforderlich

Pfad zu einer lokalen Datei, die den Code zum Ausführen für das Image enthält.

runtime
str
Erforderlich

Die für das Image zu verwendende Runtime. Aktuelle unterstützte Runtimes sind „spark-py“ und „python“.

conda_file
str
Erforderlich

Pfad zur lokalen Datei, die eine für das Image zu verwendende Conda-Umgebungsdefinition enthält.

extra_docker_file_steps
str
Erforderlich

Der Pfad zu einer lokalen Datei mit zusätzlichen Docker-Schritten, die bei der Einrichtung des Images ausgeführt werden.

source_directory
str
Erforderlich

Der Pfad zu dem Ordner, die alle Dateien zum Erstellen des Images enthalten.

enable_gpu
bool
Erforderlich

Gibt an, ob die GPU-Unterstützung im Image aktiviert werden soll. Das GPU-Image muss in Microsoft Azure-Diensten wie Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines und Azure Kubernetes Service verwendet werden. Der Standardwert lautet „False“.

description
str
Erforderlich

Eine Beschreibung, die diesem Image zugeordnet werden soll.

base_image
str
Erforderlich

Ein benutzerdefiniertes Image, das als Basisimage verwendet werden soll. Wenn kein Basisimage angegeben wird, dann wird das Basisimage basierend auf dem angegebenen Laufzeitparameter verwendet.

base_image_registry
ContainerRegistry
Erforderlich

Die Imageregistrierung, die das Basisimage enthält.

cuda_version
str
Erforderlich

Die CUDA-Version, die für Images installiert wird, die GPU-Unterstützung benötigen. Das GPU-Image muss in Microsoft Azure-Diensten wie Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines und Azure Kubernetes Service verwendet werden. Unterstützt werden die Versionen 9.0, 9.1 und 10.0. Wenn enable_gpu festgelegt ist, ist der Standardwert 9.1.

environment
Environment
Erforderlich

Ein für die Bereitstellung zu verwendendes Umgebungsobjekt. Die Umgebung muss nicht registriert werden.

Geben Sie entweder diesen Parameter oder die anderen Parameter an, aber nicht beide. Die einzelnen Parameter dienen NICHT als Überschreibung für das Umgebungsobjekt. Ausnahmen sind entry_script, source_directoryund description.

Hinweise

Das folgende Beispiel zeigt, wie Sie ein InferenceConfig-Objekt erstellen und zum Bereitstellen eines Modells verwenden.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Variablen

entry_script
str

Pfad zu einer lokalen Datei, die den Code zum Ausführen für das Image enthält.

runtime
str

Die für das Image zu verwendende Runtime. Aktuelle unterstützte Runtimes sind „spark-py“ und „python“.

conda_file
str

Pfad zur lokalen Datei, die eine für das Image zu verwendende Conda-Umgebungsdefinition enthält.

extra_docker_file_steps
str

Der Pfad zu einer lokalen Datei mit zusätzlichen Docker-Schritten, die bei der Einrichtung des Images ausgeführt werden.

source_directory
str

Der Pfad zu dem Ordner, die alle Dateien zum Erstellen des Images enthalten.

enable_gpu
bool

Gibt an, ob die GPU-Unterstützung im Image aktiviert werden soll. Das GPU-Image muss in Microsoft Azure-Diensten wie Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines und Azure Kubernetes Service verwendet werden.

azureml.core.model.InferenceConfig.description

Eine Beschreibung, die diesem Image zugeordnet werden soll.

base_image
str

Ein benutzerdefiniertes Image, das als Basisimage verwendet werden soll. Wenn kein Basisimage angegeben wird, dann wird das Basisimage basierend auf dem angegebenen Laufzeitparameter verwendet.

base_image_registry
ContainerRegistry

Die Imageregistrierung, die das Basisimage enthält.

cuda_version
str

Die CUDA-Version, die für Images installiert wird, die GPU-Unterstützung benötigen. Das GPU-Image muss in Microsoft Azure-Diensten wie Azure Container Instances, Azure Machine Learning Compute, Azure Virtual Machines und Azure Kubernetes Service verwendet werden. Unterstützt werden die Versionen 9.0, 9.1 und 10.0. Wenn enable_gpu festgelegt ist, ist der Standardwert 9.1.

azureml.core.model.InferenceConfig.environment

Ein für die Bereitstellung zu verwendendes Umgebungsobjekt. Die Umgebung muss nicht registriert werden.

Geben Sie entweder diesen Parameter oder die anderen Parameter an, aber nicht beide. Die einzelnen Parameter dienen NICHT als Überschreibung für das Umgebungsobjekt. Ausnahmen sind entry_script, source_directoryund description.

Methoden

build_create_payload

Erstellen Sie die Nutzdaten für die Erstellung für das Containerimage.

build_profile_payload

Erstellen Sie die Profilerstellungs-Nutzdaten für das Modellpaket.

validate_configuration

Überprüft, ob die angegebenen Konfigurationswerte gültig sind.

Löst eine WebserviceException aus, wenn die Überprüfung zu einem Fehler führt.

validation_script_content

Überprüfen mit „ast.parse“, ob die Syntax des Bewertungsskripts gültig ist.

Löst eine UserErrorException aus, wenn die Überprüfung zu einem Fehler führt.

build_create_payload

Erstellen Sie die Nutzdaten für die Erstellung für das Containerimage.

build_create_payload(workspace, name, model_ids)

Parameter

workspace
Workspace
Erforderlich

Das Arbeitsbereichsobjekt, in dem das Image erstellt werden soll.

name
str
Erforderlich

Der Name des Bildes.

model_ids
list[str]
Erforderlich

Eine Liste der Modell-IDs, die in das Image gepackt werden sollen.

Gibt zurück

Die Nutzdaten für die Erstellung des Containerimages.

Rückgabetyp

Ausnahmen

build_profile_payload

Erstellen Sie die Profilerstellungs-Nutzdaten für das Modellpaket.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Parameter

profile_name
str
Erforderlich

Der Name der Profilerstellungsausführung.

input_data
str
Standardwert: None

Die Eingabedaten für die Profilerstellung.

workspace
Workspace
Standardwert: None

Ein Arbeitsbereichsobjekt, in dem ein Profil für das Modell erstellt werden soll.

models
list[Model]
Standardwert: None

Eine Liste mit Modellobjekten. Die Liste kann leer sein.

dataset_id
str
Standardwert: None

ID, die dem Dataset zugeordnet ist, das Eingabedaten für die Profilerstellung enthält.

container_resource_requirements
ContainerResourceRequirements
Standardwert: None

Containerressourcenanforderungen für die größte Instanz, für die das Modell bereitgestellt werden soll

description
str
Standardwert: None

Eine Beschreibung, die der Profilerstellungsausführung zugeordnet werden soll.

Gibt zurück

Nutzdaten des Modellprofils

Rückgabetyp

Ausnahmen

validate_configuration

Überprüft, ob die angegebenen Konfigurationswerte gültig sind.

Löst eine WebserviceException aus, wenn die Überprüfung zu einem Fehler führt.

validate_configuration()

Ausnahmen

validation_script_content

Überprüfen mit „ast.parse“, ob die Syntax des Bewertungsskripts gültig ist.

Löst eine UserErrorException aus, wenn die Überprüfung zu einem Fehler führt.

validation_script_content()

Ausnahmen