Schéma YAML s podporou Azure Arc (v2) online nasazení YAML s podporou Azure Arc

PLATÍ PRO:Rozšíření Azure CLI ml v2 (aktuální)

Zdrojové schéma JSON najdete na adrese https://azuremlschemas.azureedge.net/latest/kubernetesOnlineDeployment.schema.json.

Poznámka

Syntaxe YAML podrobná v tomto dokumentu je založená na schématu JSON pro nejnovější verzi rozšíření ML CLI v2. Tato syntaxe je zaručená pouze pro práci s nejnovější verzí rozšíření ML CLI v2. Schémata pro starší verze rozšíření najdete na adrese https://azuremlschemasprod.azureedge.net/.

Syntaxe YAML

Klíč Typ Description Povolené hodnoty Výchozí hodnota
$schema řetězec Schéma YAML. Pokud k vytvoření souboru YAML použijete rozšíření Azure Machine Learning VS Code, včetně $schema horní části souboru, můžete vyvolat schéma a dokončování prostředků.
name řetězec Povinná hodnota. Název nasazení.

Tady jsou definována pravidla pojmenování.
description řetězec Popis nasazení
tags object Slovník značek pro nasazení
endpoint_name řetězec Povinná hodnota. Název koncového bodu pro vytvoření nasazení v části
model řetězec nebo objekt Model, který se má použít pro nasazení. Tato hodnota může být odkazem na existující model verze v pracovním prostoru nebo na specifikaci vloženého modelu.

Pokud chcete odkazovat na existující model, použijte azureml:<model-name>:<model-version> syntaxi.

Pokud chcete definovat vložený model, postupujte podle schématu modelu.

Osvědčeným postupem pro produkční scénáře byste měli model vytvořit samostatně a odkazovat na něj tady.

Toto pole je volitelné pro vlastní scénáře nasazení kontejnerů .
model_mount_path řetězec Cesta k připojení modelu do vlastního kontejneru Platí jenom pro vlastní scénáře nasazení kontejnerů . model Pokud je pole zadané, připojí se k této cestě v kontejneru.
code_configuration object Konfigurace pro logiku bodování kódu

Toto pole je volitelné pro vlastní scénáře nasazení kontejnerů .
code_configuration.code řetězec Místní cesta k adresáři zdrojového kódu pro bodování modelu
code_configuration.scoring_script řetězec Relativní cesta k souboru bodování ve zdrojovém adresáři kódu
environment_variables object Slovník párů klíč-hodnota proměnné prostředí, které se mají nastavit v kontejneru nasazení. K těmto proměnným prostředí můžete přistupovat ze skriptů bodování.
environment řetězec nebo objekt Povinná hodnota. Prostředí, které se má použít pro nasazení. Tato hodnota může být odkazem na existující verze prostředí v pracovním prostoru nebo specifikaci vloženého prostředí.

Pokud chcete odkazovat na existující prostředí, použijte azureml:<environment-name>:<environment-version> syntaxi.

Pokud chcete definovat vložené prostředí, postupujte podle schématu prostředí.

Osvědčeným postupem pro produkční scénáře byste měli vytvořit prostředí samostatně a odkazovat na něj zde.
instance_type řetězec Typ instance použitý k umístění úlohy odvození. Pokud je úloha odvozování vynechána, umístí se do výchozího typu instance clusteru Kubernetes zadaného v poli koncového compute bodu. Pokud je zadáno, úloha odvození se umístí na tento vybraný typ instance.

Sada typů instancí pro cluster Kubernetes se konfiguruje prostřednictvím vlastní definice prostředků clusteru Kubernetes (CRD), a proto nejsou součástí schématu YAML Azure ML pro připojení výpočetních prostředků Kubernetes. Další informace najdete v tématu Vytvoření a výběr typů instancí Kubernetes.
instance_count integer Počet instancí, které se mají použít pro nasazení Zadejte hodnotu na základě očekávané úlohy. Toto pole se vyžaduje jenom v případě, že používáte default typ škálování (scale_settings.type: default).

instance_count lze aktualizovat po vytvoření nasazení pomocí az ml online-deployment update příkazu.
app_insights_enabled boolean Jestli chcete povolit integraci s instancí Aplikace Azure Insights přidruženou k vašemu pracovnímu prostoru. false
scale_settings object Nastavení škálování pro nasazení Podporované dva typy nastavení škálování jsou default typ škálování a target_utilization typ škálování.

default Pomocí typu škálování (scale_settings.type: default) můžete po vytvoření nasazení ručně škálovat počet instancí nahoru a dolů tím, že vlastnost aktualizujeteinstance_count.

Pokud chcete nakonfigurovat target_utilization typ škálování (scale_settings.type: target_utilization), přečtěte si téma TargetUtilizationScaleSettings pro sadu konfigurovatelných vlastností.
scale_settings.type řetězec Typ měřítka. default, target_utilization target_utilization
request_settings object Nastavení žádosti o bodování pro nasazení Viz RequestSettings pro sadu konfigurovatelných vlastností.
liveness_probe object Nastavení sondy živé aktivity pro monitorování stavu kontejneru pravidelně. Viz ProbeSettings pro sadu konfigurovatelných vlastností.
readiness_probe object Nastavení sondy připravenosti pro ověřování, pokud je kontejner připravený k poskytování provozu. Viz ProbeSettings pro sadu konfigurovatelných vlastností.
resources object Požadavky na prostředky kontejneru
resources.requests object Požadavky na prostředky pro kontejner Viz ContainerResourceRequests pro sadu konfigurovatelných vlastností.
resources.limits object Omezení prostředků pro kontejner Viz ContainerResourceLimits pro sadu konfigurovatelných vlastností.

RequestSettings

Klíč Typ Description Výchozí hodnota
request_timeout_ms integer Časový limit skóre v milisekundách. 5000
max_concurrent_requests_per_instance integer Maximální počet souběžných požadavků na instanci povolenou pro nasazení.

Toto nastavení neměňte z výchozí hodnoty, pokud to neudělí technická podpora Microsoftu nebo člen týmu Azure ML.
1
max_queue_wait_ms integer Maximální doba v milisekundách zůstane požadavek ve frontě. 500

ProbeSettings

Klíč Typ Description Výchozí hodnota
period integer Jak často (v sekundách) se má sonda provést. 10
initial_delay integer Počet sekund po spuštění kontejneru před zahájením sondy. Minimální hodnota je 1. 10
timeout integer Počet sekund, po kterých vyprší časový limit sondy. Minimální hodnota je 1. 2
success_threshold integer Minimální po sobě jdoucí úspěch sondy, která se má považovat za úspěšnou po selhání. Minimální hodnota je 1. 1
failure_threshold integer Když se sonda nezdaří, systém zkusí failure_threshold časy, než se vzdá. V případě sondy živé aktivity se kontejner restartuje. V případě sondy připravenosti bude kontejner označen jako nepřečtený. Minimální hodnota je 1. 30

TargetUtilizationScaleSettings

Klíč Typ Description Výchozí hodnota
type const Typ škálování target_utilization
min_instances integer Minimální počet instancí, které se mají použít. 1
max_instances integer Maximální počet instancí, na které se má škálovat. 1
target_utilization_percentage integer Cílové využití procesoru pro automatické škálování 70
polling_interval integer Jak často se má automatické škálování pokusit o škálování nasazení během několika sekund. 1

ContainerResourceRequests

Klíč Typ Description
cpu řetězec Počet jader procesoru požadovaných pro kontejner
memory řetězec Požadovaná velikost paměti pro kontejner
nvidia.com/gpu řetězec Počet karet Nvidia GPU požadovaných pro kontejner

ContainerResourceLimits

Klíč Typ Description
cpu řetězec Limit počtu jader procesoru pro kontejner.
memory řetězec Limit velikosti paměti pro kontejner.
nvidia.com/gpu řetězec Limit počtu karet Nvidia GPU pro kontejner

Poznámky

Příkazy az ml online-deployment je možné použít ke správě online nasazení Kubernetes služby Azure Machine Learning.

Příklady

Příklady jsou k dispozici v příkladech v úložišti GitHub.

Další kroky