CLI-kommandojobb (v2) YAML-schema

GÄLLER FÖR: Azure CLI ml-tillägget v2 (aktuellt)

JSON-källschemat finns på https://azuremlschemas.azureedge.net/latest/commandJob.schema.json.

Kommentar

YAML-syntaxen som beskrivs i det här dokumentet baseras på JSON-schemat för den senaste versionen av ML CLI v2-tillägget. Den här syntaxen är garanterad att endast fungera med den senaste versionen av ML CLI v2-tillägget. Du hittar scheman för äldre tilläggsversioner på https://azuremlschemasprod.azureedge.net/.

YAML-syntax

Nyckel	Typ	Beskrivning	Tillåtna värden	Standardvärde
$schema	sträng	YAML-schemat. Om du använder Azure Machine Learning VS Code-tillägget för att skapa YAML-filen, inklusive $schema längst upp i filen, kan du anropa schema- och resursavslutningar.
type	Const	Typen av jobb.	command	command
name	sträng	Namnet på jobbet. Måste vara unikt för alla jobb på arbetsytan. Om det utelämnas skapar Azure Machine Learning automatiskt ett GUID för namnet.
display_name	sträng	Visningsnamn för jobbet i studiogränssnittet. Kan vara icke-substantiv i arbetsytan. Om detta utelämnas skapar Azure Machine Learning automatiskt en adjektiv-substantividentifierare som kan läsas av människor för visningsnamnet.
experiment_name	sträng	Experimentnamn för att organisera jobbet under. Varje jobbs körningspost ordnas under motsvarande experiment på studiofliken "Experiment". Om det utelämnas använder Azure Machine Learning som standard namnet på arbetskatalogen där jobbet skapades.
description	sträng	Beskrivning av jobbet.
tags	objekt	Ordlista med taggar för jobbet.
command	sträng	Kommandot som ska köras.
code	sträng	Lokal sökväg till källkodskatalogen som ska laddas upp och användas för jobbet.
environment	sträng eller objekt	Miljön som ska användas för jobbet. Kan vara antingen en referens till en befintlig version av miljön på arbetsytan eller en infogad miljöspecifikation. Om du vill referera till en befintlig miljö använder du syntaxen azureml:<environment_name>:<environment_version> eller azureml:<environment_name>@latest (för att referera till den senaste versionen av en miljö). Om du vill definiera en infogad miljö följer du miljöschemat. name Exkludera egenskaperna och version eftersom de inte stöds för infogade miljöer.
environment_variables	objekt	Ordlista över nyckel/värde-par för miljövariabler som ska anges i processen där kommandot körs.
distribution	objekt	Distributionskonfigurationen för distribuerade träningsscenarier. En av MpiConfiguration, PyTorchConfiguration eller TensorFlowConfiguration.
compute	sträng	Namnet på beräkningsmålet som jobbet ska köras på. Kan antingen vara en referens till en befintlig beräkning på arbetsytan (med hjälp av syntaxen azureml:<compute_name> ) eller local för att ange lokal körning. Obs! Jobb i pipelinen har inte stöd local förcompute		local
resources.instance_count	integer	Antalet noder som ska användas för jobbet.		1
resources.instance_type	sträng	Den instanstyp som ska användas för jobbet. Gäller för jobb som körs på Azure Arc-aktiverad Kubernetes-beräkning (där beräkningsmålet som anges i fältet compute är av type: kubernentes). Om det utelämnas är standardinstanstypen för Kubernetes-klustret standardtyp. Mer information finns i Skapa och välj Kubernetes-instanstyper.
resources.shm_size	sträng	Storleken på docker-containerns delade minnesblock. Bör vara i formatet <number><unit> där talet måste vara större än 0 och enheten kan vara en av b (byte), k (kilobyte), m (megabyte) eller g (gigabyte).		2g
limits.timeout	integer	Den maximala tiden i sekunder som jobbet tillåts köras. När den här gränsen har nåtts avbryter systemet jobbet.
inputs	objekt	Ordlista över indata till jobbet. Nyckeln är ett namn på indata i jobbets kontext och värdet är indatavärdet. Indata kan refereras i command med uttrycket ${{ inputs.<input_name> }} .
inputs.<input_name>	tal, heltal, booleskt värde, sträng eller objekt	Ett av ett literalvärde (av typnummer, heltal, booleskt värde eller sträng) eller ett objekt som innehåller en dataspecifikation för jobbindata.
outputs	objekt	Ordlista över utdatakonfigurationer för jobbet. Nyckeln är ett namn på utdata i jobbets kontext och värdet är utdatakonfigurationen. Utdata kan refereras i command med uttrycket ${{ outputs.<output_name> }} .
outputs.<output_name>	objekt	Du kan lämna objektet tomt, i vilket fall utdata som standard är av typen uri_folder och Azure Machine Learning genererar en utdataplats för utdata. Filer till utdatakatalogen skrivs via läs- och skrivmontering. Om du vill ange ett annat läge för utdata anger du ett objekt som innehåller jobbutdataspecifikationen.
identity	objekt	Identiteten används för dataåtkomst. Det kan vara UserIdentityConfiguration, ManagedIdentityConfiguration eller None. Om UserIdentityConfiguration används identiteten för jobbinskickare för att komma åt, mata in data och skriva resultat till utdatamappen, annars används den hanterade identiteten för beräkningsmålet.

Distributionskonfigurationer

MpiConfiguration

Nyckel	Typ	Beskrivning	Tillåtna värden
type	Const	Obligatoriskt. Distributionstyp.	mpi
process_count_per_instance	integer	Obligatoriskt. Antalet processer per nod som ska startas för jobbet.

PyTorchConfiguration

Nyckel	Typ	Beskrivning	Tillåtna värden	Standardvärde
type	Const	Obligatoriskt. Distributionstyp.	pytorch
process_count_per_instance	integer	Antalet processer per nod som ska startas för jobbet.		1

TensorFlowConfiguration

Nyckel	Typ	Beskrivning	Tillåtna värden	Standardvärde
type	Const	Obligatoriskt. Distributionstyp.	tensorflow
worker_count	integer	Antalet arbetare som ska startas för jobbet.		Standardvärdet är resources.instance_count.
parameter_server_count	integer	Antalet parameterservrar som ska startas för jobbet.		0

Jobbindata

Nyckel	Typ	Beskrivning	Tillåtna värden	Standardvärde
type	sträng	Typ av jobbindata. Ange uri_file för indata som pekar på en enda filkälla eller uri_folder för indata som pekar på en mappkälla.	uri_file, uri_folder, , mlflow_modelcustom_model	uri_folder
path	sträng	Sökvägen till de data som ska användas som indata. Kan anges på några sätt: – En lokal sökväg till datakällans fil eller mapp, till exempel path: ./iris.csv. Data laddas upp under jobböverföringen. – En URI för en molnsökväg till filen eller mappen som ska användas som indata. URI-typer som stöds är azureml, https, wasbs, abfss, adl. Mer information om hur du använder URI-format finns i azureml:// Core yaml-syntax. – En befintlig registrerad Azure Machine Learning-datatillgång som ska användas som indata. Om du vill referera till en registrerad datatillgång använder du syntaxen azureml:<data_name>:<data_version> eller azureml:<data_name>@latest (för att referera till den senaste versionen av den datatillgången), till exempel path: azureml:cifar10-data:1 eller path: azureml:cifar10-data@latest.
mode	sträng	Läge för hur data ska levereras till beräkningsmålet. För skrivskyddad montering (ro_mount) används data som en monteringssökväg. En mapp monteras som en mapp och en fil monteras som en fil. Azure Machine Learning löser indata till monteringssökvägen. För download läge laddas data ned till beräkningsmålet. Azure Machine Learning löser indata till den nedladdade sökvägen. Om du bara vill ha URL:en för lagringsplatsen för dataartefakterna i stället för att montera eller ladda ned själva data kan du använda direct läget. Det här läget skickar in URL:en för lagringsplatsen som jobbindata. I det här fallet är du helt ansvarig för att hantera autentiseringsuppgifter för att få åtkomst till lagringen. Lägena eval_mount och eval_download är unika för MLTable och monterar antingen data som en sökväg eller laddar ned data till beräkningsmålet. Mer information om lägen finns i Åtkomst till data i ett jobb	ro_mount, download, direct, , , eval_downloadeval_mount	ro_mount

Jobbutdata

Nyckel	Typ	Beskrivning	Tillåtna värden	Standardvärde
type	sträng	Typ av jobbutdata. För standardtypen uri_folder motsvarar utdata en mapp.	uri_folder, , mlflow_modelcustom_model	uri_folder
mode	sträng	Läge för hur utdatafiler levereras till mållagringen. För skrivskyddat monteringsläge (rw_mount) är utdatakatalogen en monterad katalog. För uppladdningsläge laddas de filer som skrivs upp i slutet av jobbet.	rw_mount, upload	rw_mount

Identitetskonfigurationer

UserIdentityConfiguration

Nyckel	Typ	Beskrivning	Tillåtna värden
type	Const	Obligatoriskt. Identitetstyp.	user_identity

ManagedIdentityConfiguration

Nyckel	Typ	Beskrivning	Tillåtna värden
type	Const	Obligatoriskt. Identitetstyp.	managed eller managed_identity

Kommentarer

Kommandot az ml job kan användas för att hantera Azure Machine Learning-jobb.

Exempel

Exempel är tillgängliga i GitHub-exempellagringsplatsen. Följande avsnitt visar några av exemplen.

YAML: hello world

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest

YAML: visningsnamn, experimentnamn, beskrivning och taggar

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world"
environment:
  image: library/python:latest
tags:
  hello: world
display_name: hello-world-example
experiment_name: hello-world-example
description: |
  # Azure Machine Learning "hello world" job

  This is a "hello world" job running in the cloud via Azure Machine Learning!

  ## Description

  Markdown is supported in the studio for job descriptions! You can edit the description there or via CLI.

YAML: miljövariabler

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo $hello_env_var
environment:
  image: library/python:latest
environment_variables:
  hello_env_var: "hello world"

YAML: källkod

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: ls
code: src
environment:
  image: library/python:latest

YAML: literala indata

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: |
  echo ${{inputs.hello_string}}
  echo ${{inputs.hello_number}}
environment:
  image: library/python:latest
inputs:
  hello_string: "hello world"
  hello_number: 42

YAML: skriv till standardutdata

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world" > ./outputs/helloworld.txt
environment:
  image: library/python:latest

YAML: skriv till namngivna datautdata

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: echo "hello world" > ${{outputs.hello_output}}/helloworld.txt
outputs:
  hello_output:
environment:
  image: python

YAML: URI-filindata för datalager

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: |
  echo "--iris-csv: ${{inputs.iris_csv}}"
  python hello-iris.py --iris-csv ${{inputs.iris_csv}}
code: src
inputs:
  iris_csv:
    type: uri_file 
    path: azureml://datastores/workspaceblobstore/paths/example-data/iris.csv
environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest

YAML: URI-mappindata för datalager

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: |
  ls ${{inputs.data_dir}}
  echo "--iris-csv: ${{inputs.data_dir}}/iris.csv"
  python hello-iris.py --iris-csv ${{inputs.data_dir}}/iris.csv
code: src
inputs:
  data_dir:
    type: uri_folder 
    path: azureml://datastores/workspaceblobstore/paths/example-data/
environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest

YAML: URI-filindata

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: |
  echo "--iris-csv: ${{inputs.iris_csv}}"
  python hello-iris.py --iris-csv ${{inputs.iris_csv}}
code: src
inputs:
  iris_csv:
    type: uri_file 
    path: https://azuremlexamples.blob.core.windows.net/datasets/iris.csv
environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest

YAML: URI-mappindata

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: |
  ls ${{inputs.data_dir}}
  echo "--iris-csv: ${{inputs.data_dir}}/iris.csv"
  python hello-iris.py --iris-csv ${{inputs.data_dir}}/iris.csv
code: src
inputs:
  data_dir:
    type: uri_folder 
    path: wasbs://datasets@azuremlexamples.blob.core.windows.net/
environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest

YAML: Notebook via pappersverk

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: |
  pip install ipykernel papermill
  papermill hello-notebook.ipynb outputs/out.ipynb -k python
code: src
environment:
  image: library/python:3.11.6

YAML: grundläggande Python-modellträning

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
code: src
command: >-
  python main.py 
  --iris-csv ${{inputs.iris_csv}}
  --C ${{inputs.C}}
  --kernel ${{inputs.kernel}}
  --coef0 ${{inputs.coef0}}
inputs:
  iris_csv: 
    type: uri_file
    path: wasbs://datasets@azuremlexamples.blob.core.windows.net/iris.csv
  C: 0.8
  kernel: "rbf"
  coef0: 0.1
environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest
compute: azureml:cpu-cluster
display_name: sklearn-iris-example
experiment_name: sklearn-iris-example
description: Train a scikit-learn SVM on the Iris dataset.

YAML: grundläggande R-modellträning med lokal Docker-byggkontext

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
command: >
  Rscript train.R 
  --data_folder ${{inputs.iris}}
code: src
inputs:
  iris: 
    type: uri_file
    path: https://azuremlexamples.blob.core.windows.net/datasets/iris.csv
environment:
  build:
    path: docker-context
compute: azureml:cpu-cluster
display_name: r-iris-example
experiment_name: r-iris-example
description: Train an R model on the Iris dataset.

YAML: distribuerad PyTorch

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
code: src
command: >-
  python train.py
  --epochs ${{inputs.epochs}}
  --learning-rate ${{inputs.learning_rate}}
  --data-dir ${{inputs.cifar}}
inputs:
  epochs: 1
  learning_rate: 0.2
  cifar:
     type: uri_folder
     path: azureml:cifar-10-example@latest
environment: azureml:AzureML-acpt-pytorch-2.2-cuda12.1@latest
compute: azureml:gpu-cluster
distribution:
  type: pytorch
  process_count_per_instance: 1
resources:
  instance_count: 2
display_name: pytorch-cifar-distributed-example
experiment_name: pytorch-cifar-distributed-example
description: Train a basic convolutional neural network (CNN) with PyTorch on the CIFAR-10 dataset, distributed via PyTorch.

YAML: distribuerat TensorFlow

$schema: https://azuremlschemas.azureedge.net/latest/commandJob.schema.json
code: src
command: >-
  python train.py
  --epochs ${{inputs.epochs}}
  --model-dir ${{inputs.model_dir}}
inputs:
  epochs: 1
  model_dir: outputs/keras-model
environment: azureml:AzureML-tensorflow-2.16-cuda12@latest
compute: azureml:gpu-cluster
resources:
  instance_count: 2
distribution:
  type: tensorflow
  worker_count: 2
display_name: tensorflow-mnist-distributed-example
experiment_name: tensorflow-mnist-distributed-example
description: Train a basic neural network with TensorFlow on the MNIST dataset, distributed via TensorFlow.

Nästa steg

• Installera och använda CLI (v2)