azure.ai.ml package

Crea un oggetto Command che può essere usato all'interno di una funzione dsl.pipeline o usato come processo command autonomo.

command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command

Parametri

name: Optional[str]

Nome del processo o del componente Command.

description: Optional[str]

Descrizione del comando. Il valore predefinito è Nessuno.

tags: Optional[dict[str, str]]

Dizionario tag. I tag possono essere aggiunti, rimossi e aggiornati. Il valore predefinito è Nessuno.

properties: Optional[dict[str, str]]

Dizionario delle proprietà del processo. Il valore predefinito è Nessuno.

display_name: Optional[str]

Nome visualizzato del processo. L'impostazione predefinita è un nome generato in modo casuale.

command: Optional[str]

Comando da eseguire. Il valore predefinito è Nessuno.

experiment_name: Optional[str]

Nome dell'esperimento in cui verrà creato il processo. L'impostazione predefinita è il nome della directory corrente.

environment: Optional[Union[str, Environment]]

Ambiente in cui verrà eseguito il processo.

environment_variables: Optional[dict[str, str]]

Dizionario di nomi e valori di variabili di ambiente. Queste variabili di ambiente vengono impostate nel processo in cui viene eseguito lo script utente. Il valore predefinito è Nessuno.

distribution: Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]

Configurazione per i processi distribuiti. Il valore predefinito è Nessuno.

compute: Optional[str]

La destinazione di calcolo in cui verrà eseguito il processo. L'impostazione predefinita è il calcolo predefinito.

inputs: Optional[dict[str, Union[Input, str, bool, int, float, <xref:Enum>]]]

Mapping dei nomi di input alle origini dati di input usate nel processo. Il valore predefinito è Nessuno.

outputs: Optional[dict[str, Union[str, Output]]]

Mapping dei nomi di output alle origini dati di output usate nel processo. Il valore predefinito è Nessuno.

instance_count: Optional[int]

Numero di istanze o nodi da usare dalla destinazione di calcolo. Assume il valore predefinito 1.

instance_type: Optional[str]

Tipo di macchina virtuale da usare dalla destinazione di calcolo.

locations: Optional[list[str]]

Elenco di percorsi in cui verrà eseguito il processo.

docker_args: Optional[str]

Argomenti aggiuntivi da passare al comando docker run. Verrà eseguito l'override di tutti i parametri già impostati dal sistema o in questa sezione. Questo parametro è supportato solo per i tipi di calcolo di Azure ML. Il valore predefinito è Nessuno.

shm_size: Optional[str]

Dimensioni del blocco di memoria condivisa del contenitore Docker. Deve essere nel formato (numero)(unità) in cui il numero deve essere maggiore di 0 e l'unità può essere uno di b(byte), k(kilobyte), m(megabyte) o g(gigabyte).

timeout: Optional[int]

Numero, espresso in secondi, dopo il quale il processo verrà annullato.

code: Optional[Union[str, PathLike]]

Codice sorgente per eseguire il processo. Può essere un percorso locale o "http:", "https:" o l'URL "azureml:" che punta a una posizione remota.

identity: Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

Identità che verrà usata dal processo di comando durante l'esecuzione nel calcolo.

is_deterministic: bool

Specifica se il comando restituirà lo stesso output dato lo stesso input. Il valore predefinito è True. Se True, se un componente comando è deterministico ed è stato eseguito prima nell'area di lavoro corrente con le stesse impostazioni e input, riusa i risultati di un processo inviato in precedenza quando viene usato come nodo o passaggio in una pipeline. In questo scenario non verranno usate risorse di calcolo.

services: Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]

Servizi interattivi per il nodo. Il valore predefinito è Nessuno. Si tratta di un parametro sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.

job_tier: Optional[str]

Livello di processo. I valori accettati sono "Spot", "Basic", "Standard" o "Premium".

priority: Optional[str]

Priorità del processo nell'ambiente di calcolo. I valori accettati sono "low", "medium" e "high". Il valore predefinito è "medium".

Restituisce

Oggetto Command.

Tipo restituito

Command

Esempio

Creazione di un processo di comando usando il metodo del generatore command().


   from azure.ai.ml import Input, Output, command

   train_func = command(
       environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
       command='echo "hello world"',
       distribution={"type": "Pytorch", "process_count_per_instance": 2},
       inputs={
           "training_data": Input(type="uri_folder"),
           "max_epochs": 20,
           "learning_rate": 1.8,
           "learning_rate_schedule": "time-based",
       },
       outputs={"model_output": Output(type="uri_folder")},
   )

Costruire un oggetto distribuzione batch dal file yaml.

load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Origine yaml locale di un oggetto distribuzione batch. Deve essere un percorso di un file locale o un file già aperto. Se l'origine è un percorso, verrà aperta e letta. Se il file non esiste, viene generata un'eccezione. Se l'origine è un file aperto, il file verrà letto direttamente e verrà generata un'eccezione se il file non è leggibile.

relative_origin: str

Origine da usare per dedurre i percorsi relativi dei file a cui si fa riferimento nel yaml analizzato. L'impostazione predefinita è la directory dell'origine di input se si tratta di un input di file o percorso file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: List[Dict]

Campi da sovrascrivere sopra il file yaml. Il formato è [{"field1": "value1"}, {"field2": "value2"}]

Restituisce

Oggetto di distribuzione batch costruito.

Tipo restituito

BatchDeployment

Costruire un oggetto endpoint batch dal file yaml.

load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Origine yaml locale di un oggetto endpoint batch. Deve essere un percorso di un file locale o un file già aperto. Se l'origine è un percorso, verrà aperta e letta. Se il file non esiste, viene generata un'eccezione. Se l'origine è un file aperto, il file verrà letto direttamente e verrà generata un'eccezione se il file non è leggibile.

relative_origin: str

valore predefinito: None

Origine da usare per dedurre i percorsi relativi dei file a cui si fa riferimento nel yaml analizzato. L'impostazione predefinita è la directory dell'origine di input se si tratta di un input di file o percorso file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: List[Dict]

Campi da sovrascrivere sopra il file yaml. Il formato è [{"field1": "value1"}, {"field2": "value2"}]

Restituisce

Oggetto endpoint batch costruito.

Tipo restituito

BatchEndpoint

Caricare il componente da una funzione componente locale o remota.

load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

valore predefinito: None

Origine yaml locale di un componente. Deve essere un percorso di un file locale o un file già aperto. Se l'origine è un percorso, verrà aperta e letta. Se il file non esiste, viene generata un'eccezione. Se l'origine è un file aperto, il file verrà letto direttamente e verrà generata un'eccezione se il file non è leggibile.

relative_origin: str

Origine da usare per dedurre i percorsi relativi dei file a cui si fa riferimento nel yaml analizzato. L'impostazione predefinita è la directory dell'origine di input se si tratta di un input di file o percorso file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: List[Dict]

Campi da sovrascrivere sopra il file yaml. Il formato è [{"field1": "value1"}, {"field2": "value2"}]

Restituisce

Oggetto Component

Tipo restituito

Union[CommandComponent, ParallelComponent, PipelineComponent]

Esempio

Caricamento di un oggetto Component da un file YAML, override della relativa versione in "1.0.2" e registrazione remota.


   from azure.ai.ml import load_component

   component = load_component(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
       params_override=[{"version": "1.0.2"}],
   )
   registered_component = ml_client.components.create_or_update(component)

Creare un oggetto di calcolo da un file yaml.

load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Origine yaml locale di un ambiente di calcolo. Deve essere un percorso di un file locale o un file già aperto. Se l'origine è un percorso, verrà aperta e letta. Se il file non esiste, viene generata un'eccezione. Se l'origine è un file aperto, il file verrà letto direttamente e verrà generata un'eccezione se il file non è leggibile.

relative_origin: Optional[str]

Origine da usare per dedurre i percorsi relativi dei file a cui si fa riferimento nel yaml analizzato. L'impostazione predefinita è la directory dell'origine di input se si tratta di un input di file o percorso file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: Optional[List[Dict]]

Campi da sovrascrivere sopra il file yaml. Il formato è [{"field1": "value1"}, {"field2": "value2"}]

Restituisce

Oggetto di calcolo caricato.

Tipo restituito

Compute

Esempio

Caricamento di un oggetto Compute da un file YAML ed override della relativa descrizione.


   from azure.ai.ml import load_compute

   compute = load_compute(
       "../tests/test_configs/compute/compute-vm.yaml",
       params_override=[{"description": "loaded from compute-vm.yaml"}],
   )

Costruire un oggetto dati dal file yaml.

load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Origine yaml locale di un oggetto dati. Deve essere un percorso di un file locale o un file già aperto. Se l'origine è un percorso, verrà aperta e letta. Se il file non esiste, viene generata un'eccezione. Se l'origine è un file aperto, il file verrà letto direttamente e verrà generata un'eccezione se il file non è leggibile.

relative_origin: str

Origine da usare per dedurre i percorsi relativi dei file a cui si fa riferimento nel yaml analizzato. L'impostazione predefinita è la directory dell'origine di input se si tratta di un input di file o percorso file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: List[Dict]

Campi da sovrascrivere sopra il file yaml. Il formato è [{"field1": "value1"}, {"field2": "value2"}]

Restituisce

Oggetto Data o DataImport costruito.

Tipo restituito

Data

Eccezioni

ValidationException

Generato se i dati non possono essere convalidati correttamente. I dettagli verranno forniti nel messaggio di errore.

Creare un oggetto archivio dati da un file yaml.

load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Origine yaml locale di un archivio dati. Deve essere un percorso di un file locale o un file già aperto. Se l'origine è un percorso, verrà aperta e letta. Se il file non esiste, viene generata un'eccezione. Se l'origine è un file aperto, il file verrà letto direttamente e verrà generata un'eccezione se il file non è leggibile.

relative_origin: str

Origine da usare per dedurre i percorsi relativi dei file a cui si fa riferimento nel yaml analizzato. L'impostazione predefinita è la directory dell'origine di input se si tratta di un input di file o percorso file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: List[Dict]

Campi da sovrascrivere sopra il file yaml. Il formato è [{"field1": "value1"}, {"field2": "value2"}]

Restituisce

Oggetto archivio dati caricato.

Tipo restituito

Datastore

Eccezioni

ValidationException

Generato se l'archivio dati non può essere convalidato correttamente. I dettagli verranno forniti nel messaggio di errore.

Costruire un oggetto ambiente dal file yaml.

load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Origine yaml locale di un ambiente. Deve essere un percorso di un file locale o un file già aperto. Se l'origine è un percorso, verrà aperta e letta. Se il file non esiste, viene generata un'eccezione. Se l'origine è un file aperto, il file verrà letto direttamente e verrà generata un'eccezione se il file non è leggibile.

relative_origin: str

Origine da usare per dedurre i percorsi relativi dei file a cui si fa riferimento nel yaml analizzato. L'impostazione predefinita è la directory dell'origine di input se si tratta di un input di file o percorso file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: List[Dict]

Campi da sovrascrivere sopra il file yaml. Il formato è [{"field1": "value1"}, {"field2": "value2"}]

Restituisce

Oggetto ambiente costruito.

Tipo restituito

Environment

Eccezioni

ValidationException

Generato se l'ambiente non può essere convalidato correttamente. I dettagli verranno forniti nel messaggio di errore.

Costruisce un oggetto Job da un file YAML.

load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Percorso di un file YAML locale o di un oggetto file già aperto contenente una configurazione del processo. Se l'origine è un percorso, verrà aperta e letta. Se l'origine è un file aperto, il file verrà letto direttamente.

relative_origin: Optional[str]

Directory radice per YAML. Questa directory verrà usata come origine per dedurre i percorsi relativi dei file a cui si fa riferimento nel FILE YAML analizzato. L'impostazione predefinita è la stessa directory dell'origine se l'origine è un file o un input del percorso del file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: Optional[list[dict]]

Campi dei parametri per sovrascrivere i valori nel file YAML.

Restituisce

Oggetto Job caricato.

Tipo restituito

Job

Eccezioni

ValidationException

Generato se il processo non può essere convalidato correttamente. I dettagli verranno forniti nel messaggio di errore.

Esempio

Caricamento di un processo da un file di configurazione YAML.


   from azure.ai.ml import load_job

   job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")

Costruisce un oggetto Model da un file YAML.

load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Percorso di un file YAML locale o di un oggetto file già aperto contenente una configurazione del processo. Se l'origine è un percorso, verrà aperta e letta. Se l'origine è un file aperto, il file verrà letto direttamente.

relative_origin: Optional[str]

Directory radice per YAML. Questa directory verrà usata come origine per dedurre i percorsi relativi dei file a cui si fa riferimento nel FILE YAML analizzato. L'impostazione predefinita è la stessa directory dell'origine se l'origine è un file o un input del percorso del file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: Optional[list[dict]]

Campi dei parametri per sovrascrivere i valori nel file YAML.

Restituisce

Oggetto Model caricato.

Tipo restituito

Model

Eccezioni

ValidationException

Generato se il processo non può essere convalidato correttamente. I dettagli verranno forniti nel messaggio di errore.

Esempio

Caricamento di un modello da un file di configurazione YAML, override dei parametri nome e versione.


   from azure.ai.ml import load_model

   model = load_model(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
       params_override=[{"name": "new_model_name"}, {"version": "1"}],
   )

Nota

Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.

Costruisce un oggetto ModelPackage da un file YAML.

load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Percorso di un file YAML locale o di un oggetto file già aperto contenente una configurazione del processo. Se l'origine è un percorso, verrà aperta e letta. Se l'origine è un file aperto, il file verrà letto direttamente.

relative_origin: Optional[str]

Directory radice per YAML. Questa directory verrà usata come origine per dedurre i percorsi relativi dei file a cui si fa riferimento nel FILE YAML analizzato. L'impostazione predefinita è la stessa directory dell'origine se l'origine è un file o un input del percorso del file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: Optional[list[dict]]

Campi dei parametri per sovrascrivere i valori nel file YAML.

Restituisce

Oggetto ModelPackage caricato.

Tipo restituito

ModelPackage

Eccezioni

ValidationException

Generato se il processo non può essere convalidato correttamente. I dettagli verranno forniti nel messaggio di errore.

Esempio

Caricamento di un ModelPackage da un file di configurazione YAML.


   from azure.ai.ml import load_model_package

   model_package = load_model_package(
       "./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
   )

Costruire un oggetto di distribuzione online dal file yaml.

load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Origine yaml locale di un oggetto di distribuzione online. Deve essere un percorso di un file locale o un file già aperto. Se l'origine è un percorso, verrà aperta e letta. Se il file non esiste, viene generata un'eccezione. Se l'origine è un file aperto, il file verrà letto direttamente e verrà generata un'eccezione se il file non è leggibile.

relative_origin: str

Origine da usare per dedurre i percorsi relativi dei file a cui si fa riferimento nel yaml analizzato. L'impostazione predefinita è la directory dell'origine di input se si tratta di un input di file o percorso file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: List[Dict]

Campi da sovrascrivere sopra il file yaml. Il formato è [{"field1": "value1"}, {"field2": "value2"}]

Restituisce

Oggetto di distribuzione online costruito.

Tipo restituito

OnlineDeployment

Eccezioni

ValidationException

Generato se la distribuzione online non può essere convalidata correttamente. I dettagli verranno forniti nel messaggio di errore.

Costruire un oggetto endpoint online dal file yaml.

load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Origine yaml locale di un oggetto endpoint online. Deve essere un percorso di un file locale o un file già aperto. Se l'origine è un percorso, verrà aperta e letta. Se il file non esiste, viene generata un'eccezione. Se l'origine è un file aperto, il file verrà letto direttamente e verrà generata un'eccezione se il file non è leggibile.

relative_origin: str

Origine da usare per dedurre i percorsi relativi dei file a cui si fa riferimento nel yaml analizzato. L'impostazione predefinita è la directory dell'origine di input se si tratta di un input di file o percorso file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: List[Dict]

Campi da sovrascrivere sopra il file yaml. Il formato è [{"field1": "value1"}, {"field2": "value2"}]

Restituisce

Oggetto endpoint online costruito.

Tipo restituito

OnlineEndpoint

Eccezioni

ValidationException

Generato se l'endpoint online non può essere convalidato correttamente. I dettagli verranno forniti nel messaggio di errore.

Caricare un oggetto del Registro di sistema da un file yaml.

load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Origine yaml locale di un registro. Deve essere un percorso di un file locale o un file già aperto. Se l'origine è un percorso, verrà aperta e letta. Se il file non esiste, viene generata un'eccezione. Se l'origine è un file aperto, il file verrà letto direttamente e verrà generata un'eccezione se il file non è leggibile.

relative_origin: str

Origine da usare per dedurre i percorsi relativi dei file a cui si fa riferimento nel yaml analizzato. L'impostazione predefinita è la directory dell'origine di input se si tratta di un input di file o percorso file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: List[Dict]

Campi da sovrascrivere sopra il file yaml. Il formato è [{"field1": "value1"}, {"field2": "value2"}]

Restituisce

Oggetto registro caricato.

Tipo restituito

Registry

Caricare un oggetto area di lavoro da un file yaml.

load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Origine yaml locale di un'area di lavoro. Deve essere un percorso di un file locale o un file già aperto. Se l'origine è un percorso, verrà aperta e letta. Se il file non esiste, viene generata un'eccezione. Se l'origine è un file aperto, il file verrà letto direttamente e verrà generata un'eccezione se il file non è leggibile.

relative_origin: str

Origine da usare per dedurre i percorsi relativi dei file a cui si fa riferimento nel yaml analizzato. L'impostazione predefinita è la directory dell'origine di input se si tratta di un input di file o percorso file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: List[Dict]

Campi da sovrascrivere sopra il file yaml. Il formato è [{"field1": "value1"}, {"field2": "value2"}]

Restituisce

Oggetto area di lavoro caricato.

Tipo restituito

Workspace

Costruire un oggetto connessione dell'area di lavoro dal file yaml.

load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Origine yaml locale di un oggetto connessione dell'area di lavoro. Deve essere un percorso di un file locale o un file già aperto. Se l'origine è un percorso, verrà aperta e letta. Se il file non esiste, viene generata un'eccezione. Se l'origine è un file aperto, il file verrà letto direttamente e verrà generata un'eccezione se il file non è leggibile.

relative_origin: str

Origine da usare per dedurre i percorsi relativi dei file a cui si fa riferimento nel yaml analizzato. L'impostazione predefinita è la directory dell'origine di input se si tratta di un input di file o percorso file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: List[Dict]

Campi da sovrascrivere sopra il file yaml. Il formato è [{"field1": "value1"}, {"field2": "value2"}]

Restituisce

Oggetto connessione dell'area di lavoro costruito.

Tipo restituito

WorkspaceConnection

Nota

Si tratta di un metodo sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental.

Caricare un oggetto WorkspaceHub da un file YAML.

load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub

Parametri

source: Union[<xref:PathLike>, str, TextIOWrapper]

Necessario

Origine yaml locale di un oggetto WorkspaceHub. Deve essere un percorso di un file locale o un file già aperto. Se l'origine è un percorso, verrà aperta e letta. Se il file non esiste, viene generata un'eccezione. Se l'origine è un file aperto, il file verrà letto direttamente e verrà generata un'eccezione se il file non è leggibile.

relative_origin: str

Origine da usare per dedurre i percorsi relativi dei file a cui si fa riferimento nel yaml analizzato. L'impostazione predefinita è la directory dell'origine di input se si tratta di un input di file o percorso file. Il valore predefinito è "./" se l'origine è un input del flusso senza alcun valore name.

params_override: List[Dict]

Campi da sovrascrivere sopra il file yaml. Il formato è [{"field1": "value1"}, {"field2": "value2"}]

Restituisce

Oggetto WorkspaceHub caricato.

Tipo restituito

WorkspaceHub

Crea un oggetto Spark che può essere usato all'interno di una funzione dsl.pipeline o usato come processo Spark autonomo.

spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark

Parametri

experiment_name: Optional[str]

Nome dell'esperimento in cui verrà creato il processo.

name: Optional[str]

Nome del processo.

display_name: Optional[str]

Nome visualizzato del processo.

description: Optional[str]

Descrizione del processo. Il valore predefinito è Nessuno.

tags: Optional[dict[str, str]]

Dizionario dei tag per il processo. I tag possono essere aggiunti, rimossi e aggiornati. Il valore predefinito è Nessuno.

code

Codice sorgente per eseguire il processo. Può essere un percorso locale o "http:", "https:" o l'URL "azureml:" che punta a una posizione remota.

entry: Optional[Union[dict[str, str], SparkJobEntry]]

Punto di ingresso del file o della classe.

py_files: Optional[list[str]]

Elenco di file .zip, egg o py da inserire nelle app PYTHONPATH per Python. Il valore predefinito è Nessuno.

jars: Optional[list[str]]

Elenco di . File JAR da includere nei classpath del driver e dell'executor. Il valore predefinito è Nessuno.

files: Optional[list[str]]

Elenco di file da inserire nella directory di lavoro di ogni executor. Il valore predefinito è Nessuno.

archives: Optional[list[str]]

Elenco di archivi da estrarre nella directory di lavoro di ogni executor. Il valore predefinito è Nessuno.

identity: Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

Identità che verrà usata dal processo Spark durante l'esecuzione nel calcolo.

driver_cores: Optional[int]

Numero di core da usare per il processo del driver, solo in modalità cluster.

driver_memory: Optional[str]

Quantità di memoria da usare per il processo del driver, formattata come stringhe con suffisso di unità di dimensione ("k", "m", "g" o "t") (ad esempio "512m", "2g").

executor_cores: Optional[int]

Numero di core da usare in ogni executor.

executor_memory: Optional[str]

Quantità di memoria da usare per processo executor, formattata come stringhe con suffisso di unità di dimensione ("k", "m", "g" o "t") (ad esempio "512m", "2g").

executor_instances: Optional[int]

Numero iniziale di executor.

dynamic_allocation_enabled: Optional[bool]

Indica se usare l'allocazione dinamica delle risorse, che ridimensiona il numero di executor registrati con questa applicazione in base al carico di lavoro.

dynamic_allocation_min_executors: Optional[int]

Limite inferiore per il numero di executor se è abilitata l'allocazione dinamica.

dynamic_allocation_max_executors: Optional[int]

Limite superiore per il numero di executor se è abilitata l'allocazione dinamica.

conf: Optional[dict[str, str]]

Dizionario con chiave e valori di configurazione Spark predefiniti. Il valore predefinito è Nessuno.

environment: Optional[Union[str, Environment]]

Ambiente di Azure ML in cui eseguire il processo.

inputs: Optional[dict[str, Input]]

Mapping dei nomi di input ai dati di input usati nel processo. Il valore predefinito è Nessuno.

outputs: Optional[dict[str, Output]]

Mapping dei nomi di output ai dati di output usati nel processo. Il valore predefinito è Nessuno.

args: Optional[str]

Argomenti per il processo.

compute: Optional[str]

Risorsa di calcolo in cui viene eseguito il processo.

resources: Optional[Union[dict, SparkResourceConfiguration]]

Configurazione della risorsa di calcolo per il processo.

Restituisce

Oggetto Spark.

Tipo restituito

Spark

Esempio

Compilazione di una pipeline Spark con l'elemento Decorator della pipeline DSL


   from azure.ai.ml import Input, Output, dsl, spark
   from azure.ai.ml.constants import AssetTypes, InputOutputModes

   # define the spark task
   first_step = spark(
       code="/src",
       entry={"file": "add_greeting_column.py"},
       py_files=["utils.zip"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       args="--file_input ${{inputs.file_input}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   second_step = spark(
       code="/src",
       entry={"file": "count_by_row.py"},
       jars=["scala_project.jar"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
       args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   # Define pipeline
   @dsl.pipeline(description="submit a pipeline with spark job")
   def spark_pipeline_from_builder(data):
       add_greeting_column = first_step(file_input=data)
       count_by_row = second_step(file_input=data)
       return {"output": count_by_row.outputs.output}

   pipeline = spark_pipeline_from_builder(
       data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
   )

automl	Contiene classi di Machine Learning automatizzate per Azure Machine Learning SDKv2. Le aree principali includono la gestione delle attività AutoML.
constants	Questo pacchetto definisce le costanti usate in Azure Machine Learning SDKv2.
data_transfer
dsl
entities	Contiene entità e oggetti SDK per Azure Machine Learning SDKv2. Le aree principali includono la gestione delle destinazioni di calcolo, la creazione/gestione di aree di lavoro e processi e l'invio/accesso al modello, le esecuzioni e l'esecuzione di output/registrazione e così via.
identity	Contiene la configurazione delle identità per Azure Machine Learning SDKv2.
operations	Contiene operazioni supportate per Azure Machine Learning SDKv2. Le operazioni sono classi che contengono logica per interagire con i servizi back-end, in genere chiamate di operazioni generate automaticamente.
parallel
sweep

AmlTokenConfiguration	Configurazione dell'identità del token AzureML.
Input	Inizializzare un oggetto Input.
MLClient	Classe client per interagire con i servizi di Azure ML. Usare questo client per gestire le risorse di Azure ML, ad esempio aree di lavoro, processi, modelli e così via.
ManagedIdentityConfiguration	Configurazione delle credenziali dell'identità gestita.
MpiDistribution	Configurazione della distribuzione MPI.
Output
PyTorchDistribution	Configurazione della distribuzione di PyTorch.
RayDistribution	Nota Si tratta di una classe sperimentale e può cambiare in qualsiasi momento. Per altre informazioni, vedere https://aka.ms/azuremlexperimental. Configurazione della distribuzione ray.
TensorFlowDistribution	Configurazione della distribuzione tensorFlow.
UserIdentityConfiguration	Configurazione dell'identità utente.

Condividi tramite

ml Pacchetto

Pacchetti

Moduli

Classi

Funzioni

command

Parametri

Restituisce

Tipo restituito

Esempio

load_batch_deployment

Parametri

Restituisce

Tipo restituito

load_batch_endpoint

Parametri

Restituisce

Tipo restituito

load_component

Parametri

Restituisce

Tipo restituito

Esempio

load_compute

Parametri

Restituisce

Tipo restituito

Esempio

load_data

Parametri

Restituisce

Tipo restituito

Eccezioni

load_datastore

Parametri

Restituisce

Tipo restituito

Eccezioni

load_environment

Parametri

Restituisce

Tipo restituito

Eccezioni

load_job

Parametri

Restituisce

Tipo restituito

Eccezioni

Esempio

load_model

Parametri

Restituisce

Tipo restituito

Eccezioni

Esempio

load_model_package

Parametri

Restituisce

Tipo restituito

Eccezioni

Esempio

load_online_deployment

Parametri

Restituisce

Tipo restituito

Eccezioni

load_online_endpoint

Parametri

Restituisce

Tipo restituito

Eccezioni

load_registry

Parametri

Restituisce

Tipo restituito

load_workspace

Parametri

Restituisce

Tipo restituito