azure.ai.ml package

Cria um objeto Command que pode ser usado dentro de uma função dsl.pipeline ou usado como um trabalho de Comando autônomo.

command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command

Parâmetros

name: Optional[str]

O nome do trabalho ou componente Command.

description: Optional[str]

A descrição do Comando. Assume o valor padrão de Nenhum.

tags: Optional[dict[str, str]]

Dicionário de marcas. As marcas podem ser adicionadas, removidas e atualizadas. Assume o valor padrão de Nenhum.

properties: Optional[dict[str, str]]

O dicionário de propriedades do trabalho. Assume o valor padrão de Nenhum.

display_name: Optional[str]

O nome para exibição do trabalho. O padrão é um nome gerado aleatoriamente.

command: Optional[str]

O comando a ser executado. Assume o valor padrão de Nenhum.

experiment_name: Optional[str]

O nome do experimento no qual o trabalho será criado. O padrão é o nome do diretório atual.

environment: Optional[Union[str, Environment]]

O ambiente no qual o trabalho será executado.

environment_variables: Optional[dict[str, str]]

Um dicionário de nomes e valores de variáveis de ambiente. Essas variáveis de ambiente são definidas no processo em que o script do usuário está sendo executado. Assume o valor padrão de Nenhum.

distribution: Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]

A configuração para trabalhos distribuídos. Assume o valor padrão de Nenhum.

compute: Optional[str]

O destino de computação em que o trabalho será executado. O padrão é a computação padrão.

inputs: Optional[dict[str, Union[Input, str, bool, int, float, <xref:Enum>]]]

Um mapeamento de nomes de entrada para fontes de dados de entrada usadas no trabalho. Assume o valor padrão de Nenhum.

outputs: Optional[dict[str, Union[str, Output]]]

Um mapeamento de nomes de saída para gerar fontes de dados usadas no trabalho. Assume o valor padrão de Nenhum.

instance_count: Optional[int]

O número de instâncias ou nós a serem usados pelo destino de computação. O valor padrão é 1.

instance_type: Optional[str]

O tipo de VM a ser usado pelo destino de computação.

locations: Optional[list[str]]

A lista de locais em que o trabalho será executado.

docker_args: Optional[str]

Argumentos adicionais a serem passados para o comando docker run. Isso substituiria todos os parâmetros que já foram definidos pelo sistema ou nesta seção. Esse parâmetro só tem suporte para tipos de computação do Azure ML. Assume o valor padrão de Nenhum.

shm_size: Optional[str]

O tamanho do bloco de memória compartilhada do contêiner do Docker. Isso deve estar no formato de (número)(unidade) em que o número deve ser maior que 0 e a unidade pode ser um dos b(bytes), k(kilobytes), m(megabytes) ou g(gigabytes).

timeout: Optional[int]

O número, em segundos, após o qual o trabalho será cancelado.

code: Optional[Union[str, PathLike]]

O código-fonte para executar o trabalho. Pode ser um caminho local ou uma URL "http:", "https:" ou "azureml:" apontando para um local remoto.

identity: Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

A identidade que o trabalho de comando usará durante a execução na computação.

is_deterministic: bool

Especifica se o Comando retornará a mesma saída dada a mesma entrada. O padrão é True. Quando True, se um componente de comando for determinístico e tiver sido executado antes no workspace atual com a mesma entrada e configurações, ele reutilizará os resultados de um trabalho enviado anteriormente quando usado como um nó ou etapa em um pipeline. Nesse cenário, nenhum recurso de computação será usado.

services: Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]

Os serviços interativos para o nó. Assume o valor padrão de Nenhum. Esse é um parâmetro experimental e pode ser alterado a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações.

job_tier: Optional[str]

A camada de trabalho. Os valores aceitos são "Spot", "Basic", "Standard" ou "Premium".

priority: Optional[str]

A prioridade do trabalho na computação. Os valores aceitos são "baixo", "médio" e "alto". O padrão é "medium".

Retornos

Um objeto Command.

Tipo de retorno

Command

Exemplos

Criando um trabalho de comando usando o método command() builder.


   from azure.ai.ml import Input, Output, command

   train_func = command(
       environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
       command='echo "hello world"',
       distribution={"type": "Pytorch", "process_count_per_instance": 2},
       inputs={
           "training_data": Input(type="uri_folder"),
           "max_epochs": 20,
           "learning_rate": 1.8,
           "learning_rate_schedule": "time-based",
       },
       outputs={"model_output": Output(type="uri_folder")},
   )

Construa um objeto de implantação em lote a partir do arquivo yaml.

load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

A origem yaml local de um objeto de implantação em lote. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin: str

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: List[Dict]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de implantação em lote construído.

Tipo de retorno

BatchDeployment

Construa um objeto de ponto de extremidade em lote a partir do arquivo yaml.

load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

A origem yaml local de um objeto de ponto de extremidade em lote. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin: str

valor padrão: None

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: List[Dict]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de ponto de extremidade em lote construído.

Tipo de retorno

BatchEndpoint

Carregue o componente de local ou remoto para uma função de componente.

load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

valor padrão: None

A origem yaml local de um componente. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin: str

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: List[Dict]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Um objeto Component

Tipo de retorno

Union[CommandComponent, ParallelComponent, PipelineComponent]

Exemplos

Carregando um objeto Component de um arquivo YAML, substituindo sua versão para "1.0.2" e registrando-o remotamente.


   from azure.ai.ml import load_component

   component = load_component(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
       params_override=[{"version": "1.0.2"}],
   )
   registered_component = ml_client.components.create_or_update(component)

Construa um objeto de computação a partir de um arquivo yaml.

load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

A origem yaml local de uma computação. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin: Optional[str]

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: Optional[List[Dict]]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de computação carregado.

Tipo de retorno

Compute

Exemplos

Carregando um objeto Compute de um arquivo YAML e substituindo sua descrição.


   from azure.ai.ml import load_compute

   compute = load_compute(
       "../tests/test_configs/compute/compute-vm.yaml",
       params_override=[{"description": "loaded from compute-vm.yaml"}],
   )

Construa um objeto de dados do arquivo yaml.

load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

A origem yaml local de um objeto de dados. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin: str

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: List[Dict]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Dados construídos ou objeto DataImport.

Tipo de retorno

Data

Exceções

ValidationException

Gerado se Os dados não puderem ser validados com êxito. Os detalhes serão fornecidos na mensagem de erro.

Construa um objeto de armazenamento de dados a partir de um arquivo yaml.

load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

A fonte yaml local de um armazenamento de dados. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin: str

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: List[Dict]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de armazenamento de dados carregado.

Tipo de retorno

Datastore

Exceções

ValidationException

Gerado se o Armazenamento de Dados não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

Construa um objeto de ambiente a partir do arquivo yaml.

load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

A origem yaml local de um ambiente. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin: str

A origem a ser usada ao deduzir os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: List[Dict]

Campos a serem substituídos na parte superior do arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de ambiente construído.

Tipo de retorno

Environment

Exceções

ValidationException

Gerado se Ambiente não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

Constrói um objeto Job a partir de um arquivo YAML.

load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

Um caminho para um arquivo YAML local ou um objeto de arquivo já aberto que contém uma configuração de trabalho. Se a origem for um caminho, ela será aberta e lida. Se a origem for um arquivo aberto, o arquivo será lido diretamente.

relative_origin: Optional[str]

O diretório raiz do YAML. Esse diretório será usado como a origem para deduzir os locais relativos dos arquivos referenciados no YAML analisado. O padrão será o mesmo diretório que a origem se a origem for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: Optional[list[dict]]

Campos de parâmetro para substituir valores no arquivo YAML.

Retornos

Um objeto Job carregado.

Tipo de retorno

Job

Exceções

ValidationException

Gerado se Job não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

Exemplos

Carregando um trabalho de um arquivo de configuração YAML.


   from azure.ai.ml import load_job

   job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")

Constrói um objeto Model a partir de um arquivo YAML.

load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

Um caminho para um arquivo YAML local ou um objeto de arquivo já aberto que contém uma configuração de trabalho. Se a origem for um caminho, ela será aberta e lida. Se a origem for um arquivo aberto, o arquivo será lido diretamente.

relative_origin: Optional[str]

O diretório raiz do YAML. Esse diretório será usado como a origem para deduzir os locais relativos dos arquivos referenciados no YAML analisado. O padrão será o mesmo diretório que a origem se a origem for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: Optional[list[dict]]

Campos de parâmetro para substituir valores no arquivo YAML.

Retornos

Um objeto Model carregado.

Tipo de retorno

Model

Exceções

ValidationException

Gerado se Job não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

Exemplos

Carregando um modelo de um arquivo de configuração YAML, substituindo os parâmetros de nome e versão.


   from azure.ai.ml import load_model

   model = load_model(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
       params_override=[{"name": "new_model_name"}, {"version": "1"}],
   )

Observação

Esse é um método experimental e pode mudar a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações.

Constrói um objeto ModelPackage de um arquivo YAML.

load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

Um caminho para um arquivo YAML local ou um objeto de arquivo já aberto que contém uma configuração de trabalho. Se a origem for um caminho, ela será aberta e lida. Se a origem for um arquivo aberto, o arquivo será lido diretamente.

relative_origin: Optional[str]

O diretório raiz do YAML. Esse diretório será usado como a origem para deduzer os locais relativos dos arquivos referenciados no YAML analisado. O padrão será o mesmo diretório que source se source for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: Optional[list[dict]]

Campos de parâmetro para substituir valores no arquivo YAML.

Retornos

Um objeto ModelPackage carregado.

Tipo de retorno

ModelPackage

Exceções

ValidationException

Gerado se Job não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

Exemplos

Carregando um ModelPackage de um arquivo de configuração YAML.


   from azure.ai.ml import load_model_package

   model_package = load_model_package(
       "./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
   )

Construa um objeto de implantação online do arquivo yaml.

load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

A origem yaml local de um objeto de implantação online. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin: str

A origem a ser usada ao deduzer os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: List[Dict]

Campos a serem substituídos sobre o arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de implantação online construído.

Tipo de retorno

OnlineDeployment

Exceções

ValidationException

Gerado se a Implantação Online não puder ser validada com êxito. Os detalhes serão fornecidos na mensagem de erro.

Construa um objeto de ponto de extremidade online do arquivo yaml.

load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

A origem yaml local de um objeto de ponto de extremidade online. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin: str

A origem a ser usada ao deduzer os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: List[Dict]

Campos a serem substituídos sobre o arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de ponto de extremidade online construído.

Tipo de retorno

OnlineEndpoint

Exceções

ValidationException

Gerado se o ponto de extremidade online não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

Carregue um objeto do Registro de um arquivo yaml.

load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

A origem yaml local de um registro. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin: str

A origem a ser usada ao deduzer os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: List[Dict]

Campos a serem substituídos sobre o arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de registro carregado.

Tipo de retorno

Registry

Carregue um objeto de workspace de um arquivo yaml.

load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

A origem yaml local de um workspace. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin: str

A origem a ser usada ao deduzer os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: List[Dict]

Campos a serem substituídos sobre o arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de workspace carregado.

Tipo de retorno

Workspace

Construa um objeto de conexão de workspace do arquivo yaml.

load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

A origem yaml local de um objeto de conexão de workspace. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin: str

A origem a ser usada ao deduzer os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: List[Dict]

Campos a serem substituídos sobre o arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto de conexão de workspace construído.

Tipo de retorno

WorkspaceConnection

Observação

Esse é um método experimental e pode mudar a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações.

Carregue um objeto WorkspaceHub de um arquivo yaml.

load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub

Parâmetros

source: Union[<xref:PathLike>, str, TextIOWrapper]

Obrigatório

A origem yaml local de um WorkspaceHub. Deve ser um caminho para um arquivo local ou um arquivo já aberto. Se a origem for um caminho, ela será aberta e lida. Uma exceção será gerada se o arquivo não existir. Se a origem for um arquivo aberto, o arquivo será lido diretamente e uma exceção será gerada se o arquivo não for legível.

relative_origin: str

A origem a ser usada ao deduzer os locais relativos dos arquivos referenciados no yaml analisado. O padrão será o diretório da origem inserida se for uma entrada de arquivo ou caminho de arquivo. O padrão será "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override: List[Dict]

Campos a serem substituídos sobre o arquivo yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Retornos

Objeto WorkspaceHub carregado.

Tipo de retorno

WorkspaceHub

Cria um objeto Spark que pode ser usado dentro de uma função dsl.pipeline ou usado como um trabalho autônomo do Spark.

spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark

Parâmetros

experiment_name: Optional[str]

O nome do experimento em que o trabalho será criado.

name: Optional[str]

O nome do trabalho.

display_name: Optional[str]

O nome de exibição do trabalho.

description: Optional[str]

A descrição do trabalho. Assume o valor padrão de Nenhum.

tags: Optional[dict[str, str]]

O dicionário de marcas para o trabalho. As marcas podem ser adicionadas, removidas e atualizadas. Assume o valor padrão de Nenhum.

code

O código-fonte para executar o trabalho. Pode ser um caminho local ou uma URL "http:", "https:" ou "azureml:" apontando para um local remoto.

entry: Optional[Union[dict[str, str], SparkJobEntry]]

O ponto de entrada de arquivo ou classe.

py_files: Optional[list[str]]

A lista de arquivos .zip, .egg ou .py a serem colocados nos aplicativos PYTHONPATH para Python. Assume o valor padrão de Nenhum.

jars: Optional[list[str]]

A lista de . Arquivos JAR a serem incluídos nos caminhos de classe driver e executor. Assume o valor padrão de Nenhum.

files: Optional[list[str]]

A lista de arquivos a serem colocados no diretório de trabalho de cada executor. Assume o valor padrão de Nenhum.

archives: Optional[list[str]]

A lista de arquivos a serem extraídos no diretório de trabalho de cada executor. Assume o valor padrão de Nenhum.

identity: Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

A identidade que o trabalho do Spark usará durante a execução na computação.

driver_cores: Optional[int]

O número de núcleos a serem usados para o processo de driver, somente no modo de cluster.

driver_memory: Optional[str]

A quantidade de memória a ser usada para o processo de driver, formatada como cadeias de caracteres com um sufixo de unidade de tamanho ("k", "m", "g" ou "t") (por exemplo, "512m", "2g").

executor_cores: Optional[int]

O número de núcleos a serem usados em cada executor.

executor_memory: Optional[str]

A quantidade de memória a ser usada por processo de executor, formatada como cadeias de caracteres com um sufixo de unidade de tamanho ("k", "m", "g" ou "t") (por exemplo, "512m", "2g").

executor_instances: Optional[int]

O número inicial de executores.

dynamic_allocation_enabled: Optional[bool]

Se deseja usar a alocação dinâmica de recursos, o que dimensiona o número de executores registrados com esse aplicativo para cima e para baixo com base na carga de trabalho.

dynamic_allocation_min_executors: Optional[int]

O limite inferior para o número de executores se a alocação dinâmica estiver habilitada.

dynamic_allocation_max_executors: Optional[int]

O limite superior para o número de executores se a alocação dinâmica estiver habilitada.

conf: Optional[dict[str, str]]

Um dicionário com valores e chave de configurações do Spark predefinidos. Assume o valor padrão de Nenhum.

environment: Optional[Union[str, Environment]]

O ambiente do Azure ML no qual executar o trabalho.

inputs: Optional[dict[str, Input]]

Um mapeamento de nomes de entrada para inserir dados usados no trabalho. Assume o valor padrão de Nenhum.

outputs: Optional[dict[str, Output]]

Um mapeamento de nomes de saída para gerar dados usados no trabalho. Assume o valor padrão de Nenhum.

args: Optional[str]

Os argumentos para o trabalho.

compute: Optional[str]

O recurso de computação em que o trabalho é executado.

resources: Optional[Union[dict, SparkResourceConfiguration]]

A configuração do recurso de computação para o trabalho.

Retornos

Um objeto Spark.

Tipo de retorno

Spark

Exemplos

Criando um pipeline do Spark usando o decorador de pipeline DSL


   from azure.ai.ml import Input, Output, dsl, spark
   from azure.ai.ml.constants import AssetTypes, InputOutputModes

   # define the spark task
   first_step = spark(
       code="/src",
       entry={"file": "add_greeting_column.py"},
       py_files=["utils.zip"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       args="--file_input ${{inputs.file_input}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   second_step = spark(
       code="/src",
       entry={"file": "count_by_row.py"},
       jars=["scala_project.jar"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
       args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   # Define pipeline
   @dsl.pipeline(description="submit a pipeline with spark job")
   def spark_pipeline_from_builder(data):
       add_greeting_column = first_step(file_input=data)
       count_by_row = second_step(file_input=data)
       return {"output": count_by_row.outputs.output}

   pipeline = spark_pipeline_from_builder(
       data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
   )

automl	Contém classes de machine learning automatizadas para o SDKv2 do Azure Machine Learning. As principais áreas incluem o gerenciamento de tarefas autoML.
constants	Esse pacote define constantes usadas no SDKv2 do Azure Machine Learning.
data_transfer
dsl
entities	Contém entidades e objetos SDK para o SDKv2 do Azure Machine Learning. As principais áreas incluem gerenciamento de destinos de computação, criação/gerenciamento de workspaces e trabalhos e envio/acesso de modelo, execuções e execução de saída/registro em log etc.
identity	Contém a Configuração de Identidade para o SDKv2 do Azure Machine Learning.
operations	Contém operações com suporte para o SDKv2 do Azure Machine Learning. As operações são classes que contêm lógica para interagir com serviços de back-end, geralmente chamadas de operações geradas automaticamente.
parallel
sweep

AmlTokenConfiguration	Configuração de identidade do Token AzureML.
Input	Inicialize um objeto Input.
MLClient	Uma classe cliente para interagir com os serviços do Azure ML. Use esse cliente para gerenciar recursos do Azure ML, como workspaces, trabalhos, modelos e assim por diante.
ManagedIdentityConfiguration	Configuração de credencial de Identidade Gerenciada.
MpiDistribution	Configuração de distribuição de MPI.
Output
PyTorchDistribution	Configuração de distribuição do PyTorch.
RayDistribution	Observação Essa é uma classe experimental e pode mudar a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações. Configuração de distribuição de raios.
TensorFlowDistribution	Configuração de distribuição do TensorFlow.
UserIdentityConfiguration	Configuração de identidade do usuário.

Compartilhar via

ml Pacote

Pacotes

Módulos

Classes

Funções

command

Parâmetros

Retornos

Tipo de retorno

Exemplos

load_batch_deployment

Parâmetros

Retornos

Tipo de retorno

load_batch_endpoint

Parâmetros

Retornos

Tipo de retorno

load_component

Parâmetros

Retornos

Tipo de retorno

Exemplos

load_compute

Parâmetros

Retornos

Tipo de retorno

Exemplos

load_data

Parâmetros

Retornos

Tipo de retorno

Exceções

load_datastore

Parâmetros

Retornos

Tipo de retorno

Exceções

load_environment

Parâmetros

Retornos

Tipo de retorno

Exceções

load_job

Parâmetros

Retornos

Tipo de retorno

Exceções

Exemplos

load_model

Parâmetros

Retornos

Tipo de retorno

Exceções

Exemplos

load_model_package

Parâmetros

Retornos

Tipo de retorno

Exceções

Exemplos

load_online_deployment

Parâmetros

Retornos

Tipo de retorno

Exceções

load_online_endpoint

Parâmetros

Retornos

Tipo de retorno

Exceções

load_registry

Parâmetros

Retornos

Tipo de retorno

load_workspace

Parâmetros

Retornos

Tipo de retorno