Partilhar via


ml Pacote

Pacote

automl

Contém aulas automatizadas de machine learning para o SDKv2 do Azure Machine Learning.

As áreas principais incluem a gestão de tarefas autoML.

constants

Este pacote define as constantes utilizadas no SDKv2 do Azure Machine Learning.

data_transfer
dsl
entities

Contém entidades e objetos SDK para o SDKv2 do Azure Machine Learning.

As áreas principais incluem a gestão de destinos de computação, a criação/gestão de áreas de trabalho e tarefas e a submissão/acesso de modelos, execuções e execução de saída/registo, etc.

identity

Contém a Configuração de Identidade para o SDKv2 do Azure Machine Learning.

operations

Contém operações suportadas para o SDKv2 do Azure Machine Learning.

As operações são classes que contêm lógica para interagir com serviços de back-end, normalmente chamadas de operações geradas automaticamente.

parallel
sweep

Módulos

exceptions

Contém o módulo de exceção no SDKv2 do Azure Machine Learning.

Isto inclui enums e classes para exceções.

Classes

AmlTokenConfiguration

Configuração da identidade do Token do AzureML.

Input

Inicializar um objeto input.

MLClient

Uma classe de cliente para interagir com os serviços do Azure ML.

Utilize este cliente para gerir recursos do Azure ML, como áreas de trabalho, trabalhos, modelos, etc.

ManagedIdentityConfiguration

Configuração de credenciais de Identidade Gerida.

MpiDistribution

Configuração de distribuição de MPI.

Output
PyTorchDistribution

Configuração de distribuição do PyTorch.

RayDistribution

Nota

Esta é uma classe experimental e pode mudar em qualquer altura. Para obter mais informações, veja https://aka.ms/azuremlexperimental.

Configuração de distribuição de raios.

TensorFlowDistribution

Configuração de distribuição do TensorFlow.

UserIdentityConfiguration

Configuração da identidade do utilizador.

Funções

command

Cria um objeto de Comando que pode ser utilizado dentro de uma função dsl.pipeline ou utilizado como uma tarefa de Comando autónoma.

command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command

Parâmetros

name
Optional[str]

O nome da tarefa de comando ou componente.

description
Optional[str]

A descrição do Comando. Predefinições para Nenhum.

tags
Optional[dict[str, str]]

Dicionário de etiquetas. As etiquetas podem ser adicionadas, removidas e atualizadas. Predefinições para Nenhum.

properties
Optional[dict[str, str]]

O dicionário de propriedades da tarefa. Predefinições para Nenhum.

display_name
Optional[str]

O nome a apresentar da tarefa. A predefinição é um nome gerado aleatoriamente.

command
Optional[str]

O comando a executar. Predefinições para Nenhum.

experiment_name
Optional[str]

O nome da experimentação em que a tarefa será criada. A predefinição é o nome do diretório atual.

environment
Optional[Union[str, Environment]]

O ambiente em que a tarefa será executada.

environment_variables
Optional[dict[str, str]]

Um dicionário de nomes e valores de variáveis de ambiente. Estas variáveis de ambiente são definidas no processo em que o script de utilizador está a ser executado. Predefinições para Nenhum.

distribution
Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]

A configuração para tarefas distribuídas. Predefinições para Nenhum.

compute
Optional[str]

O destino de computação em que a tarefa será executada. A predefinição é a computação predefinida.

inputs
Optional[dict[str, Union[Input, str, bool, int, float, <xref:Enum>]]]

Um mapeamento de nomes de entrada para origens de dados de entrada utilizadas na tarefa. Predefinições para Nenhum.

outputs
Optional[dict[str, Union[str, Output]]]

Um mapeamento de nomes de saída para origens de dados de saída utilizadas na tarefa. Predefinições para Nenhum.

instance_count
Optional[int]

O número de instâncias ou nós a utilizar pelo destino de computação. A predefinição é 1.

instance_type
Optional[str]

O tipo de VM a utilizar pelo destino de computação.

locations
Optional[list[str]]

A lista de localizações onde a tarefa será executada.

docker_args
Optional[str]

Argumentos adicionais para passar para o comando de execução do Docker. Isto substituiria quaisquer parâmetros que já tenham sido definidos pelo sistema ou nesta secção. Este parâmetro só é suportado para tipos de computação do Azure ML. Predefinições para Nenhum.

shm_size
Optional[str]

O tamanho do bloco de memória partilhado do contentor do Docker. Deve estar no formato de (número)(unidade) em que o número tem de ser superior a 0 e a unidade pode ser um dos b(bytes), k(kilobytes), m(megabytes) ou g(gigabytes).

timeout
Optional[int]

O número, em segundos, após o qual a tarefa será cancelada.

code
Optional[Union[str, PathLike]]

O código fonte para executar a tarefa. Pode ser um caminho local ou "http:", "https:" ou um url "azureml:" que aponta para uma localização remota.

identity
Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

A identidade que a tarefa de comando utilizará durante a execução na computação.

is_deterministic
bool

Especifica se o Comando irá devolver o mesmo resultado dada a mesma entrada. Predefinições para Verdadeiro. Quando Verdadeiro, se um Componente de Comando for determinista e tiver sido executado anteriormente na área de trabalho atual com as mesmas entradas e definições, reutilizará os resultados de uma tarefa submetida anteriormente quando utilizado como nó ou passo num pipeline. Nesse cenário, não serão utilizados recursos de computação.

services
Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]

Os serviços interativos do nó. Predefinições para Nenhum. Este é um parâmetro experimental e pode ser alterado em qualquer altura. Para obter mais informações, veja https://aka.ms/azuremlexperimental.

job_tier
Optional[str]

O escalão de trabalho. Os valores aceites são "Spot", "Basic", "Standard" ou "Premium".

priority
Optional[str]

A prioridade da tarefa na computação. Os valores aceites são "baixo", "médio" e "alto". A predefinição é "média".

Devoluções

Um objeto de Comando.

Tipo de retorno

Exemplos

Criar uma Tarefa de Comando com o método do construtor de comandos.


   from azure.ai.ml import Input, Output, command

   train_func = command(
       environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
       command='echo "hello world"',
       distribution={"type": "Pytorch", "process_count_per_instance": 2},
       inputs={
           "training_data": Input(type="uri_folder"),
           "max_epochs": 20,
           "learning_rate": 1.8,
           "learning_rate_schedule": "time-based",
       },
       outputs={"model_output": Output(type="uri_folder")},
   )

load_batch_deployment

Construa um objeto de implementação em lote a partir do ficheiro yaml.

load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

A origem yaml local de um objeto de implementação de lote. Tem de ser um caminho para um ficheiro local ou um ficheiro já aberto. Se a origem for um caminho, será aberta e lida. É gerada uma exceção se o ficheiro não existir. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente e será gerada uma exceção se o ficheiro não for legível.

relative_origin
str

A origem a utilizar ao deduzir as localizações relativas dos ficheiros referenciados no yaml analisado. A predefinição é o diretório da origem introduzido se for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a substituir por cima do ficheiro yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Devoluções

Objeto de implementação de lote construído.

Tipo de retorno

load_batch_endpoint

Construa um objeto de ponto final de lote a partir do ficheiro yaml.

load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

A origem yaml local de um objeto de ponto final de lote. Tem de ser um caminho para um ficheiro local ou um ficheiro já aberto. Se a origem for um caminho, será aberta e lida. É gerada uma exceção se o ficheiro não existir. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente e será gerada uma exceção se o ficheiro não for legível.

relative_origin
str
valor predefinido: None

A origem a utilizar ao deduzir as localizações relativas dos ficheiros referenciados no yaml analisado. A predefinição é o diretório da origem introduzido se for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a substituir por cima do ficheiro yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Devoluções

Objeto de ponto final de lote construído.

Tipo de retorno

load_component

Carregar o componente de local ou remoto para uma função de componente.

load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
valor predefinido: None

A origem yaml local de um componente. Tem de ser um caminho para um ficheiro local ou um ficheiro já aberto. Se a origem for um caminho, será aberta e lida. É gerada uma exceção se o ficheiro não existir. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente e será gerada uma exceção se o ficheiro não for legível.

relative_origin
str

A origem a utilizar ao deduzir as localizações relativas dos ficheiros referenciados no yaml analisado. A predefinição é o diretório da origem introduzido se for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a substituir por cima do ficheiro yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Devoluções

Um objeto Componente

Tipo de retorno

Exemplos

Carregar um objeto Componente a partir de um ficheiro YAML, substituir a versão para "1.0.2" e registá-lo remotamente.


   from azure.ai.ml import load_component

   component = load_component(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
       params_override=[{"version": "1.0.2"}],
   )
   registered_component = ml_client.components.create_or_update(component)

load_compute

Construa um objeto de computação a partir de um ficheiro yaml.

load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

A origem yaml local de uma computação. Tem de ser um caminho para um ficheiro local ou um ficheiro já aberto. Se a origem for um caminho, será aberta e lida. É gerada uma exceção se o ficheiro não existir. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente e será gerada uma exceção se o ficheiro não for legível.

relative_origin
Optional[str]

A origem a utilizar ao deduzir as localizações relativas dos ficheiros referenciados no yaml analisado. A predefinição é o diretório da origem introduzido se for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
Optional[List[Dict]]

Campos a substituir por cima do ficheiro yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Devoluções

Objeto de computação carregado.

Tipo de retorno

Exemplos

Carregar um objeto de Computação a partir de um ficheiro YAML e substituir a respetiva descrição.


   from azure.ai.ml import load_compute

   compute = load_compute(
       "../tests/test_configs/compute/compute-vm.yaml",
       params_override=[{"description": "loaded from compute-vm.yaml"}],
   )

load_data

Construir um objeto de dados a partir do ficheiro yaml.

load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

A origem yaml local de um objeto de dados. Tem de ser um caminho para um ficheiro local ou um ficheiro já aberto. Se a origem for um caminho, será aberta e lida. É gerada uma exceção se o ficheiro não existir. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente e será gerada uma exceção se o ficheiro não for legível.

relative_origin
str

A origem a utilizar ao deduzir as localizações relativas dos ficheiros referenciados no yaml analisado. A predefinição é o diretório da origem introduzido se for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a substituir por cima do ficheiro yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Devoluções

Objeto Data ou DataImport construído.

Tipo de retorno

Exceções

Gerado se os dados não puderem ser validados com êxito. Os detalhes serão fornecidos na mensagem de erro.

load_datastore

Construa um objeto arquivo de dados a partir de um ficheiro yaml.

load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

A origem yaml local de um arquivo de dados. Tem de ser um caminho para um ficheiro local ou um ficheiro já aberto. Se a origem for um caminho, será aberta e lida. É gerada uma exceção se o ficheiro não existir. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente e será gerada uma exceção se o ficheiro não for legível.

relative_origin
str

A origem a utilizar ao deduzir as localizações relativas dos ficheiros referenciados no yaml analisado. A predefinição é o diretório da origem introduzido se for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a substituir por cima do ficheiro yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Devoluções

Objeto arquivo de dados carregado.

Tipo de retorno

Exceções

Gerado se o Datastore não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

load_environment

Construa um objeto de ambiente a partir do ficheiro yaml.

load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

A origem yaml local de um ambiente. Tem de ser um caminho para um ficheiro local ou um ficheiro já aberto. Se a origem for um caminho, será aberta e lida. É gerada uma exceção se o ficheiro não existir. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente e será gerada uma exceção se o ficheiro não for legível.

relative_origin
str

A origem a utilizar ao deduzir as localizações relativas dos ficheiros referenciados no yaml analisado. A predefinição é o diretório da origem introduzido se for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a substituir por cima do ficheiro yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Devoluções

Objeto de ambiente construído.

Tipo de retorno

Exceções

Gerado se o Ambiente não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

load_job

Constrói um objeto tarefa a partir de um ficheiro YAML.

load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

Um caminho para um ficheiro YAML local ou um objeto de ficheiro já aberto que contenha uma configuração de tarefa. Se a origem for um caminho, será aberta e lida. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente.

relative_origin
Optional[str]

O diretório raiz do YAML. Este diretório será utilizado como a origem para deduzir as localizações relativas dos ficheiros referenciados no YAML analisado. A predefinição é o mesmo diretório que a origem se a origem for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
Optional[list[dict]]

Campos de parâmetros para substituir valores no ficheiro YAML.

Devoluções

Um objeto de Tarefa carregado.

Tipo de retorno

Job

Exceções

Gerado se a tarefa não puder ser validada com êxito. Os detalhes serão fornecidos na mensagem de erro.

Exemplos

Carregar uma Tarefa a partir de um ficheiro de configuração YAML.


   from azure.ai.ml import load_job

   job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")

load_model

Constrói um objeto Modelo a partir de um ficheiro YAML.

load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

Um caminho para um ficheiro YAML local ou um objeto de ficheiro já aberto que contenha uma configuração de tarefa. Se a origem for um caminho, será aberta e lida. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente.

relative_origin
Optional[str]

O diretório raiz do YAML. Este diretório será utilizado como a origem para deduzir as localizações relativas dos ficheiros referenciados no YAML analisado. A predefinição é o mesmo diretório que a origem se a origem for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
Optional[list[dict]]

Campos de parâmetros para substituir valores no ficheiro YAML.

Devoluções

Um objeto de Modelo carregado.

Tipo de retorno

Exceções

Gerado se a tarefa não puder ser validada com êxito. Os detalhes serão fornecidos na mensagem de erro.

Exemplos

Carregar um Modelo a partir de um ficheiro de configuração YAML, substituindo os parâmetros de nome e versão.


   from azure.ai.ml import load_model

   model = load_model(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
       params_override=[{"name": "new_model_name"}, {"version": "1"}],
   )

load_model_package

Nota

Este é um método experimental e pode ser alterado em qualquer altura. Para obter mais informações, veja https://aka.ms/azuremlexperimental.

Constrói um objeto ModelPackage a partir de um ficheiro YAML.

load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

Um caminho para um ficheiro YAML local ou um objeto de ficheiro já aberto que contenha uma configuração de tarefa. Se a origem for um caminho, será aberta e lida. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente.

relative_origin
Optional[str]

O diretório raiz do YAML. Este diretório será utilizado como a origem para deduzir as localizações relativas dos ficheiros referenciados no YAML analisado. A predefinição é o mesmo diretório que a origem se a origem for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
Optional[list[dict]]

Campos de parâmetros para substituir valores no ficheiro YAML.

Devoluções

Um objeto ModelPackage carregado.

Tipo de retorno

Exceções

Gerado se a tarefa não puder ser validada com êxito. Os detalhes serão fornecidos na mensagem de erro.

Exemplos

Carregar um ModelPackage a partir de um ficheiro de configuração YAML.


   from azure.ai.ml import load_model_package

   model_package = load_model_package(
       "./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
   )

load_online_deployment

Construa um objeto de implementação online a partir do ficheiro yaml.

load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

A origem yaml local de um objeto de implementação online. Tem de ser um caminho para um ficheiro local ou um ficheiro já aberto. Se a origem for um caminho, será aberta e lida. É gerada uma exceção se o ficheiro não existir. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente e será gerada uma exceção se o ficheiro não for legível.

relative_origin
str

A origem a utilizar ao deduzir as localizações relativas dos ficheiros referenciados no yaml analisado. A predefinição é o diretório da origem introduzido se for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a substituir por cima do ficheiro yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Devoluções

Objeto de implementação online construído.

Tipo de retorno

Exceções

Gerado se a Implementação Online não puder ser validada com êxito. Os detalhes serão fornecidos na mensagem de erro.

load_online_endpoint

Construa um objeto de ponto final online a partir do ficheiro yaml.

load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

A origem yaml local de um objeto de ponto final online. Tem de ser um caminho para um ficheiro local ou um ficheiro já aberto. Se a origem for um caminho, será aberta e lida. É gerada uma exceção se o ficheiro não existir. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente e será gerada uma exceção se o ficheiro não for legível.

relative_origin
str

A origem a utilizar ao deduzir as localizações relativas dos ficheiros referenciados no yaml analisado. A predefinição é o diretório da origem introduzido se for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a substituir por cima do ficheiro yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Devoluções

Objeto de ponto final online construído.

Tipo de retorno

Exceções

Gerado se o Ponto Final Online não puder ser validado com êxito. Os detalhes serão fornecidos na mensagem de erro.

load_registry

Carregar um objeto de registo a partir de um ficheiro yaml.

load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

A origem yaml local de um registo. Tem de ser um caminho para um ficheiro local ou um ficheiro já aberto. Se a origem for um caminho, será aberta e lida. É gerada uma exceção se o ficheiro não existir. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente e será gerada uma exceção se o ficheiro não for legível.

relative_origin
str

A origem a utilizar ao deduzir as localizações relativas dos ficheiros referenciados no yaml analisado. A predefinição é o diretório da origem introduzido se for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a substituir por cima do ficheiro yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Devoluções

Objeto de registo carregado.

Tipo de retorno

load_workspace

Carregar um objeto de área de trabalho a partir de um ficheiro yaml.

load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

A origem yaml local de uma área de trabalho. Tem de ser um caminho para um ficheiro local ou um ficheiro já aberto. Se a origem for um caminho, será aberta e lida. É gerada uma exceção se o ficheiro não existir. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente e será gerada uma exceção se o ficheiro não for legível.

relative_origin
str

A origem a utilizar ao deduzir as localizações relativas dos ficheiros referenciados no yaml analisado. A predefinição é o diretório da origem introduzido se for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a substituir por cima do ficheiro yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Devoluções

Objeto de área de trabalho carregado.

Tipo de retorno

load_workspace_connection

Construa um objeto de ligação de área de trabalho a partir do ficheiro yaml.

load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

A origem yaml local de um objeto de ligação de área de trabalho. Tem de ser um caminho para um ficheiro local ou um ficheiro já aberto. Se a origem for um caminho, será aberta e lida. É gerada uma exceção se o ficheiro não existir. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente e será gerada uma exceção se o ficheiro não for legível.

relative_origin
str

A origem a utilizar ao deduzir as localizações relativas dos ficheiros referenciados no yaml analisado. A predefinição é o diretório da origem introduzido se for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a substituir por cima do ficheiro yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Devoluções

Objeto de ligação de área de trabalho construído.

Tipo de retorno

load_workspace_hub

Nota

Este é um método experimental e pode ser alterado em qualquer altura. Para obter mais informações, veja https://aka.ms/azuremlexperimental.

Carregar um objeto do WorkspaceHub a partir de um ficheiro yaml.

load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub

Parâmetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Necessário

A origem yaml local de um WorkspaceHub. Tem de ser um caminho para um ficheiro local ou um ficheiro já aberto. Se a origem for um caminho, será aberta e lida. É gerada uma exceção se o ficheiro não existir. Se a origem for um ficheiro aberto, o ficheiro será lido diretamente e será gerada uma exceção se o ficheiro não for legível.

relative_origin
str

A origem a utilizar ao deduzir as localizações relativas dos ficheiros referenciados no yaml analisado. A predefinição é o diretório da origem introduzido se for uma entrada de caminho de ficheiro ou ficheiro. A predefinição é "./" se a origem for uma entrada de fluxo sem valor de nome.

params_override
List[Dict]

Campos a substituir por cima do ficheiro yaml. O formato é [{"field1": "value1"}, {"field2": "value2"}]

Devoluções

Objeto Loaded WorkspaceHub.

Tipo de retorno

spark

Cria um objeto spark que pode ser utilizado dentro de uma função dsl.pipeline ou utilizado como uma tarefa autónoma do Spark.

spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark

Parâmetros

experiment_name
Optional[str]

O nome da experimentação em que a tarefa será criada.

name
Optional[str]

O nome da tarefa.

display_name
Optional[str]

O nome a apresentar da tarefa.

description
Optional[str]

A descrição da tarefa. Predefinições para Nenhum.

tags
Optional[dict[str, str]]

O dicionário de etiquetas para a tarefa. As etiquetas podem ser adicionadas, removidas e atualizadas. A predefinição é Nenhuma.

code

O código fonte para executar a tarefa. Pode ser um caminho local ou "http:", "https:" ou um URL "azureml:" a apontar para uma localização remota.

entry
Optional[Union[dict[str, str], SparkJobEntry]]

O ponto de entrada de ficheiro ou classe.

py_files
Optional[list[str]]

A lista de ficheiros .zip, .egg ou .py a colocar nas aplicações PYTHONPATH para Python. A predefinição é Nenhuma.

jars
Optional[list[str]]

A lista de . Ficheiros JAR a incluir nos caminhos de classe do controlador e do executor. A predefinição é Nenhuma.

files
Optional[list[str]]

A lista de ficheiros a colocar no diretório de trabalho de cada executor. A predefinição é Nenhuma.

archives
Optional[list[str]]

A lista de arquivos a extrair para o diretório de trabalho de cada executor. A predefinição é Nenhuma.

identity
Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

A identidade que a tarefa do Spark utilizará durante a execução na computação.

driver_cores
Optional[int]

O número de núcleos a utilizar para o processo do controlador, apenas no modo de cluster.

driver_memory
Optional[str]

A quantidade de memória a utilizar para o processo do controlador, formatada como cadeias com um sufixo de unidade de tamanho ("k", "m", "g" ou "t") (por exemplo, "512m", "2g").

executor_cores
Optional[int]

O número de núcleos a utilizar em cada executor.

executor_memory
Optional[str]

A quantidade de memória a utilizar por processo do executor, formatada como cadeias com um sufixo de unidade de tamanho ("k", "m", "g" ou "t") (por exemplo, "512m", "2g").

executor_instances
Optional[int]

O número inicial de executores.

dynamic_allocation_enabled
Optional[bool]

Se pretende utilizar a alocação de recursos dinâmicos, o que dimensiona o número de executores registados nesta aplicação para cima e para baixo com base na carga de trabalho.

dynamic_allocation_min_executors
Optional[int]

O limite inferior para o número de executores se a alocação dinâmica estiver ativada.

dynamic_allocation_max_executors
Optional[int]

O limite superior para o número de executores se a alocação dinâmica estiver ativada.

conf
Optional[dict[str, str]]

Um dicionário com chave e valores de configurações predefinidos do Spark. A predefinição é Nenhuma.

environment
Optional[Union[str, Environment]]

O ambiente do Azure ML no qual executar a tarefa.

inputs
Optional[dict[str, Input]]

Um mapeamento de nomes de entrada para dados de entrada utilizados na tarefa. A predefinição é Nenhuma.

outputs
Optional[dict[str, Output]]

Um mapeamento de nomes de saída para dados de saída utilizados na tarefa. A predefinição é Nenhuma.

args
Optional[str]

Os argumentos para a tarefa.

compute
Optional[str]

O recurso de computação em que a tarefa é executada.

resources
Optional[Union[dict, SparkResourceConfiguration]]

A configuração do recurso de computação para a tarefa.

Devoluções

Um objeto spark.

Tipo de retorno

Exemplos

Criar um pipeline do Spark com o decorador de pipelines DSL


   from azure.ai.ml import Input, Output, dsl, spark
   from azure.ai.ml.constants import AssetTypes, InputOutputModes

   # define the spark task
   first_step = spark(
       code="/src",
       entry={"file": "add_greeting_column.py"},
       py_files=["utils.zip"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       args="--file_input ${{inputs.file_input}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   second_step = spark(
       code="/src",
       entry={"file": "count_by_row.py"},
       jars=["scala_project.jar"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
       args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   # Define pipeline
   @dsl.pipeline(description="submit a pipeline with spark job")
   def spark_pipeline_from_builder(data):
       add_greeting_column = first_step(file_input=data)
       count_by_row = second_step(file_input=data)
       return {"output": count_by_row.outputs.output}

   pipeline = spark_pipeline_from_builder(
       data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
   )