Compartir a través de


ml Paquete

Paquetes

automl

Contiene clases de aprendizaje automático automatizado para el SDK de Azure Machine Learningv2.

Las áreas principales incluyen la administración de tareas de AutoML.

constants

Este paquete define constantes usadas en el SDK de Azure Machine Learningv2.

data_transfer
dsl
entities

Contiene entidades y objetos sdk para el SDK de Azure Machine Learning SDKv2.

Entre las áreas principales se incluyen la administración de destinos de proceso, la creación y administración de áreas de trabajo y los trabajos, el envío y el acceso al modelo, las ejecuciones y la ejecución de salida o registro, etc.

identity

Contiene la configuración de identidad para el SDKv2 de Azure Machine Learning.

operations

Contiene operaciones admitidas para el SDKv2 de Azure Machine Learning.

Las operaciones son clases que contienen lógica para interactuar con los servicios back-end, normalmente llamada a operaciones generadas automáticamente.

parallel
sweep

Módulos

exceptions

Contiene el módulo de excepciones en el SDKv2 de Azure Machine Learning.

Esto incluye enumeraciones y clases para excepciones.

Clases

AmlTokenConfiguration

Configuración de identidad de token de AzureML.

Input

Inicialice un objeto Input.

MLClient

Una clase de cliente para interactuar con los servicios de Azure ML.

Use este cliente para administrar recursos de Azure ML, como áreas de trabajo, trabajos, modelos, etc.

ManagedIdentityConfiguration

Configuración de credenciales de identidad administrada.

MpiDistribution

Configuración de distribución de MPI.

Output
PyTorchDistribution

Configuración de distribución de PyTorch.

RayDistribution

Nota

Se trata de una clase experimental y puede cambiar en cualquier momento. Consulte https://aka.ms/azuremlexperimental para más información.

Configuración de distribución de rayos.

TensorFlowDistribution

Configuración de distribución de TensorFlow.

UserIdentityConfiguration

Configuración de identidad de usuario.

Funciones

command

Crea un objeto Command que se puede usar dentro de una función dsl.pipeline o como un trabajo de comando independiente.

command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command

Parámetros

name
Optional[str]

Nombre del trabajo de comando o componente.

description
Optional[str]

Descripción del comando. El valor predeterminado es None.

tags
Optional[dict[str, str]]

Diccionario de etiquetas. Las etiquetas se pueden agregar, quitar y actualizar. El valor predeterminado es None.

properties
Optional[dict[str, str]]

Diccionario de propiedades de trabajo. El valor predeterminado es None.

display_name
Optional[str]

El nombre para mostrar del trabajo. El valor predeterminado es un nombre generado aleatoriamente.

command
Optional[str]

Comando que se va a ejecutar. El valor predeterminado es None.

experiment_name
Optional[str]

Nombre del experimento en el que se creará el trabajo. El valor predeterminado es el nombre del directorio actual.

environment
Optional[Union[str, Environment]]

Entorno en el que se ejecutará el trabajo.

environment_variables
Optional[dict[str, str]]

Diccionario de nombres y valores de variables de entorno. Estas variables de entorno se establecen en el proceso donde se ejecuta el script de usuario. El valor predeterminado es None.

distribution
Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]

Configuración de trabajos distribuidos. El valor predeterminado es None.

compute
Optional[str]

Destino de proceso en el que se ejecutará el trabajo. El valor predeterminado es el proceso predeterminado.

inputs
Optional[dict[str, Union[Input, str, bool, int, float, <xref:Enum>]]]

Asignación de nombres de entrada a orígenes de datos de entrada usados en el trabajo. El valor predeterminado es None.

outputs
Optional[dict[str, Union[str, Output]]]

Asignación de nombres de salida a orígenes de datos de salida usados en el trabajo. El valor predeterminado es None.

instance_count
Optional[int]

Número de instancias o nodos que va a usar el destino de proceso. De manera predeterminada, su valor es 1.

instance_type
Optional[str]

Tipo de máquina virtual que va a usar el destino de proceso.

locations
Optional[list[str]]

Lista de ubicaciones donde se ejecutará el trabajo.

docker_args
Optional[str]

Argumentos adicionales para pasar al comando de ejecución de Docker. Esto invalidaría los parámetros ya establecidos por el sistema o en esta sección. Este parámetro solo se admite para los tipos de proceso de Azure ML. El valor predeterminado es None.

shm_size
Optional[str]

Tamaño del bloque de memoria compartida del contenedor Docker. Debe estar en el formato de (número)(unidad) donde el número debe ser mayor que 0 y la unidad puede ser uno de b(bytes), k(kilobytes), m(megabytes) o g(gigabytes).

timeout
Optional[int]

Número, en segundos, después del cual se cancelará el trabajo.

code
Optional[Union[str, PathLike]]

Código fuente para ejecutar el trabajo. Puede ser una ruta de acceso local o "http:", "https:" o "azureml:" que apunte a una ubicación remota.

identity
Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

Identidad que usará el trabajo de comando mientras se ejecuta en proceso.

is_deterministic
bool

Especifica si el comando devolverá la misma salida según la misma entrada. El valor predeterminado es True. Cuando es True, si un componente de comando es determinista y se ha ejecutado antes en el área de trabajo actual con la misma entrada y configuración, reutilizará los resultados de un trabajo enviado anteriormente cuando se usa como nodo o paso en una canalización. En ese escenario, no se usará ningún recurso de proceso.

services
Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]

Servicios interactivos para el nodo. El valor predeterminado es None. Se trata de un parámetro experimental y puede cambiar en cualquier momento. Consulte https://aka.ms/azuremlexperimental para más información.

job_tier
Optional[str]

Nivel de trabajo. Los valores aceptados son "Spot", "Basic", "Standard" o "Premium".

priority
Optional[str]

Prioridad del trabajo en el proceso. Los valores aceptados son "low", "medium" y "high". El valor predeterminado es "medio".

Devoluciones

Objeto Command.

Tipo de valor devuelto

Ejemplos

Crear un trabajo de comando mediante el método command().


   from azure.ai.ml import Input, Output, command

   train_func = command(
       environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
       command='echo "hello world"',
       distribution={"type": "Pytorch", "process_count_per_instance": 2},
       inputs={
           "training_data": Input(type="uri_folder"),
           "max_epochs": 20,
           "learning_rate": 1.8,
           "learning_rate_schedule": "time-based",
       },
       outputs={"model_output": Output(type="uri_folder")},
   )

load_batch_deployment

Construya un objeto de implementación por lotes a partir del archivo yaml.

load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Origen yaml local de un objeto de implementación por lotes. Debe ser una ruta de acceso a un archivo local o un archivo ya abierto. Si el origen es una ruta de acceso, se abrirá y leerá. Se produce una excepción si el archivo no existe. Si el origen es un archivo abierto, el archivo se leerá directamente y se generará una excepción si el archivo no es legible.

relative_origin
str

Origen que se va a usar al deducir las ubicaciones relativas de los archivos a los que se hace referencia en el archivo yaml analizado. El valor predeterminado es el directorio del origen de entrada si es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
List[Dict]

Campos para sobrescribir en la parte superior del archivo yaml. El formato es [{"field1": "value1"}, {"field2": "value2"}]

Devoluciones

Objeto de implementación por lotes construido.

Tipo de valor devuelto

load_batch_endpoint

Construya un objeto de punto de conexión por lotes a partir del archivo yaml.

load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Origen yaml local de un objeto de punto de conexión por lotes. Debe ser una ruta de acceso a un archivo local o un archivo ya abierto. Si el origen es una ruta de acceso, se abrirá y leerá. Se produce una excepción si el archivo no existe. Si el origen es un archivo abierto, el archivo se leerá directamente y se generará una excepción si el archivo no es legible.

relative_origin
str
valor predeterminado: None

Origen que se va a usar al deducir las ubicaciones relativas de los archivos a los que se hace referencia en el archivo yaml analizado. El valor predeterminado es el directorio del origen de entrada si es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
List[Dict]

Campos para sobrescribir en la parte superior del archivo yaml. El formato es [{"field1": "value1"}, {"field2": "value2"}]

Devoluciones

Objeto de punto de conexión por lotes construido.

Tipo de valor devuelto

load_component

Cargue el componente desde local o remoto a una función de componente.

load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
valor predeterminado: None

Origen yaml local de un componente. Debe ser una ruta de acceso a un archivo local o un archivo ya abierto. Si el origen es una ruta de acceso, se abrirá y leerá. Se produce una excepción si el archivo no existe. Si el origen es un archivo abierto, el archivo se leerá directamente y se generará una excepción si el archivo no es legible.

relative_origin
str

Origen que se va a usar al deducir las ubicaciones relativas de los archivos a los que se hace referencia en el archivo yaml analizado. El valor predeterminado es el directorio del origen de entrada si es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
List[Dict]

Campos para sobrescribir en la parte superior del archivo yaml. El formato es [{"field1": "value1"}, {"field2": "value2"}]

Devoluciones

Un objeto Component

Tipo de valor devuelto

Ejemplos

Carga de un objeto Component desde un archivo YAML, reemplazando su versión a "1.0.2" y registrándola de forma remota.


   from azure.ai.ml import load_component

   component = load_component(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
       params_override=[{"version": "1.0.2"}],
   )
   registered_component = ml_client.components.create_or_update(component)

load_compute

Construya un objeto de proceso a partir de un archivo yaml.

load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Origen yaml local de un proceso. Debe ser una ruta de acceso a un archivo local o un archivo ya abierto. Si el origen es una ruta de acceso, se abrirá y leerá. Se produce una excepción si el archivo no existe. Si el origen es un archivo abierto, el archivo se leerá directamente y se generará una excepción si el archivo no es legible.

relative_origin
Optional[str]

Origen que se va a usar al deducir las ubicaciones relativas de los archivos a los que se hace referencia en el archivo yaml analizado. El valor predeterminado es el directorio del origen de entrada si es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
Optional[List[Dict]]

Campos para sobrescribir en la parte superior del archivo yaml. El formato es [{"field1": "value1"}, {"field2": "value2"}]

Devoluciones

Objeto de proceso cargado.

Tipo de valor devuelto

Ejemplos

Cargar un objeto Compute desde un archivo YAML y invalidar su descripción.


   from azure.ai.ml import load_compute

   compute = load_compute(
       "../tests/test_configs/compute/compute-vm.yaml",
       params_override=[{"description": "loaded from compute-vm.yaml"}],
   )

load_data

Construya un objeto de datos a partir del archivo yaml.

load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Origen yaml local de un objeto de datos. Debe ser una ruta de acceso a un archivo local o un archivo ya abierto. Si el origen es una ruta de acceso, se abrirá y leerá. Se produce una excepción si el archivo no existe. Si el origen es un archivo abierto, el archivo se leerá directamente y se generará una excepción si el archivo no es legible.

relative_origin
str

Origen que se va a usar al deducir las ubicaciones relativas de los archivos a los que se hace referencia en el archivo yaml analizado. El valor predeterminado es el directorio del origen de entrada si es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
List[Dict]

Campos para sobrescribir en la parte superior del archivo yaml. El formato es [{"field1": "value1"}, {"field2": "value2"}]

Devoluciones

Objeto Data o DataImport construido.

Tipo de valor devuelto

Excepciones

Se genera si los datos no se pueden validar correctamente. Los detalles se proporcionarán en el mensaje de error.

load_datastore

Construya un objeto de almacén de datos a partir de un archivo yaml.

load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Origen yaml local de un almacén de datos. Debe ser una ruta de acceso a un archivo local o un archivo ya abierto. Si el origen es una ruta de acceso, se abrirá y leerá. Se produce una excepción si el archivo no existe. Si el origen es un archivo abierto, el archivo se leerá directamente y se generará una excepción si el archivo no es legible.

relative_origin
str

Origen que se va a usar al deducir las ubicaciones relativas de los archivos a los que se hace referencia en el archivo yaml analizado. El valor predeterminado es el directorio del origen de entrada si es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
List[Dict]

Campos para sobrescribir en la parte superior del archivo yaml. El formato es [{"field1": "value1"}, {"field2": "value2"}]

Devoluciones

Objeto de almacén de datos cargado.

Tipo de valor devuelto

Excepciones

Se genera si el almacén de datos no se puede validar correctamente. Los detalles se proporcionarán en el mensaje de error.

load_environment

Construya un objeto de entorno a partir del archivo yaml.

load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Origen yaml local de un entorno. Debe ser una ruta de acceso a un archivo local o un archivo ya abierto. Si el origen es una ruta de acceso, se abrirá y leerá. Se produce una excepción si el archivo no existe. Si el origen es un archivo abierto, el archivo se leerá directamente y se generará una excepción si el archivo no es legible.

relative_origin
str

Origen que se va a usar al deducir las ubicaciones relativas de los archivos a los que se hace referencia en el archivo yaml analizado. El valor predeterminado es el directorio del origen de entrada si es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
List[Dict]

Campos para sobrescribir en la parte superior del archivo yaml. El formato es [{"field1": "value1"}, {"field2": "value2"}]

Devoluciones

Objeto de entorno construido.

Tipo de valor devuelto

Excepciones

Se genera si el entorno no se puede validar correctamente. Los detalles se proporcionarán en el mensaje de error.

load_job

Construye un objeto Job a partir de un archivo YAML.

load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Ruta de acceso a un archivo YAML local o a un objeto de archivo ya abierto que contiene una configuración de trabajo. Si el origen es una ruta de acceso, se abrirá y leerá. Si el origen es un archivo abierto, el archivo se leerá directamente.

relative_origin
Optional[str]

Directorio raíz del ARCHIVO YAML. Este directorio se usará como origen para deducir las ubicaciones relativas de los archivos a los que se hace referencia en el YAML analizado. El valor predeterminado es el mismo directorio que el origen si source es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
Optional[list[dict]]

Campos de parámetro para sobrescribir valores en el archivo YAML.

Devoluciones

Objeto Job cargado.

Tipo de valor devuelto

Job

Excepciones

Se genera si el trabajo no se puede validar correctamente. Los detalles se proporcionarán en el mensaje de error.

Ejemplos

Carga de un trabajo desde un archivo de configuración de YAML.


   from azure.ai.ml import load_job

   job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")

load_model

Construye un objeto Model a partir de un archivo YAML.

load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Ruta de acceso a un archivo YAML local o a un objeto de archivo ya abierto que contiene una configuración de trabajo. Si el origen es una ruta de acceso, se abrirá y leerá. Si el origen es un archivo abierto, el archivo se leerá directamente.

relative_origin
Optional[str]

Directorio raíz del ARCHIVO YAML. Este directorio se usará como origen para deducir las ubicaciones relativas de los archivos a los que se hace referencia en el YAML analizado. El valor predeterminado es el mismo directorio que el origen si source es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
Optional[list[dict]]

Campos de parámetro para sobrescribir valores en el archivo YAML.

Devoluciones

Objeto Model cargado.

Tipo de valor devuelto

Excepciones

Se genera si el trabajo no se puede validar correctamente. Los detalles se proporcionarán en el mensaje de error.

Ejemplos

Carga de un modelo desde un archivo de configuración de YAML, reemplazando los parámetros de nombre y versión.


   from azure.ai.ml import load_model

   model = load_model(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
       params_override=[{"name": "new_model_name"}, {"version": "1"}],
   )

load_model_package

Nota

Se trata de un método experimental y puede cambiar en cualquier momento. Consulte https://aka.ms/azuremlexperimental para más información.

Construye un objeto ModelPackage a partir de un archivo YAML.

load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Ruta de acceso a un archivo YAML local o a un objeto de archivo ya abierto que contiene una configuración de trabajo. Si el origen es una ruta de acceso, se abrirá y leerá. Si el origen es un archivo abierto, el archivo se leerá directamente.

relative_origin
Optional[str]

Directorio raíz del ARCHIVO YAML. Este directorio se usará como origen para deducir las ubicaciones relativas de los archivos a los que se hace referencia en el YAML analizado. El valor predeterminado es el mismo directorio que el origen si source es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
Optional[list[dict]]

Campos de parámetro para sobrescribir valores en el archivo YAML.

Devoluciones

Objeto ModelPackage cargado.

Tipo de valor devuelto

Excepciones

Se genera si el trabajo no se puede validar correctamente. Los detalles se proporcionarán en el mensaje de error.

Ejemplos

Carga de un ModelPackage desde un archivo de configuración de YAML.


   from azure.ai.ml import load_model_package

   model_package = load_model_package(
       "./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
   )

load_online_deployment

Construya un objeto de implementación en línea a partir del archivo yaml.

load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Origen yaml local de un objeto de implementación en línea. Debe ser una ruta de acceso a un archivo local o un archivo ya abierto. Si el origen es una ruta de acceso, se abrirá y leerá. Se produce una excepción si el archivo no existe. Si el origen es un archivo abierto, el archivo se leerá directamente y se generará una excepción si el archivo no es legible.

relative_origin
str

Origen que se va a usar al deducir las ubicaciones relativas de los archivos a los que se hace referencia en el archivo yaml analizado. El valor predeterminado es el directorio del origen de entrada si es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
List[Dict]

Campos para sobrescribir en la parte superior del archivo yaml. El formato es [{"field1": "value1"}, {"field2": "value2"}]

Devoluciones

Objeto de implementación en línea construido.

Tipo de valor devuelto

Excepciones

Se genera si la implementación en línea no se puede validar correctamente. Los detalles se proporcionarán en el mensaje de error.

load_online_endpoint

Construya un objeto de punto de conexión en línea a partir del archivo yaml.

load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Origen yaml local de un objeto de punto de conexión en línea. Debe ser una ruta de acceso a un archivo local o un archivo ya abierto. Si el origen es una ruta de acceso, se abrirá y leerá. Se produce una excepción si el archivo no existe. Si el origen es un archivo abierto, el archivo se leerá directamente y se generará una excepción si el archivo no es legible.

relative_origin
str

Origen que se va a usar al deducir las ubicaciones relativas de los archivos a los que se hace referencia en el archivo yaml analizado. El valor predeterminado es el directorio del origen de entrada si es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
List[Dict]

Campos para sobrescribir en la parte superior del archivo yaml. El formato es [{"field1": "value1"}, {"field2": "value2"}]

Devoluciones

Objeto de punto de conexión en línea construido.

Tipo de valor devuelto

Excepciones

Se genera si el punto de conexión en línea no se puede validar correctamente. Los detalles se proporcionarán en el mensaje de error.

load_registry

Cargue un objeto del Registro desde un archivo yaml.

load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Origen yaml local de un registro. Debe ser una ruta de acceso a un archivo local o un archivo ya abierto. Si el origen es una ruta de acceso, se abrirá y leerá. Se produce una excepción si el archivo no existe. Si el origen es un archivo abierto, el archivo se leerá directamente y se generará una excepción si el archivo no es legible.

relative_origin
str

Origen que se va a usar al deducir las ubicaciones relativas de los archivos a los que se hace referencia en el archivo yaml analizado. El valor predeterminado es el directorio del origen de entrada si es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
List[Dict]

Campos para sobrescribir en la parte superior del archivo yaml. El formato es [{"field1": "value1"}, {"field2": "value2"}]

Devoluciones

Objeto del Registro cargado.

Tipo de valor devuelto

load_workspace

Cargue un objeto de área de trabajo desde un archivo yaml.

load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Origen yaml local de un área de trabajo. Debe ser una ruta de acceso a un archivo local o un archivo ya abierto. Si el origen es una ruta de acceso, se abrirá y leerá. Se produce una excepción si el archivo no existe. Si el origen es un archivo abierto, el archivo se leerá directamente y se generará una excepción si el archivo no es legible.

relative_origin
str

Origen que se va a usar al deducir las ubicaciones relativas de los archivos a los que se hace referencia en el archivo yaml analizado. El valor predeterminado es el directorio del origen de entrada si es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
List[Dict]

Campos para sobrescribir en la parte superior del archivo yaml. El formato es [{"field1": "value1"}, {"field2": "value2"}]

Devoluciones

Objeto del área de trabajo cargada.

Tipo de valor devuelto

load_workspace_connection

Construya un objeto de conexión del área de trabajo a partir del archivo yaml.

load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Origen yaml local de un objeto de conexión del área de trabajo. Debe ser una ruta de acceso a un archivo local o un archivo ya abierto. Si el origen es una ruta de acceso, se abrirá y leerá. Se produce una excepción si el archivo no existe. Si el origen es un archivo abierto, el archivo se leerá directamente y se generará una excepción si el archivo no es legible.

relative_origin
str

Origen que se va a usar al deducir las ubicaciones relativas de los archivos a los que se hace referencia en el archivo yaml analizado. El valor predeterminado es el directorio del origen de entrada si es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
List[Dict]

Campos para sobrescribir en la parte superior del archivo yaml. El formato es [{"field1": "value1"}, {"field2": "value2"}]

Devoluciones

Objeto de conexión del área de trabajo construido.

Tipo de valor devuelto

load_workspace_hub

Nota

Se trata de un método experimental y puede cambiar en cualquier momento. Consulte https://aka.ms/azuremlexperimental para más información.

Cargue un objeto WorkspaceHub desde un archivo yaml.

load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub

Parámetros

source
Union[<xref:PathLike>, str, TextIOWrapper]
Requerido

Origen yaml local de workspaceHub. Debe ser una ruta de acceso a un archivo local o un archivo ya abierto. Si el origen es una ruta de acceso, se abrirá y leerá. Se produce una excepción si el archivo no existe. Si el origen es un archivo abierto, el archivo se leerá directamente y se generará una excepción si el archivo no es legible.

relative_origin
str

Origen que se va a usar al deducir las ubicaciones relativas de los archivos a los que se hace referencia en el archivo yaml analizado. El valor predeterminado es el directorio del origen de entrada si es una entrada de ruta de acceso de archivo o archivo. El valor predeterminado es "./" si el origen es una entrada de flujo sin ningún valor de nombre.

params_override
List[Dict]

Campos para sobrescribir en la parte superior del archivo yaml. El formato es [{"field1": "value1"}, {"field2": "value2"}]

Devoluciones

Objeto WorkspaceHub cargado.

Tipo de valor devuelto

spark

Crea un objeto Spark que se puede usar dentro de una función dsl.pipeline o como un trabajo de Spark independiente.

spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark

Parámetros

experiment_name
Optional[str]

Nombre del experimento en el que se creará el trabajo.

name
Optional[str]

Nombre del trabajo.

display_name
Optional[str]

Nombre para mostrar del trabajo.

description
Optional[str]

Descripción del trabajo. El valor predeterminado es None.

tags
Optional[dict[str, str]]

Diccionario de etiquetas para el trabajo. Las etiquetas se pueden agregar, quitar y actualizar. El valor predeterminado es None.

code

Código fuente para ejecutar el trabajo. Puede ser una ruta de acceso local o "http:", "https:" o "azureml:" url que apunte a una ubicación remota.

entry
Optional[Union[dict[str, str], SparkJobEntry]]

Punto de entrada de archivo o clase.

py_files
Optional[list[str]]

Lista de archivos .zip, .egg o .py que se van a colocar en pythonPATH para aplicaciones de Python. El valor predeterminado es None.

jars
Optional[list[str]]

Lista de . Archivos JAR que se van a incluir en las rutas de clase del controlador y del ejecutor. El valor predeterminado es None.

files
Optional[list[str]]

Lista de archivos que se van a colocar en el directorio de trabajo de cada ejecutor. El valor predeterminado es None.

archives
Optional[list[str]]

Lista de archivos que se van a extraer en el directorio de trabajo de cada ejecutor. El valor predeterminado es None.

identity
Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

La identidad que usará el trabajo de Spark mientras se ejecuta en proceso.

driver_cores
Optional[int]

Número de núcleos que se van a usar para el proceso de controlador, solo en modo de clúster.

driver_memory
Optional[str]

Cantidad de memoria que se va a usar para el proceso del controlador, con formato de cadenas con un sufijo de unidad de tamaño ("k", "m", "g" o "t") (por ejemplo, "512m", "2g").

executor_cores
Optional[int]

Número de núcleos que se usarán para cada ejecutor.

executor_memory
Optional[str]

Cantidad de memoria que se va a usar por proceso de ejecutor, con formato de cadenas con un sufijo de unidad de tamaño ("k", "m", "g" o "t") (por ejemplo, "512m", "2g").

executor_instances
Optional[int]

Número inicial de ejecutores.

dynamic_allocation_enabled
Optional[bool]

Si se va a usar la asignación dinámica de recursos, que escala el número de ejecutores registrados en esta aplicación en función de la carga de trabajo.

dynamic_allocation_min_executors
Optional[int]

Límite inferior para el número de ejecutores si está habilitada la asignación dinámica.

dynamic_allocation_max_executors
Optional[int]

Límite superior del número de ejecutores si está habilitada la asignación dinámica.

conf
Optional[dict[str, str]]

Diccionario con valores y clave de configuraciones de Spark predefinidos. El valor predeterminado es None.

environment
Optional[Union[str, Environment]]

Entorno de Azure ML en el que se va a ejecutar el trabajo.

inputs
Optional[dict[str, Input]]

Asignación de nombres de entrada a los datos de entrada usados en el trabajo. El valor predeterminado es None.

outputs
Optional[dict[str, Output]]

Asignación de nombres de salida a los datos de salida usados en el trabajo. El valor predeterminado es None.

args
Optional[str]

Argumentos del trabajo.

compute
Optional[str]

Recurso de proceso en el que se ejecuta el trabajo.

resources
Optional[Union[dict, SparkResourceConfiguration]]

Configuración de recursos de proceso para el trabajo.

Devoluciones

Un objeto Spark.

Tipo de valor devuelto

Ejemplos

Creación de una canalización de Spark mediante el decorador de canalización dsl


   from azure.ai.ml import Input, Output, dsl, spark
   from azure.ai.ml.constants import AssetTypes, InputOutputModes

   # define the spark task
   first_step = spark(
       code="/src",
       entry={"file": "add_greeting_column.py"},
       py_files=["utils.zip"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       args="--file_input ${{inputs.file_input}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   second_step = spark(
       code="/src",
       entry={"file": "count_by_row.py"},
       jars=["scala_project.jar"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
       args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   # Define pipeline
   @dsl.pipeline(description="submit a pipeline with spark job")
   def spark_pipeline_from_builder(data):
       add_greeting_column = first_step(file_input=data)
       count_by_row = second_step(file_input=data)
       return {"output": count_by_row.outputs.output}

   pipeline = spark_pipeline_from_builder(
       data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
   )