Spark Clase

Clase base para el nodo de Spark, que se usa para el consumo de versiones de componentes de Spark.

No debe crear una instancia de esta clase directamente. En su lugar, debe crearlo a partir de la función del generador: spark.

] :p aram salidas: asignación de nombres de salida a orígenes de datos de salida usados en el trabajo. :type outputs: Dict[str, Union[str, ~azure.ai.ml.Output]] :p aram args: los argumentos del trabajo. :type args: str :p aram compute: el recurso de proceso en el que se ejecuta el trabajo. :type compute: recursos de str :p aram: la configuración del recurso de proceso para el trabajo. :type resources: Union[Dict, ~azure.ai.ml.entities.SparkResourceConfiguration] :p aram entry: The file or class entry point. :type entry: Dict[str, str] :p aram py_files: la lista de archivos .zip, .egg o .py que se van a colocar en pythonPATH para aplicaciones de Python. :type py_files: List[str] :p aram jars: La lista de . Archivos JAR que se van a incluir en las rutas de clase del controlador y del ejecutor. :type jars: List[str] :p aram files: la lista de archivos que se van a colocar en el directorio de trabajo de cada ejecutor. :type files: List[str] :p aram archives: la lista de archivos que se van a extraer en el directorio de trabajo de cada ejecutor. :type archives: List[str]

Herencia

azure.ai.ml.entities._builders.base_node.BaseNode

Spark

azure.ai.ml.entities._job.spark_job_entry_mixin.SparkJobEntryMixin

Spark

Constructor

Spark(*, component: str | SparkComponent, identity: Dict[str, str] | ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, inputs: Dict[str, NodeOutput | Input | str | bool | int | float | Enum] | None = None, outputs: Dict[str, str | Output] | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, args: str | None = None, **kwargs)

Parámetros

component

Union[str, SparkComponent]

Requerido

Identificador o instancia del componente o trabajo de Spark que se va a ejecutar durante el paso.

identity

Union[ Dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

Requerido

La identidad que usará el trabajo de Spark mientras se ejecuta en proceso.

driver_cores

int

Requerido

Número de núcleos que se van a usar para el proceso de controlador, solo en modo de clúster.

driver_memory

str

Requerido

Cantidad de memoria que se va a usar para el proceso del controlador, con formato de cadenas con un sufijo de unidad de tamaño ("k", "m", "g" o "t") (por ejemplo, "512m", "2g").

executor_cores

int

Requerido

Número de núcleos que se usarán para cada ejecutor.

executor_memory

str

Requerido

Cantidad de memoria que se va a usar por proceso de ejecutor, con formato de cadenas con un sufijo de unidad de tamaño ("k", "m", "g" o "t") (por ejemplo, "512m", "2g").

executor_instances

int

Requerido

Número inicial de ejecutores.

dynamic_allocation_enabled

bool

Requerido

Si se va a usar la asignación dinámica de recursos, que escala el número de ejecutores registrados en esta aplicación en función de la carga de trabajo.

dynamic_allocation_min_executors

int

Requerido

Límite inferior para el número de ejecutores si está habilitada la asignación dinámica.

dynamic_allocation_max_executors

int

Requerido

Límite superior del número de ejecutores si está habilitada la asignación dinámica.

conf

Dict[str, str]

Requerido

Diccionario con valores y clave de configuraciones de Spark predefinidos.

inputs

Dict[str, Union[ <xref:azure.ai.ml.entities._job.pipeline._io.NodeOutput>, Input, str, bool, int, float, <xref:Enum>, ]

Requerido

Asignación de nombres de entrada a orígenes de datos de entrada usados en el trabajo.

Métodos

clear
copy
dump	Volca el contenido del trabajo en un archivo en formato YAML.
fromkeys	Cree un nuevo diccionario con claves de valores iterables y establecidos en value.
get	Devuelve el valor de la clave si la clave está en el diccionario; de lo contrario, devuelve el valor predeterminado.
items
keys
pop	Si no se encuentra la clave, devuelva el valor predeterminado si se indica; de lo contrario, genere un valor KeyError.
popitem	Quite y devuelva un par (clave, valor) como una tupla de 2. Los pares se devuelven en el orden LIFO (último en entrar, primero en salir). Genera KeyError si el dict está vacío.
setdefault	Inserte la clave con un valor predeterminado si la clave no está en el diccionario. Devuelve el valor de la clave si la clave está en el diccionario; de lo contrario, devuelve el valor predeterminado.
update	Si E está presente y tiene un método .keys(), entonces lo hace: para k en E: D[k] = E[k] Si E está presente y carece de un método .keys(), entonces lo hace: para k, v en E: D[k] = v En cualquier caso, esto va seguido de: para k en F: D[k] = F[k] = F[k]
values

clear

clear() -> None.  Remove all items from D.

copy

copy() -> a shallow copy of D

dump

Volca el contenido del trabajo en un archivo en formato YAML.

dump(dest: str | PathLike | IO, **kwargs) -> None

Parámetros

dest

Union[<xref:PathLike>, str, IO[AnyStr]]

Requerido

Ruta de acceso local o secuencia de archivos en la que se va a escribir el contenido de YAML. Si dest es una ruta de acceso de archivo, se creará un nuevo archivo. Si dest es un archivo abierto, el archivo se escribirá directamente.

kwargs

dict

Argumentos adicionales para pasar al serializador YAML.

Excepciones

FileExistsError

Se genera si dest es una ruta de acceso de archivo y el archivo ya existe.

IOError

Se genera si dest es un archivo abierto y el archivo no se puede escribir.

fromkeys

Cree un nuevo diccionario con claves de valores iterables y establecidos en value.

fromkeys(value=None, /)

Parámetros

type

Requerido

iterable

Requerido

value

valor predeterminado: None

get

Devuelve el valor de la clave si la clave está en el diccionario; de lo contrario, devuelve el valor predeterminado.

get(key, default=None, /)

Parámetros

key

Requerido

default

valor predeterminado: None

items

items() -> a set-like object providing a view on D's items

keys

keys() -> a set-like object providing a view on D's keys

pop

Si no se encuentra la clave, devuelva el valor predeterminado si se indica; de lo contrario, genere un valor KeyError.

pop(k, [d]) -> v, remove specified key and return the corresponding value.

popitem

Quite y devuelva un par (clave, valor) como una tupla de 2.

Los pares se devuelven en el orden LIFO (último en entrar, primero en salir). Genera KeyError si el dict está vacío.

popitem()

setdefault

Inserte la clave con un valor predeterminado si la clave no está en el diccionario.

Devuelve el valor de la clave si la clave está en el diccionario; de lo contrario, devuelve el valor predeterminado.

setdefault(key, default=None, /)

Parámetros

key

Requerido

default

valor predeterminado: None

update

Si E está presente y tiene un método .keys(), entonces lo hace: para k en E: D[k] = E[k] Si E está presente y carece de un método .keys(), entonces lo hace: para k, v en E: D[k] = v En cualquier caso, esto va seguido de: para k en F: D[k] = F[k] = F[k]

update([E], **F) -> None.  Update D from dict/iterable E and F.

values

values() -> an object providing a view on D's values

Atributos

base_path

Ruta de acceso base del recurso.

Devoluciones

Ruta de acceso base del recurso.

Tipo de valor devuelto

str

code

Ruta de acceso local o remota que apunta al código fuente.

Tipo de valor devuelto

Union[str, <xref:PathLike>]

component

Identificador o instancia del componente o trabajo de Spark que se va a ejecutar durante el paso.

Tipo de valor devuelto

SparkComponent

creation_context

Contexto de creación del recurso.

Devoluciones

Metadatos de creación del recurso.

Tipo de valor devuelto

Optional[SystemData]

entry

id

El identificador del recurso.

Devoluciones

Identificador global del recurso, un identificador de Azure Resource Manager (ARM).

Tipo de valor devuelto

Optional[str]

identity

La identidad que usará el trabajo de Spark mientras se ejecuta en proceso.

Tipo de valor devuelto

Union[ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]

inputs

Obtiene las entradas del objeto .

Devoluciones

Diccionario que contiene las entradas del objeto .

Tipo de valor devuelto

Dict[str, Union[Input, str, bool, int, float]]

log_files

Archivos de salida del trabajo.

Devoluciones

Diccionario de nombres de registro y direcciones URL.

Tipo de valor devuelto

Optional[Dict[str, str]]

name

Obtenga el nombre del nodo.

Devoluciones

El nombre del nodo.

Tipo de valor devuelto

str

outputs

Obtiene las salidas del objeto .

Devoluciones

Diccionario que contiene las salidas del objeto .

Tipo de valor devuelto

Dict[str, Union[str, Output]]

resources

Configuración de recursos de proceso para el trabajo.

Tipo de valor devuelto

SparkResourceConfiguration

status

El estado del trabajo.

Los valores comunes devueltos incluyen "Running", "Completed" y "Failed". Todos los valores posibles son:

• NotStarted: se trata de un estado temporal en el que se encuentran los objetos Run del lado cliente antes del envío en la nube.

• Starting: la ejecución ha empezado a procesarse en la nube. El autor de la llamada tiene un identificador de ejecución en este momento.

• Aprovisionamiento: se crea un proceso a petición para un envío de trabajo determinado.

• Preparación: el entorno de ejecución se está preparando y se encuentra en una de estas dos fases:

  • Compilación de imágenes de Docker

  • configuración del entorno Conda

• En cola: el trabajo se pone en cola en el destino de proceso. Por ejemplo, en BatchAI, el trabajo está en un estado en cola.

  mientras espera a que todos los nodos solicitados estén listos.

• En ejecución: el trabajo se ha iniciado para ejecutarse en el destino de proceso.

• Finalización: la ejecución del código de usuario se ha completado y la ejecución está en fases posteriores al procesamiento.

• CancelRequested: se ha solicitado la cancelación del trabajo.

• Completado: la ejecución se ha completado correctamente. Esto incluye tanto la ejecución del código de usuario como la ejecución

  posteriores al procesamiento de la ejecución.

• Failed: error en la ejecución. Normalmente, la propiedad Error de una ejecución proporcionará detalles sobre por qué se produjo el error.

• Canceled: sigue a una solicitud de cancelación e indica que la ejecución se ha cancelado correctamente.

• NotResponding: en el caso de las ejecuciones que tienen los latidos habilitados, no se ha enviado recientemente ningún latido.

Devoluciones

Estado del trabajo.

Tipo de valor devuelto

Optional[str]

studio_url

Punto de conexión de Azure ML Studio.

Devoluciones

Dirección URL de la página de detalles del trabajo.

Tipo de valor devuelto

Optional[str]

type

Tipo del trabajo.

Devoluciones

Tipo del trabajo.

Tipo de valor devuelto

Optional[str]

CODE_ID_RE_PATTERN

CODE_ID_RE_PATTERN = re.compile('\\/subscriptions\\/(?P<subscription>[\\w,-]+)\\/resourceGroups\\/(?P<resource_group>[\\w,-]+)\\/providers\\/Microsoft\\.MachineLearningServices\\/workspaces\\/(?P<workspace>[\\w,-]+)\\/codes\\/(?P<co)