AdlaStep Clase

Crea un paso de Azure ML Pipeline para ejecutar un script U-SQL con Azure Data Lake Analytics.

Para obtener un ejemplo del uso de este AdlaStep, consulte el cuaderno https://aka.ms/pl-adla.

Cree un paso de canalización de Azure ML para ejecutar un script U-SQL con Azure Data Lake Analytics.

Herencia

azureml.pipeline.core._adla_step_base._AdlaStepBase

AdlaStep

Constructor

AdlaStep(script_name, name=None, inputs=None, outputs=None, params=None, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, source_directory=None, allow_reuse=True, version=None, hash_paths=None)

Parámetros

Nombre	Description
script_name Requerido	str [Obligatorio] El nombre de un script U-SQL, relativo a source_directory.
name	str Nombre del paso. Si no se especifica, se usa script_name. valor predeterminado: None
inputs	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] Una lista de enlaces de puerto de entrada. valor predeterminado: None
outputs	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Una lista de enlaces de puerto de salida. valor predeterminado: None
params	dict Un diccionario de pares de nombre-valor. valor predeterminado: None
degree_of_parallelism	int El grado de paralelismo que se va a usar en este trabajo. Debe ser mayor que 0. Si se establece en menor que 0, el valor predeterminado es 1. valor predeterminado: None
priority	int El valor de prioridad que se usará en el trabajo actual. Los números más bajos tienen mayor prioridad. De manera predeterminada, un trabajo tiene una prioridad de 1000. El valor debe ser mayor que 0. valor predeterminado: None
runtime_version	str La versión en tiempo de ejecución del motor de Data Lake Analytics. valor predeterminado: None
compute_target	AdlaCompute, str [Obligatorio] El proceso de ADLA que se va a usar para este trabajo. valor predeterminado: None
source_directory	str Una carpeta que contiene el script, los ensamblados, etc. valor predeterminado: None
allow_reuse	bool Indica si el paso debe volver a usar los resultados anteriores cuando se ejecuta con la misma configuración o entrada. La reutilización está habilitada de manera predeterminada. Si el contenido del paso (scripts o dependencias), así como las entradas y los parámetros permanecen sin cambios, se reutiliza la salida de la ejecución anterior de este paso. Al volver a usar el paso, en lugar de enviar el trabajo al proceso, los resultados de la ejecución anterior se hacen disponibles inmediatamente para los pasos posteriores. Si usa conjuntos de datos de Azure Machine Learning como entradas, la reutilización viene determinada por si la definición del conjunto de datos ha cambiado, no por si los datos subyacentes han cambiado. valor predeterminado: True
version	str Etiqueta de versión opcional para indicar un cambio en la funcionalidad del paso. valor predeterminado: None
hash_paths	list EN DESUSO: ya no es necesario. Una lista de rutas de acceso a hash al comprobar si hay cambios en el contenido del paso. Si no se detecta ningún cambio, la canalización reutilizará el contenido del paso de una ejecución anterior. De forma predeterminada, se aplica un algoritmo hash al contenido de source_directory, excepto los archivos enumerados en .amlignore o .gitignore. valor predeterminado: None
script_name Requerido	str [Obligatorio] El nombre de un script U-SQL, relativo a source_directory.
name Requerido	str Nombre del paso. Si no se especifica, se usa script_name.
inputs Requerido	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] Lista de enlaces de puerto de entrada
outputs Requerido	list[Union[PipelineData, <xref:azureml.pipeline.core.pipeline_output_dataset.PipelineAbstractOutputDataset>, OutputPortBinding]] Una lista de enlaces de puerto de salida.
params Requerido	dict Un diccionario de pares de nombre-valor.
degree_of_parallelism Requerido	int El grado de paralelismo que se va a usar en este trabajo. Debe ser mayor que 0. Si se establece en menor que 0, el valor predeterminado es 1.
priority Requerido	int El valor de prioridad que se usará en el trabajo actual. Los números más bajos tienen mayor prioridad. De manera predeterminada, un trabajo tiene una prioridad de 1000. El valor debe ser mayor que 0.
runtime_version Requerido	str La versión en tiempo de ejecución del motor de Data Lake Analytics.
compute_target Requerido	AdlaCompute, str [Obligatorio] El proceso de ADLA que se va a usar para este trabajo.
source_directory Requerido	str Una carpeta que contiene el script, los ensamblados, etc.
allow_reuse Requerido	bool Indica si el paso debe volver a usar los resultados anteriores cuando se ejecuta con la misma configuración o entrada. La reutilización está habilitada de manera predeterminada. Si el contenido del paso (scripts o dependencias), así como las entradas y los parámetros permanecen sin cambios, se reutiliza la salida de la ejecución anterior de este paso. Al volver a usar el paso, en lugar de enviar el trabajo al proceso, los resultados de la ejecución anterior se hacen disponibles inmediatamente para los pasos posteriores. Si usa conjuntos de datos de Azure Machine Learning como entradas, la reutilización viene determinada por si la definición del conjunto de datos ha cambiado, no por si los datos subyacentes han cambiado.
version Requerido	str Una etiqueta de versión opcional para indicar un cambio en la funcionalidad del paso.
hash_paths Requerido	list EN DESUSO: ya no es necesario. Una lista de rutas de acceso a hash al comprobar si hay cambios en el contenido del paso. Si no se detecta ningún cambio, la canalización reutilizará el contenido del paso de una ejecución anterior. De forma predeterminada, se aplica un algoritmo hash al contenido de source_directory, excepto los archivos enumerados en .amlignore o .gitignore.

Comentarios

Puede usar la sintaxis @@name@@ en el script para hacer referencia a entradas, salidas y parámetros.

• Si name es el nombre de un enlace de puerto de entrada o salida, las apariciones de @@name@@ en el script se reemplazan por la ruta de acceso de datos real de un enlace de puerto correspondiente.

• Si name coincide con cualquier clave en params, en dict, las repeticiones de @@name@@ se reemplazarán por el valor correspondiente en dict.

AdlaStep solo funciona con los datos almacenados en la instancia de Data Lake Storage predeterminada de la cuenta de Data Lake Analytics. Si los datos están en un almacenamiento no predeterminado, use DataTransferStep para copiar los datos en el almacenamiento predeterminado. Para encontrar el almacenamiento predeterminado, abra la cuenta de Data Lake Analytics en Azure Portal y, a continuación, vaya al elemento "Orígenes de datos" en Configuración, en el panel izquierdo.

En el ejemplo siguiente se muestra cómo usar AdlaStep en una canalización de Azure Machine Learning.

   adla_step = AdlaStep(
       name='extract_employee_names',
       script_name='sample_script.usql',
       source_directory=sample_folder,
       inputs=[sample_input],
       outputs=[sample_output],
       compute_target=adla_compute)

El ejemplo completo está disponible en https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-adla-as-compute-target.ipynb.

Métodos

create_node

Cree un nodo a partir del paso AdlaStep y agréguelo al grafo especificado. No se debe llamar a este método directamente. Cuando se crea una instancia de una canalización con este paso, Azure ML pasa automáticamente los parámetros necesarios a través de este método para que ese paso se pueda agregar a un gráfico de canalización que represente el flujo de trabajo.

create_node

Cree un nodo a partir del paso AdlaStep y agréguelo al grafo especificado.

No se debe llamar a este método directamente. Cuando se crea una instancia de una canalización con este paso, Azure ML pasa automáticamente los parámetros necesarios a través de este método para que ese paso se pueda agregar a un gráfico de canalización que represente el flujo de trabajo.

create_node(graph, default_datastore, context)

Parámetros

Nombre	Description
graph Requerido	Graph El objeto de grafo.
default_datastore Requerido	Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore] El almacén de datos predeterminado.
context Requerido	<xref:azureml.pipeline.core._GraphContext> El contexto del grafo.

Devoluciones

Tipo	Description
Node	El objeto de nodo.