SynapseSparkStep Classe

Observação

Esta é uma classe experimental e pode mudar a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações.

Cria uma etapa do Azure ML Synapse que envia e executa o script Python.

Crie uma etapa do Pipeline do Azure ML que executa o trabalho do Spark no pool do Synapse Spark.

Construtor

SynapseSparkStep(file, source_directory, compute_target, driver_memory, driver_cores, executor_memory, executor_cores, num_executors, name=None, app_name=None, environment=None, arguments=None, inputs=None, outputs=None, conf=None, py_files=None, jars=None, files=None, allow_reuse=True, version=None)

Parâmetros

Nome	Description
file Obrigatório	str O nome de um script synapse relativo a source_directory.
source_directory Obrigatório	str Uma pasta que contém script Python, conda env e outros recursos usados na etapa.
compute_target Obrigatório	SynapseCompute ou str O destino de computação a ser usado.
driver_memory Obrigatório	str Quantidade de memória a ser usada para o processo de driver.
driver_cores Obrigatório	int Número de núcleos a serem usados para o processo de driver.
executor_memory Obrigatório	str Quantidade de memória a ser usada por processo de executor.
executor_cores Obrigatório	int Número de núcleos a serem usados para cada executor.
num_executors Obrigatório	int Número de executores a serem iniciados para esta sessão.
name Obrigatório	str O nome da etapa. Se não for especificado, file será usado.
app_name Obrigatório	str O nome do aplicativo usado para enviar o trabalho do Spark.
environment Obrigatório	Environment O ambiente AML terá suporte na versão posterior.
arguments Obrigatório	list Argumentos de linha de comando para o arquivo de script do Synapse.
inputs Obrigatório	list[DatasetConsumptionConfig] Uma lista de entradas.
outputs Obrigatório	list[HDFSOutputDatasetConfig] Uma lista de saídas.
conf Obrigatório	dict Propriedades de configuração do Spark.
py_files Obrigatório	list Arquivos python a serem usados nesta sessão, parâmetro da API livy.
files Obrigatório	list Arquivos a serem usados nesta sessão, parâmetro da API livy.
allow_reuse Obrigatório	bool Indica se a etapa deve reutilizar os resultados anteriores ao executar novamente com as mesmas configurações.
version Obrigatório	str Uma marca de versão opcional para indicar uma alteração na funcionalidade da etapa.
file Obrigatório	str O nome de um script do Synapse em relação a source_directory.
source_directory Obrigatório	str Uma pasta que contém script Python, conda env e outros recursos usados na etapa.
compute_target Obrigatório	SynapseCompute ou str O destino de computação a ser usado.
driver_memory Obrigatório	str Quantidade de memória a ser usada para o processo de driver.
driver_cores Obrigatório	int Número de núcleos a serem usados para o processo de driver.
executor_memory Obrigatório	str Quantidade de memória a ser usada por processo de executor.
executor_cores Obrigatório	int Número de núcleos a serem usados para cada executor.
num_executors Obrigatório	int Número de executores a serem iniciados para esta sessão.
name Obrigatório	str O nome da etapa. Se não for especificado, file será usado.
app_name Obrigatório	str O nome do aplicativo usado para enviar o trabalho do Apache Spark.
environment Obrigatório	Environment Ambiente AML que será aproveitado neste SynapseSparkStep.
arguments Obrigatório	list Argumentos de linha de comando para o arquivo de script do Synapse.
inputs Obrigatório	list[DatasetConsumptionConfig] Uma lista de entradas.
outputs Obrigatório	list[HDFSOutputDatasetConfig] Uma lista de saídas.
conf Obrigatório	dict Propriedades de configuração do Spark.
py_files Obrigatório	list Arquivos python a serem usados nesta sessão, parâmetro da API livy.
jars Obrigatório	list Arquivos jar a serem usados nesta sessão, parâmetro da API livy.
files Obrigatório	list Arquivos a serem usados nesta sessão, parâmetro da API livy.
allow_reuse Obrigatório	bool Indica se a etapa deve reutilizar os resultados anteriores ao executar novamente com as mesmas configurações.
version Obrigatório	str Uma marca de versão opcional para indicar uma alteração na funcionalidade da etapa.

Comentários

Um SynapseSparkStep é uma etapa básica e interna para executar um trabalho do Python Spark em pools de spark do synapse. Ele usa um nome de arquivo principal e outros parâmetros opcionais, como argumentos para o script, destino de computação, entradas e saídas.

A melhor prática para trabalhar com synapseSparkStep é usar uma pasta separada para scripts e quaisquer arquivos dependentes associados à etapa e especificar essa pasta com o source_directory parâmetro. Seguir essa prática recomendada tem dois benefícios. Primeiro, ele ajuda a reduzir o tamanho do instantâneo criado para a etapa, pois somente o que é necessário para a etapa é instantâneo. Em segundo lugar, a saída da etapa de uma execução anterior poderá ser reutilizado se não houver alterações no source_directory que dispararia um upload novamente do instantâneo.

   from azureml.core import Dataset
   from azureml.pipeline.steps import SynapseSparkStep
   from azureml.data import HDFSOutputDatasetConfig

   # get input dataset
   input_ds = Dataset.get_by_name(workspace, "weather_ds").as_named_input("weather_ds")

   # register pipeline output as dataset
   output_ds = HDFSOutputDatasetConfig("synapse_step_output",
                                       destination=(ws.datastores['datastore'],"dir")
                                       ).register_on_complete(name="registered_dataset")

   step_1 = SynapseSparkStep(
       name = "synapse_step",
       file = "pyspark_job.py",
       source_directory="./script",
       inputs=[input_ds],
       outputs=[output_ds],
       compute_target = "synapse",
       driver_memory = "7g",
       driver_cores = 4,
       executor_memory = "7g",
       executor_cores = 2,
       num_executors = 1,
       conf = {})

O SynapseSparkStep só dá suporte a DatasetConsumptionConfig como entrada e HDFSOutputDatasetConfig como saída.

Métodos

create_node

Crie um nó para a etapa de script do Synapse. Esse método não se destina a ser usado diretamente. Quando um pipeline é instanciado com essa etapa, o Azure ML passa automaticamente os parâmetros necessários por meio desse método para que essa etapa possa ser adicionada a um grafo de pipeline que representa o fluxo de trabalho.

create_node

Crie um nó para a etapa de script do Synapse.

Esse método não se destina a ser usado diretamente. Quando um pipeline é instanciado com essa etapa, o Azure ML passa automaticamente os parâmetros necessários por meio desse método para que essa etapa possa ser adicionada a um grafo de pipeline que representa o fluxo de trabalho.

create_node(graph, default_datastore, context)

Parâmetros

Nome	Description
graph Obrigatório	Graph O objeto de grafo ao qual adicionar o nó.
default_datastore Obrigatório	Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore] O armazenamento de dados padrão.
context Obrigatório	<xref:azureml.pipeline.core._GraphContext> O contexto do grafo.

Retornos

Tipo	Description
Node	O nó criado.