Compartilhar via

databricks_step Módulo

Contém a funcionalidade para criar uma etapa de pipeline do Azure ML para executar um notebook do Databricks ou um script Python no DBFS.

Classes

DatabricksStep

Cria uma etapa do Pipeline do Azure ML para adicionar um notebook do DataBricks, script Python ou JAR como um nó.

Para obter um exemplo de como usar o DatabricksStep, consulte o notebook https://aka.ms/pl-databricks.

Crie uma etapa do Pipeline do Azure ML para adicionar um notebook do DataBricks, um script Python ou o JAR como um nó.

Para obter um exemplo de como usar o DatabricksStep, consulte o notebook https://aka.ms/pl-databricks.

:p aram python_script_name:[Obrigatório] O nome de um script Python relativo a source_directory. Se o script receber entradas e saídas, elas serão passadas para o script como parâmetros. Se python_script_name for especificado, também source_directory deve ser.

Especifique exatamente um de notebook_path, python_script_pathou python_script_namemain_class_name.

Se você especificar um objeto DataReference como entrada com data_reference_name=input1 e um objeto PipelineData como saída com name=output1, as entradas e saídas serão passadas para o script como parâmetros. É assim que eles serão e você precisará analisar os argumentos em seu script para acessar os caminhos de cada entrada e saída: "-input1", "wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

Além disso, os seguintes parâmetros estarão disponíveis no script:

  • AZUREML_RUN_TOKEN: o token AML para autenticação com o Azure Machine Learning.
  • AZUREML_RUN_TOKEN_EXPIRY: a hora de expiração do token AML.
  • AZUREML_RUN_ID: ID de execução do Azure Machine Learning para esta execução.
  • AZUREML_ARM_SUBSCRIPTION: assinatura do Azure para seu workspace AML.
  • AZUREML_ARM_RESOURCEGROUP: grupo de recursos do Azure para seu workspace do Azure Machine Learning.
  • AZUREML_ARM_WORKSPACE_NAME: nome do workspace do Azure Machine Learning.
  • AZUREML_ARM_PROJECT_NAME: nome do experimento do Azure Machine Learning.
  • AZUREML_SERVICE_ENDPOINT: a URL do ponto de extremidade para serviços AML.
  • AZUREML_WORKSPACE_ID: ID do workspace do Azure Machine Learning.
  • AZUREML_EXPERIMENT_ID: ID do experimento do Azure Machine Learning.
  • AZUREML_SCRIPT_DIRECTORY_NAME: caminho de diretório no DBFS em que source_directory foi copiado.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Quando você estiver executando um script Python de seu computador local no Databricks usando parâmetros source_directory DatabricksStep e python_script_nameo source_directory for copiado para o DBFS e o caminho do diretório no DBFS será passado como um parâmetro para o script quando ele iniciar a execução. Esse parâmetro é rotulado como –AZUREML_SCRIPT_DIRECTORY_NAME. Você precisa prefixá-lo com a cadeia de caracteres "dbfs:/" ou "/dbfs/" para acessar o diretório no DBFS.