databricks_step Modul

Obsahuje funkce pro vytvoření kroku kanálu Azure ML pro spuštění poznámkového bloku Databricks nebo skriptu Pythonu na DBFS.

Třídy

DatabricksStep

Vytvoří krok kanálu Azure ML pro přidání poznámkového bloku DataBricks, skriptu Pythonu nebo jar jako uzlu.

Příklad použití DatabricksStep najdete v poznámkovém bloku https://aka.ms/pl-databricks.

Vytvořte krok kanálu Azure ML, který přidá poznámkový blok DataBricks, skript Pythonu nebo JAR jako uzel.

Příklad použití DatabricksStep najdete v poznámkovém bloku https://aka.ms/pl-databricks.

:p aram python_script_name:[Povinné] Název skriptu Pythonu vzhledem k source_directory. Pokud skript přijímá vstupy a výstupy, předají se skriptu jako parametry. Pokud python_script_name je zadaný source_directory , musí být také.

Zadejte přesně jednu z hodnot notebook_path, python_script_path, python_script_namenebo main_class_name.

Pokud jako vstup zadáte objekt DataReference s data_reference_name=input1 a objekt PipelineData jako výstup s name=output1, pak se vstupy a výstupy předají skriptu jako parametry. Takto budou vypadat a budete muset parsovat argumenty ve skriptu, abyste získali přístup k cestám každého vstupu a výstupu: "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

Kromě toho budou ve skriptu k dispozici následující parametry:

  • AZUREML_RUN_TOKEN: Token AML pro ověřování ve službě Azure Machine Learning.
  • AZUREML_RUN_TOKEN_EXPIRY: Doba vypršení platnosti tokenu AML.
  • AZUREML_RUN_ID: ID spuštění služby Azure Machine Learning pro toto spuštění.
  • AZUREML_ARM_SUBSCRIPTION: Předplatné Azure pro váš pracovní prostor AML.
  • AZUREML_ARM_RESOURCEGROUP: Skupina prostředků Azure pro pracovní prostor Služby Azure Machine Learning.
  • AZUREML_ARM_WORKSPACE_NAME: Název pracovního prostoru služby Azure Machine Learning.
  • AZUREML_ARM_PROJECT_NAME: Název experimentu Azure Machine Learning.
  • AZUREML_SERVICE_ENDPOINT: Adresa URL koncového bodu pro služby AML.
  • AZUREML_WORKSPACE_ID: ID pracovního prostoru Služby Azure Machine Learning.
  • AZUREML_EXPERIMENT_ID: ID experimentu Azure Machine Learning.
  • AZUREML_SCRIPT_DIRECTORY_NAME: Cesta k adresáři v DBFS, kam se zkopírovala source_directory.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Když spouštíte skript Pythonu z místního počítače v Databricks pomocí parametrů source_directory DatabricksStep a python_script_name, zkopíruje se váš source_directory do DBFS a cesta k adresáři v DBFS se při spuštění předá jako parametr do skriptu. Tento parametr je označený jako –AZUREML_SCRIPT_DIRECTORY_NAME. Musíte před něj zadat předponu řetězcem dbfs:/. nebo /dbfs/ pro přístup k adresáři v DBFS.