databricks_step モジュール

  • リファレンス

DBFS で Databricks ノートブックまたは Python スクリプトを実行するための Azure ML パイプライン ステップを作成する機能が含まれています。

クラス

DatabricksStep

DataBricks ノートブック、Python スクリプト、または JAR をノードとして追加するための Azure ML パイプライン ステップが作成されます。

DatabricksStep の使用例については、ノートブック https://aka.ms/pl-databricks を参照してください。

DataBricks ノートブック、Python スクリプト、または JAR をノードとして追加する Azure ML パイプライン ステップを作成します。

DatabricksStep の使用例については、ノートブック https://aka.ms/pl-databricks を参照してください。

:p aram python_script_name:[必須] を基準 source_directoryとした Python スクリプトの名前。 スクリプトが入力と出力を受け取る場合、それらがパラメーターとしてスクリプトに渡されます。 python_script_name が指定されている場合は、source_directory も必要です。

notebook_path、python_script_path、python_script_name、または main_class_name のいずれか 1 つのみを指定します。

DataReference オブジェクトを data_reference_name=input1 の入力として指定し、PipelineData オブジェクトを name=output1 の出力として指定した場合、入力と出力はパラメーターとしてスクリプトに渡されます。 これは次のようになります。各入力と出力のパスにアクセスするには、スクリプト内の引数を解析する必要があります: "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

さらに、スクリプト内で次のパラメーターを使用できます。

  • AZUREML_RUN_TOKEN: Azure Machine Learning を使用して認証を行うための AML トークン。
  • AZUREML_RUN_TOKEN_EXPIRY: AML トークンの有効期限。
  • AZUREML_RUN_ID: この実行の Azure Machine Learning 実行 ID。
  • AZUREML_ARM_SUBSCRIPTION: AML ワークスペースの Azure サブスクリプション。
  • AZUREML_ARM_RESOURCEGROUP: Azure Machine Learning ワークスペースの Azure リソース グループ。
  • AZUREML_ARM_WORKSPACE_NAME: Azure Machine Learning ワークスペースの名前。
  • AZUREML_ARM_PROJECT_NAME: Azure Machine Learning の実験の名前。
  • AZUREML_SERVICE_ENDPOINT: AML サービスのエンドポイント URL。
  • AZUREML_WORKSPACE_ID: Azure Machine Learning ワークスペースの ID。
  • AZUREML_EXPERIMENT_ID: Azure Machine Learning の実験の ID。
  • AZUREML_SCRIPT_DIRECTORY_NAME: source_directory がコピーされている DBFS のディレクトリ パス。
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

DatabricksStep パラメーター source_directory と python_script_name を使用して Databricks 上のローカル コンピューターから Python スクリプトを実行すると、source_directory が DBFS にコピーされ、DBFS 上のディレクトリ パスが実行の開始時にパラメーターとしてスクリプトに渡されます。 このパラメーターには、–AZUREML_SCRIPT_DIRECTORY_NAME というラベルが付けられます。 DBFS 内のディレクトリにアクセスするには、先頭に "dbfs:/" または "/dbfs/" という文字列を付ける必要があります。