Bagikan melalui

databricks_step Modul

  • Referensi

Berisi fungsionalitas untuk membuat langkah alur Azure Machine Learning untuk menjalankan buku catatan Databricks atau skrip Python di DBFS.

Kelas

DatabricksStep

Membuat langkah Alur Azure Machine Learning untuk menambahkan buku catatan DataBricks, skrip Python, atau JAR sebagai node.

Untuk contoh penggunaan DatabricksStep, lihat notebook https://aka.ms/pl-databricks.

Buat langkah Azure ML Pipeline untuk menambahkan notebook DataBricks, skrip Python, atau JAR sebagai simpul.

Untuk contoh penggunaan DatabricksStep, lihat notebook https://aka.ms/pl-databricks.

:p aram python_script_name:[Required] Nama skrip Python relatif terhadap source_directory. Jika skrip mengambil input dan output, input dan output tersebut akan diteruskan ke skrip sebagai parameter. Jika python_script_name ditentukan, maka source_directory juga harus ditentukan.

Tentukan salah satu dari notebook_path, python_script_path, python_script_name, atau main_class_name.

Jika Anda menentukan objek DataReference sebagai input dengan data_reference_name=input1 dan objek PipelineData sebagai output dengan name=output1, maka input dan output akan diteruskan ke skrip sebagai parameter. Tampilannya akan terlihat seperti ini dan Anda akan perlu mengurai argumen dalam skrip Anda untuk mengakses jalur setiap input dan output: "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

Selain itu, parameter berikut akan tersedia dalam skrip:

  • AZUREML_RUN_TOKEN: Token AML untuk mengautentikasi dengan Azure Machine Learning.
  • AZUREML_RUN_TOKEN_EXPIRY: Waktu kedaluwarsa token AML.
  • AZUREML_RUN_ID: ID Eksekusi Azure Machine Learning untuk eksekusi ini.
  • AZUREML_ARM_SUBSCRIPTION: Langganan Azure untuk ruang kerja AML Anda.
  • AZUREML_ARM_RESOURCEGROUP: Grup sumber daya Azure untuk ruang kerja Azure Machine Learning Anda.
  • AZUREML_ARM_WORKSPACE_NAME: Nama ruang kerja Azure Machine Learning Anda.
  • AZUREML_ARM_PROJECT_NAME: Nama eksperimen Azure Machine Learning Anda.
  • AZUREML_SERVICE_ENDPOINT: URL titik akhir untuk layanan AML.
  • AZUREML_WORKSPACE_ID: ID ruang kerja Azure Machine Learning Anda.
  • AZUREML_EXPERIMENT_ID: ID eksperimen Azure Machine Learning Anda.
  • AZUREML_SCRIPT_DIRECTORY_NAME: Jalur direktori di DBFS tempat source_directory disalin.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Saat Anda menjalankan skrip Python dari komputer lokal Anda di Databricks menggunakan parameter source_directory dan python_script_name DatabricksStep, source_directory Anda disalin ke DBFS dan jalur direktori pada DBFS diteruskan sebagai parameter ke skrip Anda saat memulai eksekusi. Parameter ini diberi label sebagai –AZUREML_SCRIPT_DIRECTORY_NAME. Anda perlu mengawalinya dengan string "dbfs:/" atau "/dbfs/" untuk mengakses direktori di DBFS.