databricks_step Module

  • Référence

Contient les fonctionnalités permettant de créer une étape de pipeline Azure ML pour exécuter un notebook Databricks ou un script Python sur DBFS.

Classes

DatabricksStep

Crée une étape de pipeline Azure Machine Learning pour ajouter un notebook DataBricks, un script Python ou un fichier JAR en tant que nœud.

Pour obtenir un exemple d’utilisation de DatabricksStep, consultez le notebook https://aka.ms/pl-databricks.

Créez une étape de pipeline Azure ML pour ajouter un notebook DataBricks, un script Python ou un fichier JAR en tant que nœud.

Pour obtenir un exemple d’utilisation de DatabricksStep, consultez le notebook https://aka.ms/pl-databricks.

:p aram python_script_name:[Obligatoire] Nom d’un script Python relatif à source_directory. Si le script prend des entrées et des sorties, celles-ci sont passées au script en tant que paramètres. Si python_script_name est spécifié, source_directory doit l’être également.

Spécifiez exactement une valeur de notebook_path, python_script_path, python_script_name ou main_class_name.

Si vous spécifiez un objet DataReference comme entrée avec data_reference_name=input1 et un objet PipelineData en tant que sortie avec name=output1, alors les entrées et sorties sont passées au script en tant que paramètres. Voici à quoi elles ressemblent. Vous devez analyser les arguments dans votre script pour accéder aux chemins de chaque entrée et sortie : "-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

En outre, les paramètres suivants sont disponibles dans le script :

  • AZUREML_RUN_TOKEN : jeton AML pour l’authentification auprès d’Azure Machine Learning.
  • AZUREML_RUN_TOKEN_EXPIRY : délai d’expiration du jeton AML.
  • AZUREML_RUN_ID : ID d’exécution Azure Machine Learning de cette exécution.
  • AZUREML_ARM_SUBSCRIPTION : abonnement Azure de votre espace de travail AML.
  • AZUREML_ARM_RESOURCEGROUP : groupe de ressources Azure de votre espace de travail Azure Machine Learning.
  • AZUREML_ARM_WORKSPACE_NAME : nom de votre espace de travail Azure Machine Learning.
  • AZUREML_ARM_PROJECT_NAME : nom de votre expérience Azure Machine Learning.
  • AZUREML_SERVICE_ENDPOINT : URL de point de terminaison pour les services AML.
  • AZUREML_WORKSPACE_ID : ID de votre espace de travail Azure Machine Learning.
  • AZUREML_EXPERIMENT_ID : ID de votre expérience travail Azure Machine Learning.
  • AZUREML_SCRIPT_DIRECTORY_NAME : chemin d’accès au répertoire dans DBFS où source_directory a été copié.
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

Quand vous exécutez un script Python à partir de votre ordinateur local sur Databricks à l’aide des paramètres DatabricksStep source_directory et python_script_name, votre source_directory est copié sur le système DBFS et le chemin d’accès au répertoire sur DBFS est transmis en tant que paramètre à votre script au début de l’exécution. Ce paramètre est étiqueté comme –AZUREML_SCRIPT_DIRECTORY_NAME. Vous devez ajouter le préfixe de la chaîne « dbfs:/ » ou « /dbfs/ » pour accéder au répertoire dans DBFS.