Exécuter un fichier sur un cluster, un fichier ou un notebook en tant que tâche dans Azure Databricks en utilisant l’extension IDE Databricks

L’extension IDE Databricks vous permet d’exécuter votre code Python sur un cluster ou sur votre code Python, R, Scala, SQL ou notebook en tant que travail dans Azure Databricks.

Ces informations supposent que vous avez déjà installé et configuré l’extension IDE Databricks. Voir Installer l’extension IDE Databricks.

Remarque

Pour déboguer du code ou des notebooks depuis Visual Studio Code, utilisez Databricks Connect. Voir Debug code using Databricks Connect pour l’extension IDE Databricks et Run and Debug notebook cells with Databricks Connect via l’extension IDE Databricks.

Exécuter un fichier Python sur un cluster

Remarque

Cette fonctionnalité n’est pas disponible lors de l’utilisation du calcul serverless.

Pour exécuter un fichier Python sur un cluster Azure Databricks en utilisant l’extension IDE Databricks, avec l’extension et votre projet ouverts :

  1. Ouvrez le fichier Python que vous souhaitez exécuter sur le cluster.
  2. Effectuez l’une des actions suivantes :

    • Dans la barre de titre de l’éditeur de fichiers, cliquez sur l’icône Exécuter sur Databricks , puis sur Charger et exécuter un fichier.

      Charger et exécuter un fichier à partir de l’icône

    • Dans la vue Explorateur (Afficher l’exporateur >), cliquez avec le bouton droit de la souris sur le fichier, puis sélectionnez Exécuter sur Databricks>Télécharger et exécuter le fichier dans le menu contextuel.

      Charger et exécuter un fichier à partir du menu contextuel

Le fichier s’exécute sur le cluster, et les sorties s’affichent dans la console de débogage (Afficher la console de débogage >).

Exécuter un fichier Python en tant que travail

Pour exécuter un fichier Python en tant que travail Azure Databricks en utilisant l’extension IDE Databricks, avec l’extension et votre projet ouverts :

  1. Ouvrez le fichier Python que vous souhaitez exécuter en tant que travail.
  2. Effectuez l’une des actions suivantes :

    • Dans la barre de titre de l’éditeur de fichiers, cliquez sur l’icône Exécuter sur Databricks , puis sur Exécuter un fichier en tant que flux de travail.

      Exécuter un fichier en tant que flux de travail à partir de l’icône

    • Dans la vue Explorateur (Afficher l’exporateur >), cliquez avec le bouton droit de la souris sur le fichier, puis sélectionnez Exécuter sur Databricks>Exécuter le fichier comme un flux de travail dans le menu contextuel.

      Exécuter un fichier en tant que flux de travail à partir du menu contextuel

Un nouvel onglet d’éditeur s’affiche, intitulé Databricks Job Run (Exécution des travaux Databricks). Le fichier s’exécute en tant que travail dans l’espace de travail, et toute sortie est imprimée dans la zone Sortie de l’onglet Nouvel éditeur.

Pour afficher des informations sur l’exécution d’une tâche, cliquez sur le lien ID d'exécution de tâche dans le nouvel onglet Éditeur d’exécution de tâche Databricks. Votre espace de travail s’ouvre et les détails de l'exécution de la tâche s’affichent dans l’espace de travail.

Exécuter un notebook Python, R, Scala ou SQL en tant que tâche

Pour exécuter un notebook en tant que job Azure Databricks en utilisant l’extension IDE Databricks, avec l’extension et votre projet ouverts :

  1. Ouvrez le notebook que vous souhaitez exécuter comme tâche.

    Conseil

    Pour transformer un fichier Python, R, Scala ou SQL en un notebook Azure Databricks, ajoutez le commentaire # Databricks notebook source au début du fichier et ajoutez le commentaire # COMMAND ---------- avant chaque cellule. Pour plus d’informations, consultez Convertir un fichier en bloc-notes.

    Un fichier de code Python formaté comme un notebook 1 Databricks

  2. Effectuez l’une des opérations suivantes :

    • Dans la barre de titre de l’éditeur de fichiers de bloc-notes, cliquez sur l’icône Exécuter sur Databricks , puis sur Exécuter un fichier en tant que flux de travail.

      Remarque

      Si Exécuter sur Databricks en tant que workflow n’est pas disponible, consultez Créer une configuration d’exécution personnalisée.

    • Dans la vue Explorateur (Afficher l'Explorateur >), cliquez avec le bouton droit de la souris sur le fichier notebook, puis sélectionnez Exécuter sur Databricks>Exécuter le fichier en tant que workflow dans le menu contextuel.

Un nouvel onglet d’éditeur s’affiche, intitulé Databricks Job Run (Exécution des travaux Databricks). Le notebook s’exécute en tant que tâche dans l’espace de travail. Le bloc-notes et sa sortie s’affichent dans la zone Sortie de l’onglet Nouvel éditeur.

Pour afficher des informations sur l’exécution de la tâche, cliquez sur le lien ID d'exécution de tâche sous l'onglet Éditeur des Travaux Databricks. Votre espace de travail s'ouvre et les détails de l'exécution de la tâche sont affichés dans votre espace de travail.

Créer une configuration d'exécution personnalisée

Une configuration d’exécution personnalisée pour l’extension IDE Databricks vous permet de passer des arguments personnalisés à un travail ou à un notebook, ou de créer différents paramètres d’exécution pour différents fichiers. Pour plus d’informations, consultez Configurations de lancement dans la documentation Visual Studio Code.

Pour créer une configuration d'exécution personnalisée, cliquez sur Exécuter > Ajouter une configuration dans le menu principal de Visual Studio Code. Sélectionnez ensuite Databricks pour une configuration de série de tests basée sur un cluster, ou Databricks : Workflow pour une configuration de série de tests basée sur un travail.

Par exemple, la configuration d'exécution personnalisée suivante modifie la commande de lancement Exécuter un fichier en tant que flux de travail pour transmettre l'argument --prod à la tâche :

{
  "version": "0.2.0",
  "configurations": [
    {
      "type": "databricks-workflow",
      "request": "launch",
      "name": "Run on Databricks as Workflow",
      "program": "${file}",
      "parameters": {},
      "args": ["--prod"]
    }
  ]
}

Conseil

Ajoutez "databricks": true à votre "type": "python" configuration si vous souhaitez utiliser la configuration Python et tirer parti de l’authentification Databricks Connect qui fait partie de la configuration de l’extension.

  • Last updated on