Exécuter un fichier sur un cluster ou un fichier ou notebook en tant que travail dans Azure Databricks à l’aide de l’extension Databricks pour Visual Studio Code

L’extension Databricks pour Visual Studio Code vous permet d’exécuter votre code Python sur un cluster ou votre code Python, R, Scala ou SQL ou notebook en tant que travail dans Azure Databricks.

Ces informations supposent que vous avez déjà installé et configuré l’extension Databricks pour Visual Studio Code. Consultez Installer l’extension Databricks pour Visual Studio Code.

Remarque

Pour déboguer du code ou des notebooks à partir de Visual Studio Code, utilisez Databricks Connect. Consultez Déboguer le code à l’aide de Databricks Connect pour l’extension Databricks pour Visual Studio Code et Exécuter et déboguer des cellules de notebook avec Databricks Connect à l’aide de l’extension Databricks pour Visual Studio Code.

Exécuter un fichier Python sur un cluster

Pour exécuter un fichier Python sur un cluster Azure Databricks à l’aide de l’extension Databricks pour Visual Studio Code, avec l’extension et votre projet ouverts :

1. Ouvrez le fichier Python que vous souhaitez exécuter sur le cluster.
2. Effectuez l’une des actions suivantes :

   • Dans la barre de titre de l’éditeur de fichiers, cliquez sur l’icône Exécuter sur Databricks, puis sur Charger et exécuter un fichier.

     

   • Dans la vue Explorateur (Afficher l’exporateur >), cliquez avec le bouton droit de la souris sur le fichier, puis sélectionnez Exécuter sur Databricks>Télécharger et exécuter le fichier dans le menu contextuel.

     

Le fichier s’exécute sur le cluster, et les sorties s’affichent dans la console de débogage (Afficher la console de débogage >).

Exécuter un fichier Python en tant que travail

Pour exécuter un fichier Python en tant que travail Azure Databricks à l’aide de l’extension Databricks pour Visual Studio Code, avec l’extension et votre projet ouverts :

1. Ouvrez le fichier Python que vous souhaitez exécuter en tant que travail.
2. Effectuez l’une des actions suivantes :

   • Dans la barre de titre de l’éditeur de fichiers, cliquez sur l’icône Exécuter sur Databricks, puis sur Exécuter un fichier en tant que flux de travail.

     

   • Dans la vue Explorateur (Afficher l’exporateur >), cliquez avec le bouton droit de la souris sur le fichier, puis sélectionnez Exécuter sur Databricks>Exécuter le fichier comme un flux de travail dans le menu contextuel.

     

Un nouvel onglet d’éditeur s’affiche, intitulé Databricks Job Run (Exécution des travaux Databricks). Le fichier s’exécute en tant que travail dans l’espace de travail, et les sorties s’affichent dans la zone Sortie du nouvel onglet d’éditeur.

Pour afficher des informations sur l’exécution du travail, cliquez sur le lien Task run ID (ID d’exécution de la tâche) dans le nouvel onglet Databricks Job Run (Exécution des travaux Databricks). Votre espace de travail s’ouvre et les détails de l’exécution du travail s’affichent dans l’espace de travail.

Exécuter un notebook Python, R, Scala ou SQL en tant que travail

Pour exécuter un notebook en tant que travail Azure Databricks à l’aide de l’extension Databricks pour Visual Studio Code, avec l’extension et votre projet ouvert :

1. Ouvrez le notebook que vous souhaitez exécuter en tant que travail.

   Conseil

   Pour transformer un fichier Python, R, Scala ou SQL en un notebook Azure Databricks, ajoutez le commentaire # Databricks notebook source au début du fichier et ajoutez le commentaire # COMMAND ---------- avant chaque cellule. Pour plus d’informations, consultez Importer un fichier et le convertir en notebook.

   

2. Effectuez l’une des opérations suivantes :

   • Dans la barre de titre de l’éditeur de fichiers du notebook, cliquez sur l’icône Exécuter sur Databricks, puis sur Exécuter un fichier en tant que flux de travail.

   Remarque

   Si Exécuter sur Databricks en tant que workflow n’est pas disponible, consultez Créer une configuration d’exécution personnalisée.

   • Dans la vue Explorateur (Afficher l’exporateur >), cliquez avec le bouton droit de la souris sur le fichier notebook, puis sélectionnez Exécuter sur Databricks>Exécuter le fichier comme un flux de travail dans le menu contextuel.

Un nouvel onglet d’éditeur s’affiche, intitulé Databricks Job Run (Exécution des travaux Databricks). Le notebook s’exécute en tant que travail dans l’espace de travail. Le notebook et sa sortie s’affichent dans la zone Sortie de l’onglet nouvel éditeur.

Pour afficher des informations sur l’exécution du travail, cliquez sur le lien Task run ID (ID d’exécution de la tâche) dans l’onglet Databricks Job Run (Exécution des travaux Databricks). Votre espace de travail s’ouvre et les détails de l’exécution du travail s’affichent dans l’espace de travail.

Créer une configuration de série de tests personnalisée

Une configuration de série de tests personnalisée pour l’extension Databricks pour Visual Studio Code vous permet de passer des arguments personnalisés à un travail ou à un notebook, ou de créer des paramètres d’exécution différents pour différents fichiers.

Pour créer une configuration de série de tests personnalisée, cliquez sur Exécuter > Ajouter une configuration dans le menu principal de Visual Studio Code. Sélectionnez ensuite Databricks pour une configuration de série de tests basée sur un cluster, ou Databricks : Workflow pour une configuration de série de tests basée sur un travail.

Par exemple, la configuration de série de tests personnalisée suivante modifie la commande de lancement Exécuter un fichier en tant que flux de travail pour transmettre l’argument --prod au travail :

{
  "version": "0.2.0",
  "configurations": [
    {
      "type": "databricks-workflow",
      "request": "launch",
      "name": "Run on Databricks as Workflow",
      "program": "${file}",
      "parameters": {},
      "args": ["--prod"]
    }
  ]
}

Conseil

Ajoutez "databricks": true à votre configuration "type": "python" si vous souhaitez utiliser la configuration Python, mais tirez parti de l’authentification Databricks Connect qui fait partie de la configuration de l’extension.

En utilisant des configurations de série de tests personnalisées, vous pouvez également passer des arguments de ligne de commande et exécuter votre code en appuyant simplement sur F5. Pour plus d’informations, consultez Lancer des configurations dans la documentation Visual Studio Code.