Extension IDE Databricks

L’extension IDE Databricks vous permet de vous connecter à vos espaces de travail Azure Databricks distants depuis Visual Studio Code ou Cursor sur votre machine de développement locale. Vous pouvez ensuite :

• Définissez, déployez et exécutez des packs d’automatisation déclaratifs pour appliquer des modèles CI/CD et des bonnes pratiques à vos tâches Lakeflow, pipelines Lakeflow et piles MLOps dans l’interface utilisateur de Visual Studio Code. Voir : Qu’est-ce que les Déclarative Automation Bundles ? et les fonctionnalités Bundle et Explorer.
• Exécutez des fichiers de code Python locaux à partir de Visual Studio Code sur des clusters Azure Databricks ou un calcul serverless dans vos espaces de travail distants. Consultez Exécuter un fichier Python sur un cluster.
• Exécutez des fichiers de code Python locaux (.py) et des notebooks Python, R, Scala et SQL (.py, .ipynb, .r, .scala et .sql) à partir de Visual Studio Code en tant que Jobs Lakeflow dans vos espaces de travail distants. Consultez Exécuter un fichier Python en tant que travail.
• Installer et configurer votre environnement de débogage et Databricks Connect à l’aide d’une liste de contrôle simple qui déclenche des boîtes de dialogue de sélection. Voir Code de débogage utilisant Databricks Connect pour l’extension IDE Databricks.
• Déboguer les notebooks cellule par cellule dans Visual Studio Code avec Databricks Connect. Voir Exécuter et déboguer les cellules de notebooks avec Databricks Connect via l’extension IDE Databricks.
• Synchronisez le code local que vous développez dans Visual Studio Code avec du code dans vos espaces de travail distants. Consultez Synchroniser votre dossier d’espace de travail avec Databricks

Remarque

L’extension IDE Databricks prend en charge l’exécution de notebooks R, Scala et SQL en tant que tâches automatisées, mais ne fournit pas de support plus approfondi pour ces langages dans Visual Studio Code.

Démarrage

Pour commencer à utiliser l’extension IDE Databricks :

• Installez l’extension.
• Create un nouveau projet Databricks ou convert un projet de Visual Studio Code existant.
• Configurez facilement votre projet à l’aide de l’interface utilisateur de l’extension Databricks.
• Exécutez du code Python dans le cadre du didacticiel extension.
• Déboguez votre code en utilisant l’intégration Databricks Connect.
• Testez votre code en utilisant pytest. Voir Exécuter des tests Python en utilisant l’extension IDE Databricks.

Créer un nouveau projet Databricks

Une fois l’extension installée, vous pouvez créer un nouveau projet Databricks en utilisant l’extension IDE Databricks :

1. Lancez Visual Studio Code.
2. Cliquez sur l’icône Databricks dans la barre latérale Visual Studio Code pour ouvrir l’extension.
3. Cliquez sur Créer un projet.
4. Dans la palette de commandes, sélectionnez un hôte et une méthode d’authentification pour le projet. Voir Configurer l’autorisation pour l’extension IDE Databricks.
5. Dans Fournir un chemin d’accès à un dossier dans lequel vous souhaitez que votre nouveau projet soit, entrez le chemin d’accès à un dossier sur votre ordinateur de développement local où vous souhaitez créer le projet, ou cliquez sur Ouvrir la boîte de dialogue de sélection du dossier, puis sélectionnez le chemin d’accès au dossier du projet.
6. Pour le modèle à utiliser dans la vue d’initialisation du projet Databricks, utilisez les flèches haut et bas pour sélectionner un modèle de projet, puis appuyez sur Entrée. Pour plus d’informations sur les modèles de projet de paquets, consultez Modèles de projet de Bundles d’automatisation déclaratifs.
7. Tapez un nom unique pour ce projet pour le projet ou conservez le nom du projet par défaut my_project, puis appuyez sur Entrée.
8. Choisissez d’ajouter une ébauche de notebook (exemple), un pipeline Delta Live Tables (exemple) ou une ébauche de package Python au projet, ou une combinaison de ceux-ci.
9. Appuyez sur n’importe quelle touche pour fermer l’onglet éditeur Databricks Project Init.
10. Pour sélectionner le projet que vous souhaitez ouvrir, choisissez le projet que vous venez de créer.

Ouvrir un projet Declarative Automation Bundles existant

Un projet Declarative Automation Bundles a un databricks.yml fichier dans le dossier racine du projet. Consultez la configuration des Bundles d'automatisation déclarative. Si vous souhaitez utiliser l’extension avec un projet Declarative Automation Bundles existant :

1. Lancez Visual Studio Code. Dans le menu principal, cliquez sur Fichier>Ouvrir le dossier et accédez au répertoire qui contient votre projet groupé.

2. Cliquez sur l’icône Databricks dans la barre latérale Visual Studio Code pour ouvrir et commencer à utiliser les fonctionnalités de l’extension.

   Si l’extension IDE Databricks découvre plusieurs projets Declarative Automation Bundles dans le dossier actuel, elle vous permet de choisir d’ouvrir un projet ou de créer un fichier de configuration dans le dossier racine.

   

   • Si vous avez choisi un projet, dans la palette de commandes, sélectionnez votre projet Declarative Automation Bundles existant.
   • Si vous créez une configuration dans le dossier racine, ce dossier devient un projet groupé.

3. Sélectionnez un hôte et une méthode d’authentification pour le projet. Voir Configurer l’autorisation pour l’extension IDE Databricks.

Remarque

Si vous ouvrez un projet créé avec l’extension IDE Databricks v1, la migration est tentée automatiquement en utilisant l’authentification existante et la configuration de l’espace de travail du projet. Le bouton de migration est disponible uniquement si la migration automatique échoue.

Basculer entre les projets Databricks

L’extension IDE Databricks vous permet d’avoir plusieurs projets Databricks dans votre espace de travail Visual Studio Code et de passer facilement de l’un à l’autre. Une fois votre projet multi-bundle ouvert dans l’espace de travail Visual Studio Code :

1. Cliquez sur l’icône Databricks dans la barre latérale Visual Studio Code pour ouvrir l’extension.

2. Cliquez sur Dossier local pour sélectionner le projet que l’extension doit utiliser.

   

Remarque

Les actions d’exécution sont uniquement disponibles pour les fichiers du bundle actif.

Convertir un projet en projet Databricks

Si vous avez un projet existant que vous souhaitez convertir en projet Databricks :

1. Lancez Visual Studio Code. Dans le menu principal, cliquez sur Fichier>Ouvrir le dossier et accédez à votre projet pour l’ouvrir.
2. Cliquez sur l’icône Databricks dans la barre latérale Visual Studio Code pour ouvrir l’extension.
3. Cliquez sur Créer une configuration.
4. Dans la palette de commandes, sélectionnez un hôte et une méthode d’authentification pour le projet. Voir Configurer l’autorisation pour l’extension IDE Databricks.