Fonctionnalités d’extension des packs de ressources Databricks

L’extension Databricks pour Visual Studio Code fournit des fonctionnalités supplémentaires dans Visual Studio Code qui vous permettent de définir, déployer et exécuter facilement des bundles de ressources Databricks pour appliquer les meilleures pratiques CI/CD à vos travaux Lakeflow, pipelines déclaratifs Lakeflow Spark et piles MLOps. Consultez Que sont les packs de ressources Databricks ?.

Pour installer l’extension Databricks pour Visual Studio Code, consultez Installer l’extension Databricks pour Visual Studio Code.

Prise en charge des packs de ressources Databricks dans les projets

L’extension Databricks pour Visual Studio Code ajoute les fonctionnalités suivantes pour vos projets packs de ressources Databricks :

• Authentification et configuration simples de vos packs de ressources Databricks via l’interface utilisateur de Visual Studio Code, y compris la sélection du profil AuthType. Consultez Configurer l’autorisation pour l’extension Databricks pour Visual Studio Code.
• Sélecteur cible dans le panneau d’extension Databricks pour basculer rapidement entre les environnements cibles groupés. Consultez Modifier l’espace de travail de déploiement cible.
• L’option Remplacer le cluster de tâches dans le pack dans le panneau d’extension pour activer le remplacement facile du cluster.
• Vue De l’Explorateur de ressources Bundles , qui vous permet de parcourir vos ressources groupées à l’aide de l’interface utilisateur de Visual Studio Code, déployez les ressources de votre bundle de ressources Databricks local sur votre espace de travail Azure Databricks distant en un seul clic, puis accédez directement à vos ressources déployées dans votre espace de travail à partir de Visual Studio Code. Consultez Bundle Resource Explorer.
• Vue variables groupées, qui vous permet de parcourir et de modifier vos variables groupées à l’aide de l’interface utilisateur de Visual Studio Code. Consultez l'Affichage des Variables groupées.

Explorateur de ressources du bundle

La vue Explorateur de ressources d’offre groupée de l’extension Databricks pour Visual Studio Code utilise les définitions de ressources dans la configuration d’offre groupée du projet pour afficher les ressources, notamment les jeux de données de pipeline et leurs schémas. Elle vous permet également de déployer et d’exécuter des ressources, de valider et d’effectuer des mises à jour partielles des pipelines, d’afficher les événements et les diagnostics d’exécutions de pipeline, et de naviguer vers les ressources de votre espace de travail Azure Databricks distant. Pour plus d’informations sur les ressources de configuration de bundle, consultez les ressources.

Par exemple, en fonction d’une définition du travail simple :

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

La vue Explorateur des ressources de bundle dans l’extension affiche la ressource de tâche du notebook :

Déployer et exécuter un travail

Pour déployer le bundle, cliquez sur l’icône cloud (Déployer un bundle).

Pour exécuter le job, dans la vue Explorateur de ressources de bundle, sélectionnez le nom du job, qui est Mon job de notebook dans cet exemple. Cliquez ensuite sur l’icône lecture (Déployer le bundle et exécuter la ressource).

Pour afficher la tâche en cours d’exécution, dans la vue Bundle de l’explorateur de ressources, développez le nom de la tâche, cliquez sur Statut d'exécution, puis cliquez sur l’icône de lien (Ouvrir le lien à l'extérieur).

Valider et diagnostiquer les problèmes de pipeline

Pour un pipeline, vous pouvez déclencher la validation et une mise à jour partielle en sélectionnant le pipeline, puis l'icône de vérification (Déployer le bundle et valider le pipeline). Les événements de l’exécution sont affichés et tous les échecs peuvent être diagnostiqués dans le panneau PROBLÈMES de Visual Studio Code.

Vue Variables groupées

La vue Vue Variables groupées dans l’extension Databricks pour Visual Studio Code affiche les variables personnalisées et les paramètres associés définis dans votre configuration de bundle. Vous pouvez également définir des variables directement à l’aide de la vue Variables groupées. Ces valeurs remplacent celles définies dans les fichiers de configuration de bundle. Pour plus d’informations sur les variables personnalisées, consultez Variables personnalisées.

Par exemple, l’affichage Vue Variables groupées dans l’extension affiche les éléments suivants :

Pour la variable my_custom_var définie dans cette configuration de bundle :

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}