Partager via

Databricks Connect pour Python

  • Article

Remarque

Cet article traite de Databricks Connect pour Databricks Runtime 13.0 et versions ultérieures.

Cet article montre comment démarrer rapidement avec Databricks Connect à l’aide de Python et PyCharm.

Databricks Connect vous permet de connecter des environnements de développement intégré (IDE) populaires tels que PyCharm, des serveurs notebook et d’autres applications personnalisées aux clusters Azure Databricks. Consultez Qu’est-ce que Databricks Connect ?.

Didacticiel

Pour ignorer ce tutoriel et utiliser un autre IDE à la place, consultez Étapes suivantes.

Spécifications

Pour suivre ce tutoriel, vous devez répondre aux exigences suivantes :

  • Votre cluster et votre espace de travail Azure Databricks cibles doivent répondre aux exigences de Configuration de cluster pour Databricks Connect.

  • Vous devez disposer de votre ID de cluster. Pour obtenir votre ID de cluster, dans votre espace de travail, cliquez sur Calcul dans la barre latérale, puis sur le nom de votre cluster. Dans la barre d’adresse de votre navigateur web, copiez la chaîne de caractères entre clusters et configuration dans l’URL.

  • PyCharm est installé. Ce tutoriel a été testé avec PyCharm Community Edition 2023.3.5. Si vous utilisez une version ou une édition différente de PyCharm, les instructions suivantes peuvent varier.

  • Python 3 est installé sur votre machine de développement et la version mineure de l’installation Python de votre client est la même que la version mineure de Python de votre cluster Azure Databricks. La table suivante indique la version de Python installée avec chaque version de Databricks Runtime.

    Version de Databricks Runtime Version Python
    15.0 ML,
    15.0    		 3.11
    13.0 ML – 14.3 ML,
    13.0 – 14.3    		 3.10

Étape 1 : Configurer l’authentification Azure Databricks

Ce tutoriel utilise l’authentification U2M (utilisateur à machine) OAuth d’Azure Databricks et un profil de configuration Azure Databricks pour l’authentification auprès de votre espace de travail Azure Databricks. Pour utiliser un autre type d’authentification à la place, consultez Configurer les propriétés de connexion.

La configuration de l’authentification U2M OAuth nécessite l’interface CLI Databricks suivante :

  1. Si elle n’est pas déjà installée, installez l’interface CLI Databricks de la manière suivante :

    Linux, macOS

    Utilisez Homebrew pour installer l’interface CLI Databricks en exécutant les deux commandes suivantes :

    brew tap databricks/tap
brew install databricks

    Windows

    Vous pouvez utiliser winget, Chocolatey ou WSL (Sous-système Windows pour Linux) pour installer l’interface CLI Databricks. Si vous ne pouvez pas utiliser wingetChocolatey ou WSL, vous devez ignorer cette procédure et utiliser l’invite de commande ou PowerShell pour installer l’interface CLI Databricks depuis la source à la place.

    Remarque

    L’installation de l’interface CLI Databricks avec Chocolatey est Expérimentale.

    Pour installer l’interface CLI Databricks via winget, exécutez les deux commandes suivantes, puis redémarrez votre invite de commandes :

    winget search databricks
winget install Databricks.DatabricksCLI

    Pour utiliser Chocolatey pour installer l’interface CLI Databricks, exécutez la commande suivante :

    choco install databricks-cli

    Pour utiliser WSL pour installer l’interface CLI Databricks :

    1. Installez curl et zip via WSL. Pour plus d'informations, consultez la documentation de votre système d'exploitation.

    2. Utilisez WSL pour installer l’interface CLI Databricks en exécutant la commande suivante :

      curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sh

  2. Vérifiez que l’interface CLI Databricks est installée en exécutant la commande suivante, qui affiche la version actuelle de l’interface CLI Databricks installée. Cette version doit être la version 0.205.0 ou ultérieure :

    databricks -v

    Remarque

    Si vous exécutez databricks mais que vous obtenez une erreur telle que command not found: databricks, ou si vous exécutez databricks -v et qu’un numéro de version 0.18 ou inférieur est affiché, votre ordinateur ne trouve pas la version correcte de l’exécutable de l’interface CLI Databricks. Pour résoudre ce problème, consultez Vérifier l’installation de votre interface CLI.

Lancez l’authentification U2M OAuth de la manière qui suit :

  1. Utilisez l’interface CLI Databricks pour lancer la gestion des jetons OAuth localement en exécutant la commande suivante pour chaque espace de travail cible.

    Dans la commande suivante, remplacez <workspace-url> par votre URL d’espace de travail Azure Databricks, par exemple https://adb-1234567890123456.7.azuredatabricks.net.

    databricks auth login --configure-cluster --host <workspace-url>

  2. L’interface CLI Databricks vous invite à enregistrer les informations que vous avez entrées en tant que profil de configuration Azure Databricks. Appuyez sur Enter pour accepter le nom de profil suggéré, ou entrez le nom d’un profil nouveau ou existant. Tout profil existant portant le même nom est remplacé par les informations que vous avez entrées. Vous pouvez utiliser des profils pour changer rapidement de contexte d’authentification entre plusieurs espaces de travail.

    Pour obtenir la liste des profils existants, dans un autre terminal ou une autre invite de commandes, utilisez l’interface CLI Databricks pour exécuter la commande databricks auth profiles. Pour voir les paramètres existants d’un profil spécifique, exécutez la commande databricks auth env --profile <profile-name>.

  3. Dans votre navigateur web, suivez les instructions à l’écran pour vous connecter à votre espace de travail Azure Databricks.

  4. Dans la liste des clusters disponibles qui s’affiche sur votre terminal ou votre ligne de commandes, utilisez les flèches haut et bas pour sélectionner le cluster Azure Databricks cible dans votre espace de travail, puis appuyez sur Enter. Vous pouvez également taper n’importe quelle partie du nom d’affichage du cluster pour filtrer la liste des clusters disponibles.

  5. Pour voir la valeur du jeton OAuth actuel d’un profil et l’horodatage de l’expiration à venir du jeton, exécutez l’une des commandes suivantes :

    • databricks auth token --host <workspace-url>
    • databricks auth token -p <profile-name>
    • databricks auth token --host <workspace-url> -p <profile-name>

    Si vous avez plusieurs profils présentant la même valeur pour --host, il peut être nécessaire de spécifier les options --host et -p ensemble pour permettre à l’interface CLI Databricks de trouver les informations du jeton OAuth correspondant.

Étape 2 : créer le projet

  1. Démarrez PyCharm.
  2. Dans le menu principal, cliquez sur Fichier > Nouveau projet.
  3. Dans la boîte de dialogue Nouveau projet, cliquez sur Pure Python.
  4. Pour Emplacement, cliquez sur l’icône de dossier et suivez les instructions à l’écran pour spécifier le chemin d’accès à votre nouveau projet Python.
  5. Laissez Créer un script de bienvenue main.py sélectionné.
  6. Pour le type d’interpréteur, cliquez sur Projet venv.
  7. Développez la section version de Python, puis utilisez l’icône de dossier ou la liste déroulante pour spécifier le chemin d’accès à l’interpréteur Python à partir des exigences précédentes.
  8. Cliquez sur Créer.

Créer le projet PyCharm

Étape 3 : Ajouter le package Databricks Connect

  1. Dans le menu main de PyCharm, cliquez sur Afficher les > packages Windows Python de l’outil>.
  2. Dans la zone de recherche, entrez databricks-connect.
  3. Dans la liste référentiel PyPI, cliquez sur databricks-connect.
  4. Dans la liste déroulante la plus récente du volet de résultats, sélectionnez la version qui correspond à la version de Databricks Runtime de votre cluster. Par exemple, si Databricks Runtime 14.3 est installé sur votre cluster, sélectionnez 14.3.1.
  5. Cliquez sur Installer le package.
  6. Une fois le package installé, vous pouvez fermer la fenêtre Packages Python.

Installer le package Databricks Connect

Étape 4 : Ajouter du code

  1. Dans la fenêtre Outil Projet, cliquez avec le bouton droit de la souris sur le répertoire racine du projet et cliquez sur Nouveau> fichier Python.

  2. Entrez main.py et double-cliquez sur Fichier Python.

  3. Entrez le code suivant dans le fichier, puis enregistrez le fichier, en fonction du nom de votre profil de configuration.

    Si votre profil de configuration de l’étape 1 s’appelle DEFAULT, entrez le code suivant dans le fichier, puis enregistrez le fichier :

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

    Si votre profil de configuration de l’étape 1 ne s’appelle pas DEFAULT, entrez le code suivant dans le fichier à la place. Remplacez l’espace réservé <profile-name> par le nom de votre profil de configuration de l’étape 1, puis enregistrez le fichier :

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.profile("<profile-name>").getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

Étape 5 : Exécuter le code

  1. Démarrer le cluster cible dans votre espace de travail Azure Databricks distant.
  2. Une fois le cluster démarré, dans le menu principal, cliquez sur Exécuter > Exécuter « main ».
  3. Dans la fenêtre Outil Exécution (Affichage > Fenêtres Outil > Exécution), sous l’onglet Exécuterprincipal du volet, les 5 premières lignes de la table samples.nyctaxi.trips s’affichent.

Étape 6 : déboguer le code

  1. Le cluster étant toujours en cours d’exécution, dans le code précédent, cliquez sur la gouttière à côté de df.show(5) pour définir un point d’arrêt.
  2. Dans le menu principal, cliquez sur Exécuter > Déboguer « main ».
  3. Dans la fenêtre Outil Déboguer (Afficher> Fenêtre Outil > Déboguer), dans le volet Variables de l’onglet Débogueur, développez les nœuds df et spark variable pour parcourir des informations sur le code df et les spark variables.
  4. Dans la barre latérale de la fenêtre Outil de débogage, cliquez sur l’icône flèche verte (Reprendre le programme).
  5. Dans le volet Console de l’onglet Débogueur, les 5 premières lignes de l’écransamples.nyctaxi.trips apparaissent.

Déboguer le projet PyCharm

Étapes suivantes

Pour en savoir plus sur Databricks Connect, consultez la sélection d’articles suivante :