Partager via

Databricks Connect pour Python

  • Article

Remarque

Cet article présente Databricks Connect pour Databricks Runtime 13.3 LTS et les versions ultérieures.

Cet article montre comment démarrer rapidement avec Databricks Connect à l’aide de Python et PyCharm.

Databricks Connect vous permet de connecter des environnements de développement intégré (IDE) populaires tels que PyCharm, des serveurs notebook et d’autres applications personnalisées aux clusters Azure Databricks. Consultez Qu’est-ce que Databricks Connect ?.

Didacticiel

Pour ignorer ce tutoriel et utiliser un autre IDE à la place, consultez Étapes suivantes.

Spécifications

Pour suivre ce tutoriel, vous devez répondre aux exigences suivantes :

  • Unity Catalog doit être activé sur votre espace de travail Azure Databricks cible.
  • PyCharm est installé. Ce tutoriel a été testé avec PyCharm Community Edition 2023.3.5. Si vous utilisez une version ou une édition différente de PyCharm, les instructions suivantes peuvent varier.
  • Votre calcul répond aux exigences d’installation de Databricks Connect pour Python.
  • Si vous utilisez le calcul classique, vous aurez besoin de l’ID du cluster. Pour obtenir votre ID de cluster, dans votre espace de travail, cliquez sur Calcul dans la barre latérale, puis sur le nom de votre cluster. Dans la barre d’adresse de votre navigateur web, copiez la chaîne de caractères entre clusters et configuration dans l’URL.

Étape 1 : configurer l’authentification Azure Databricks

Ce tutoriel utilise l’authentification U2M (utilisateur à machine) OAuth d’Azure Databricks et un profil de configuration Azure Databricks pour l’authentification auprès de votre espace de travail Azure Databricks. Pour utiliser un autre type d’authentification, consultez la section Configurer les propriétés de connexion.

La configuration de l’authentification U2M OAuth nécessite l’interface CLI Databricks : Pour en savoir plus sur l’installation de l’interface CLI Databricks, consultez Installer ou mettre à jour l’interface CLI Databricks.

Lancez l’authentification U2M OAuth de la manière qui suit :

  1. Utilisez l’interface CLI Databricks pour lancer la gestion des jetons OAuth localement en exécutant la commande suivante pour chaque espace de travail cible.

    Dans la commande suivante, remplacez <workspace-url> par votre URL d’espace de travail Azure Databricks, par exemple https://adb-1234567890123456.7.azuredatabricks.net.

    databricks auth login --configure-cluster --host <workspace-url>

    Dans le cas contraire, si vous souhaitez utiliser le calcul Databricks Serverless avec DB Connect, suivez les étapes sur Configurer un contact à un calcul serverless.

  2. L’interface CLI Databricks vous invite à enregistrer les informations que vous avez entrées en tant que profil de configuration Azure Databricks. Appuyez sur Enter pour accepter le nom de profil suggéré, ou entrez le nom d’un profil nouveau ou existant. Tout profil existant portant le même nom est remplacé par les informations que vous avez entrées. Vous pouvez utiliser des profils pour changer rapidement de contexte d’authentification entre plusieurs espaces de travail.

    Pour obtenir la liste des profils existants, dans un autre terminal ou une autre invite de commandes, utilisez l’interface CLI Databricks pour exécuter la commande databricks auth profiles. Pour voir les paramètres existants d’un profil spécifique, exécutez la commande databricks auth env --profile <profile-name>.

  3. Dans votre navigateur web, suivez les instructions à l’écran pour vous connecter à votre espace de travail Azure Databricks.

  4. Dans la liste des clusters disponibles qui s’affiche sur votre terminal ou votre ligne de commandes, utilisez les flèches haut et bas pour sélectionner le cluster Azure Databricks cible dans votre espace de travail, puis appuyez sur Enter. Vous pouvez également taper n’importe quelle partie du nom d’affichage du cluster pour filtrer la liste des clusters disponibles.

  5. Pour voir la valeur du jeton OAuth actuel d’un profil et l’horodatage de l’expiration à venir du jeton, exécutez l’une des commandes suivantes :

    • databricks auth token --host <workspace-url>
    • databricks auth token -p <profile-name>
    • databricks auth token --host <workspace-url> -p <profile-name>

    Si vous avez plusieurs profils présentant la même valeur pour --host, il peut être nécessaire de spécifier les options --host et -p ensemble pour permettre à l’interface CLI Databricks de trouver les informations du jeton OAuth correspondant.

Étape 2 : créer le projet

  1. Démarrez PyCharm.
  2. Dans le menu principal, cliquez sur Fichier > Nouveau projet.
  3. Dans la boîte de dialogue Nouveau projet, cliquez sur Pure Python.
  4. Pour Emplacement, cliquez sur l’icône de dossier et suivez les instructions à l’écran pour spécifier le chemin d’accès à votre nouveau projet Python.
  5. Laissez Créer un script de bienvenue main.py sélectionné.
  6. Pour le type d’interpréteur, cliquez sur Projet venv.
  7. Développez la section version de Python, puis utilisez l’icône de dossier ou la liste déroulante pour spécifier le chemin d’accès à l’interpréteur Python à partir des exigences précédentes.
  8. Cliquez sur Créer.

Créer le projet PyCharm

Étape 3 : Ajouter le package Databricks Connect

  1. Dans le menu main de PyCharm, cliquez sur Afficher les > packages Windows Python de l’outil>.
  2. Dans la zone de recherche, entrez databricks-connect.
  3. Dans la liste référentiel PyPI, cliquez sur databricks-connect.
  4. Dans la liste déroulante la plus récente du volet de résultats, sélectionnez la version qui correspond à la version de Databricks Runtime de votre cluster. Par exemple, si Databricks Runtime 14.3 est installé sur votre cluster, sélectionnez 14.3.1.
  5. Cliquez sur Installer le package.
  6. Une fois le package installé, vous pouvez fermer la fenêtre Packages Python.

Installer le package Databricks Connect

Étape 4 : Ajouter du code

  1. Dans la fenêtre Outil Projet, cliquez avec le bouton droit de la souris sur le répertoire racine du projet et cliquez sur Nouveau> fichier Python.

  2. Entrez main.py et double-cliquez sur Fichier Python.

  3. Entrez le code suivant dans le fichier, puis enregistrez le fichier, en fonction du nom de votre profil de configuration.

    Si votre profil de configuration de l’étape 1 s’appelle DEFAULT, entrez le code suivant dans le fichier, puis enregistrez le fichier :

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

    Si votre profil de configuration de l’étape 1 ne s’appelle pas DEFAULT, entrez le code suivant dans le fichier à la place. Remplacez l’espace réservé <profile-name> par le nom de votre profil de configuration de l’étape 1, puis enregistrez le fichier :

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.profile("<profile-name>").getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

Étape 5 : Exécuter le code

  1. Démarrer le cluster cible dans votre espace de travail Azure Databricks distant.
  2. Une fois le cluster démarré, dans le menu principal, cliquez sur Exécuter > Exécuter « main ».
  3. Dans la fenêtre Outil Exécution (Affichage > Fenêtres Outil > Exécution), sous l’onglet Exécuter principal du volet, les 5 premières lignes de la table samples.nyctaxi.trips s’affichent.

Étape 6 : déboguer le code

  1. Le cluster étant toujours en cours d’exécution, dans le code précédent, cliquez sur la gouttière à côté de df.show(5) pour définir un point d’arrêt.
  2. Dans le menu principal, cliquez sur Exécuter > Déboguer « main ».
  3. Dans la fenêtre Outil Déboguer (Afficher> Fenêtre Outil > Déboguer), dans le volet Variables de l’onglet Débogueur, développez les nœuds df et spark variable pour parcourir des informations sur le code df et les spark variables.
  4. Dans la barre latérale de la fenêtre Outil de débogage, cliquez sur l’icône flèche verte (Reprendre le programme).
  5. Dans le volet Console de l’onglet Débogueur, les 5 premières lignes de l’écransamples.nyctaxi.trips apparaissent.

Déboguer le projet PyCharm

Étapes suivantes

Pour en savoir plus sur Databricks Connect, consultez la sélection d’articles suivante :