Partager via

Utiliser Jupyter Notebook classique avec Databricks Connect pour Python

  • Article

Remarque

Cet article présente Databricks Connect pour Databricks Runtime 13.3 LTS et les versions ultérieures.

Cet article explique comment utiliser Databricks Connect pour Python avec notebook Jupyter classique. Databricks Connect vous permet de connecter des serveurs de notebooks populaires, des IDEs et d’autres applications personnalisées à des clusters Azure Databricks. Consultez Qu’est-ce que Databricks Connect ?.

Remarque

Avant de commencer à utiliser Databricks Connect, vous devez configurer le client Databricks Connect.

Pour utiliser Databricks Connect avec Jupyter Notebook classique et Python, suivez ces instructions.

  1. Pour installer Jupyter Notebook classique, avec votre environnement virtuel Python activé, exécutez la commande suivante à partir de votre terminal ou invite de commandes :

    pip3 install notebook

  2. Pour démarrer Jupyter Notebook classique dans votre navigateur web, exécutez la commande suivante à partir de votre environnement virtuel Python activé :

    jupyter notebook

    Si Jupyter Notebook classique n’apparaît pas dans votre navigateur web, copiez l’URL qui commence par localhost ou 127.0.0.1 à partir de votre environnement virtuel, puis entrez-la dans la barre d’adresse de votre navigateur web.

  3. Créez un notebook : dans Jupyter Notebook classique, sous l’onglet Fichiers, cliquez sur Nouveau > Python 3 (ipykernel).

  4. Dans la première cellule du notebook, entrez l’exemple de code ou votre propre code. Si vous utilisez votre propre code, vous devez au moins initialiser DatabricksSession, comme indiqué dans l’exemple de code.

  5. Pour exécuter le notebook, cliquez sur Cellule > Exécuter tout. Tout le code Python s'exécute localement, tandis que tout le code PySpark impliquant des opérations DataFrame s'exécute sur le cluster dans l'espace de travail Azure Databricks distant et les réponses d'exécution sont renvoyées à l'appelant local.

  6. Pour déboguer le notebook, ajoutez la ligne de code suivante au début de votre notebook :

    from IPython.core.debugger import set_trace

    Puis appelez set_trace() pour entrer des instructions de débogage à ce stade de l’exécution du notebook. Tout le code Python est débogué localement, alors que l’ensemble du code PySpark continue de s’exécuter sur le cluster dans l’espace de travail Azure Databricks distant. Le code principal du moteur Spark ne peut pas être débogué directement à partir du client.

  7. Pour arrêter Jupyter Notebook classique, cliquez sur Fichier> Fermer et arrêter. Si le processus Jupyter Notebook classique est toujours en cours d’exécution dans votre terminal ou invite de commandes, arrêtez ce processus en appuyant sur Ctrl + c, puis en entrant y pour confirmer.