Partager via

Configuration du cluster pour Databricks Connect

  • Article

Remarque

Cet article traite de Databricks Connect pour Databricks Runtime 13.0 et versions ultérieures.

Cet article répertorie les exigences de configuration et les paramètres des clusters Azure Databricks avant que Databricks Connect ne puisse s’y connecter. Ces informations s’appliquent à la version Python et Scala de Databricks Connect, sauf indication contraire.

Databricks Connect vous permet de connecter des IDE populaires tels que Visual Studio Code, PyCharm, RStudio Desktop et IntelliJ IDEA ainsi que des serveurs de notebooks et d’autres applications personnalisées aux clusters Azure Databricks. Consultez Qu’est-ce que Databricks Connect ?.

Spécifications

  • Vous avez un espace de travail Azure Databricks et son compte correspondant activés pour Unity Catalog. Consultez les pages Configurer et gérer Unity Catalog et Activer un espace de travail pour Unity Catalog.
  • Un cluster Azure Databricks avec Databricks Runtime 13.3 LTS ou une version ultérieure est installé.
  • Le cluster doit utiliser un mode d’accès au cluster attribué ou partagé. Voir Modes d’accès aux fichiers.
  • La version de Databricks Connect utilisée doit être la même que celle de Databricks Runtime exécutée sur le cluster (ou inférieure).

Validation par programmation

Dans Databricks Connect 14.3 et versions ultérieures, DatabricksSession.builder introduit validateSession qui exécute une série de validations pour s’assurer que les exigences précédentes sont remplies.

Dans Databricks Connect pour Python, le fichier binaire databricks-connect a une sous-commande test qui effectue le même jeu de validations.

Cette commande doit être exécutée sur le terminal avec un environnement Python actif contenant Databricks Connect, mais également avec l’ensemble d’informations d’identification configuré par défaut. Pour configurer ces informations d’identification, consultez Configurer les propriétés de connexion.

databricks-connect test

La commande échoue avec un code de sortie non nul et un message approprié lorsque l’une des conditions requises n’est pas remplie.

Désactivation de Databricks Connect

Les services Databricks Connect (et Spark Connect sous-jacents) peuvent être désactivés sur n’importe quel cluster donné.

Pour désactiver le service Databricks Connect, définissez la configuration Spark suivante sur le cluster.

spark.databricks.service.server.enabled false

Étapes suivantes