Partager via

Limitations avec Databricks Connect pour Scala

  • Article

Remarque

Cet article présente Databricks Connect pour Databricks Runtime 13.3 LTS et les versions ultérieures.

Cet article répertorie les limitations avec Databricks Connect pour Scala. Databricks Connect vous permet de connecter des IDE populaires, des serveurs de notebook et des applications personnalisées aux clusters Azure Databricks. Consultez Qu’est-ce que Databricks Connect ?. Pour accéder à la version Python de cet article, consultez Limitations avec Databricks Connect pour Python.

Non disponible sur Databricks Connect pour Databricks Runtime 13.3 LTS et versions antérieures :

  • Diffuser en continu foreachBatch
  • Création de DataFrames de plus de 128 Mo
  • Requêtes longues sur 3 600 secondes
  • Fonctions définies par l’utilisateur scalaire sur les clusters qui utilisent le mode d’accès au cluster mono-utilisateur

Non disponible :

  • Databricks Utilities : credentials, library, notebook workflow, widgets
  • SparkContext
  • RDDs
  • Inférence du modèle MLflow : API pyfunc.spark_udf()
  • Fonctionnalité géospatiale via Mosaic
  • CREATE TABLE <table-name> AS SELECT (à la place, utilisez spark.sql("SELECT ...").write.saveAsTable("table"))
  • Modification du niveau de journal log4j via SparkContext
  • Formation ML distribuée
  • Synchronisation de l’environnement de développement local avec le cluster distant