Limitations avec Databricks Connect pour Python

Remarque

Cet article présente Databricks Connect pour Databricks Runtime 13.3 LTS et les versions ultérieures.

Cet article répertorie les limitations avec Databricks Connect pour Python. Databricks Connect vous permet de connecter des environnements de développement intégré (IDE) populaires, des serveurs notebook et des applications personnalisées aux clusters Azure Databricks. Consultez Qu’est-ce que Databricks Connect ?. Pour accéder à la version Scala de cet article, consultez Limitations avec Databricks Connect pour Scala.

Non disponible sur Databricks Connect pour Databricks Runtime 13.3 LTS et versions antérieures :

• Diffuser en continu foreachBatch
• Création de DataFrames de plus de 128 Mo
• Requêtes longues sur 3 600 secondes

Non disponible :

• API de jeu de données
• API typées de jeu de données (telles que reduce() et flatMap())
• Databricks Utilities : credentials, library, notebook workflow, widgets
• SparkContext
• RDDs
• Inférence du modèle MLflow : API pyfunc.spark_udf()
• Fonctionnalité géospatiale via Mosaic
• CREATE TABLE <table-name> AS SELECT (à la place, utilisez spark.sql("SELECT ...").write.saveAsTable("table"))
• ApplyinPandas() et Cogroup() avec des clusters partagés
• Modification du niveau de journal log4j via SparkContext
• Formation ML distribuée
• Synchronisation de l’environnement de développement local avec le cluster distant