Compartir a través de

Limitaciones con Databricks Connect para Python

  • Artículo

Nota:

En este artículo se trata Databricks Connect para Databricks Runtime 13.0 y versiones posteriores.

En este artículo se enumeran las limitaciones con Databricks Connect para Python. Databricks Connect le permite conectar los clústeres de Azure Databricks a entornos de desarrollo integrado populares, servidores de cuadernos y otras aplicaciones personalizadas. Consulte ¿Qué es Databricks Connect?. Para obtener la versión de Scala de este artículo, consulte Limitaciones con Databricks Connect para Scala.

No disponible en Databricks Connect para Databricks Runtime 13.3 LTS:

  • Streaming de foreachBatch
  • Creación de DataFrames de más de 128 MB
  • Consultas largas de más de 3600 segundos

No disponible en Databricks Connect para Databricks Runtime 13.0:

  • UDF
  • UDF de Pandas
  • Pandas en Spark
  • Streaming (sin foreachBatch)
  • Utilidades de Databricks: fs, ls y secrets
  • OAuth
  • ApplyinPandas() y Cogroup() con clústeres de usuario único

No disponible:

  • API de conjunto de datos
  • API con tipo de conjunto de datos (como reduce() y flatMap())
  • Utilidades de Databricks: credentials, library, notebook workflow, widgets
  • SparkContext
  • RDDs
  • Inferencia del modelo de MLflow: API de pyfunc.spark_udf()
  • Geoespaciales de mosaico
  • CREATE TABLE <table-name> AS SELECT (en su lugar, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • ApplyinPandas() y Cogroup() con clústeres compartidos
  • Cambio del nivel de registro de log4j a través de SparkContext
  • Entrenamiento distribuido de ML
  • Sincronización del entorno de desarrollo local con el clúster remoto