Compartir a través de

Limitaciones con Databricks Connect para Scala

  • Artículo

Nota:

Este artículo describe Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores.

En este artículo se enumeran las limitaciones con Databricks Connect para Scala. Databricks Connect le permite conectar los clústeres de Azure Databricks a entornos de desarrollo integrado populares, servidores de cuadernos y otras aplicaciones personalizadas. Consulte ¿Qué es Databricks Connect?. Para obtener la versión de Python de este artículo, consulte Limitaciones con Databricks Connect para Python.

No disponible en Databricks Connect para Databricks Runtime 13.3 LTS:

  • Streaming de foreachBatch
  • Creación de DataFrames de más de 128 MB
  • Consultas largas de más de 3600 segundos
  • UDF escalares en clústeres que usan el modo de acceso de usuario único.

No disponible:

  • Utilidades de Databricks: credentials, library, notebook workflow, widgets
  • SparkContext
  • RDDs
  • Inferencia del modelo de MLflow: API de pyfunc.spark_udf()
  • Geoespaciales de mosaico
  • CREATE TABLE <table-name> AS SELECT (en su lugar, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • Cambio del nivel de registro de log4j a través de SparkContext
  • Entrenamiento distribuido de ML
  • Sincronización del entorno de desarrollo local con el clúster remoto