Condividi tramite

Limitazioni con Databricks Connect per Python

  • Articolo

Nota

Questo articolo illustra Databricks Connect per Databricks Runtime 13.3 LTS e versioni successive.

Questo articolo elenca le limitazioni con Databricks Connect per Python. Databricks Connect consente di connettere gli IDE, i server notebook e le applicazioni personalizzate più diffusi ai cluster Azure Databricks. Vedere Che cos'è Databricks Connect?. Per la versione Scala di questo articolo, vedere Limitazioni con Databricks Connect per Scala.

Non disponibile in Databricks Connect per Databricks Runtime 13.3 LTS e versioni successive:

  • Streaming foreachBatch
  • Creazione di dataframe di dimensioni superiori a 128 MB
  • Query lunghe oltre 3600 secondi

Non disponibile:

  • API del set di dati
  • API tipate del set di dati (ad esempio reduce() e flatMap())
  • Utilità di Databricks: credentials, library, notebook workflow, widgets
  • SparkContext
  • RDDs
  • Inferenza del modello MLflow: pyfunc.spark_udf() API
  • Geospaziale mosaico
  • CREATE TABLE <table-name> AS SELECT (usare invece spark.sql("SELECT ...").write.saveAsTable("table"))
  • ApplyinPandas() e Cogroup() con cluster condivisi
  • Modifica del livello di log log4j tramite SparkContext
  • Training di Machine Learning distribuito
  • Sincronizzazione dell'ambiente di sviluppo locale con il cluster remoto