Dela via

Begränsningar med Databricks Connect för Python

  • Artikel

Kommentar

Den här artikeln beskriver Databricks Connect för Databricks Runtime 13.3 LTS och senare.

Den här artikeln innehåller begränsningar med Databricks Connect för Python. Med Databricks Connect kan du ansluta populära IDE:er, notebook-servrar och anpassade program till Azure Databricks-kluster. Se Vad är Databricks Connect?. Scala-versionen av den här artikeln finns i Begränsningar med Databricks Connect för Scala.

Inte tillgängligt på Databricks Connect för Databricks Runtime 13.3 LTS och nedan:

  • Direktuppspelning foreachBatch
  • Skapa dataramar som är större än 128 MB
  • Långa frågor över 3 600 sekunder

Inte tillgängligt:

  • API för datauppsättning
  • Inskrivna API:er för datauppsättningar (till exempel reduce() och flatMap())
  • Databricks Utilities: credentials, library, notebook workflow, widgets
  • SparkContext
  • RDDs
  • MLflow-modellinferens: pyfunc.spark_udf() API
  • Mosaik geospatial
  • CREATE TABLE <table-name> AS SELECT (använd spark.sql("SELECT ...").write.saveAsTable("table")i stället )
  • ApplyinPandas() och Cogroup() med delade kluster
  • Ändra log4j-loggnivån via SparkContext
  • Distribuerad ML-träning
  • Synkronisera den lokala utvecklingsmiljön med fjärrklustret