Omezení služby Databricks Connect pro Python

Poznámka:

Tento článek se zabývá Databricks Connect pro Databricks Runtime verze 13.3 LTS a novější.

Tento článek uvádí omezení služby Databricks Connect pro Python. Databricks Connect umožňuje připojit oblíbená prostředí IDE, servery poznámkových bloků a vlastní aplikace ke clusterům Azure Databricks. Viz Databricks Connect. Informace o verzi Scala tohoto článku najdete v tématu Omezení služby Databricks Connect pro Scala.

Důležitý

V závislosti na verzi Python, Databricks Runtime a Databricks Connect, kterou používáte, můžou některé funkce mít požadavky na verzi. Viz požadavky na využití Databricks Connect.

Dostupnost funkcí

Není k dispozici v Databricks Connect pro Databricks Runtime 13.3 LTS a níže:

• Streamování foreachBatch
• Vytváření datových rámců s nevyřešeným logickým plánem větším než 128 MB Tento limit platí pro velikost plánu, ne pro samotná data.
• Dlouhé dotazy delší než 3600 sekund

Není k dispozici v Databricks Connect pro Databricks Runtime 15.3 a níže:

• ApplyinPandas() a Cogroup() s výpočetními prostředky s standardním režimem přístupu

Není k dispozici v Databricks Connect pro Databricks Runtime 16.3 a níže:

• Na serverless výpočetních prostředcích nemohou UDFs zahrnovat vlastní knihovny.

Není k dispozici:

• dataframe.display() API
• Nástroje Databricks: credentials, library, notebook workflow, widgets
• Kontext Sparku
• RDDs
• Knihovny, které používají sady RDD, Spark Context nebo přistupují k podkladovému prostředí Spark JVM, jako jsou Mosaic geospatial, GraphFrames nebo GreatExpectations.
• CREATE TABLE <table-name> AS SELECT (místo toho použijte spark.sql("SELECT ...").write.saveAsTable("table"))
• Změna úrovně protokolu log4j prostřednictvím SparkContext
• Distribuované trénování ML se nepodporuje.
• Synchronizace místního vývojového prostředí se vzdáleným clusterem