Delen via

Beperkingen met Databricks Connect voor Python

  • Artikel

Notitie

Dit artikel bevat informatie over Databricks Connect voor Databricks Runtime 13.3 LTS en hoger.

Dit artikel bevat beperkingen met Databricks Connect voor Python. Met Databricks Connect kunt u populaire IDE's, notebookservers en aangepaste toepassingen verbinden met Azure Databricks-clusters. Zie Wat is Databricks Connect? Zie Beperkingen voor Databricks Connect voor Scala voor de Scala-versie van dit artikel.

Niet beschikbaar op Databricks Connect voor Databricks Runtime 13.3 LTS en hieronder:

  • Streaming foreachBatch
  • DataFrames maken die groter zijn dan 128 MB
  • Lange query's van meer dan 3600 seconden

Niet beschikbaar:

  • Gegevensset-API
  • Getypte API's voor gegevenssets (zoals reduce() en flatMap())
  • Databricks Utilities: credentials, library, notebook workflowwidgets
  • SparkContext
  • RDDs
  • MLflow-modeldeductie: pyfunc.spark_udf() API
  • Mozaïek georuimtelijk
  • CREATE TABLE <table-name> AS SELECT (gebruik in plaats daarvan spark.sql("SELECT ...").write.saveAsTable("table"))
  • ApplyinPandas() en Cogroup() met gedeelde clusters
  • Het log4j-logboekniveau wijzigen via SparkContext
  • Gedistribueerde ML-training
  • De lokale ontwikkelomgeving synchroniseren met het externe cluster