Beperkingen met Databricks Connect voor Python
Notitie
Dit artikel bevat informatie over Databricks Connect voor Databricks Runtime 13.3 LTS en hoger.
Dit artikel bevat beperkingen met Databricks Connect voor Python. Met Databricks Connect kunt u populaire IDE's, notebookservers en aangepaste toepassingen verbinden met Azure Databricks-clusters. Zie Wat is Databricks Connect? Zie Beperkingen voor Databricks Connect voor Scala voor de Scala-versie van dit artikel.
Niet beschikbaar op Databricks Connect voor Databricks Runtime 13.3 LTS en hieronder:
- Streaming
foreachBatch
- DataFrames maken die groter zijn dan 128 MB
- Lange query's van meer dan 3600 seconden
Niet beschikbaar:
- Gegevensset-API
- Getypte API's voor gegevenssets (zoals
reduce()
enflatMap()
) - Databricks Utilities:
credentials
,library
,notebook workflow
widgets
SparkContext
RDDs
- MLflow-modeldeductie:
pyfunc.spark_udf()
API - Mozaïek georuimtelijk
CREATE TABLE <table-name> AS SELECT
(gebruik in plaats daarvanspark.sql("SELECT ...").write.saveAsTable("table")
)ApplyinPandas()
enCogroup()
met gedeelde clusters- Het log4j-logboekniveau wijzigen via
SparkContext
- Gedistribueerde ML-training
- De lokale ontwikkelomgeving synchroniseren met het externe cluster