Beperkingen met Databricks-Verbinding maken voor Scala
Notitie
Dit artikel bevat informatie over Databricks Verbinding maken voor Databricks Runtime 13.3 LTS en hoger.
Dit artikel bevat beperkingen met Databricks Verbinding maken voor Scala. Met Databricks Verbinding maken kunt u populaire IDE's, notebookservers en aangepaste toepassingen verbinden met Azure Databricks-clusters. Zie Wat is Databricks Verbinding maken? Zie Beperkingen voor Databricks Verbinding maken voor Python voor de Python-versie van dit artikel.
Niet beschikbaar op Databricks Verbinding maken voor Databricks Runtime 13.3 LTS en hieronder:
- Streaming
foreachBatch
- DataFrames maken die groter zijn dan 128 MB
- Lange query's van meer dan 3600 seconden
- Scalaire UDF's op clusters die de toegangsmodus voor clusters met één gebruiker gebruiken
Niet beschikbaar:
- Databricks Utilities:
credentials
,library
,notebook workflow
widgets
SparkContext
RDDs
- MLflow-modeldeductie:
pyfunc.spark_udf()
API - Mozaïek georuimtelijk
CREATE TABLE <table-name> AS SELECT
(gebruik in plaats daarvanspark.sql("SELECT ...").write.saveAsTable("table")
)- Het log4j-logboekniveau wijzigen via
SparkContext
- Gedistribueerde ML-training
- De lokale ontwikkelomgeving synchroniseren met het externe cluster