Dela via

Krav och begränsningar för standardberäkning

Den här sidan innehåller en lista över krav och begränsningar för standardberäkning. Om du använder klassisk beräkning rekommenderar Databricks att du använder standardåtkomstläge såvida inte din arbetsbelastning är beroende av någon av de begränsningar som anges nedan.

Viktigt!

Init-skript och -bibliotek har olika stöd för olika åtkomstlägen och Databricks Runtime-versioner. Se Var kan init-skript installeras och Beräkningsomfångsbibliotek.

Aktuella standardberäkningsbegränsningar

I följande avsnitt listas begränsningar för standardberäkning baserat på den senaste Databricks Runtime-versionen. Begränsningar som gäller för äldre Databricks Runtime-versioner finns i Körningsberoende begränsningar.

Om dessa funktioner krävs för din arbetsbelastning använder du dedikerad beräkning i stället.

Allmänna standardberäkningsbegränsningar

  • Databricks Runtime för ML stöds inte. Installera i stället ml-bibliotek som inte paketeras med Databricks Runtime som ett bibliotek med beräkningsomfång.
  • GPU-aktiverad beräkning stöds inte.
  • Spark-submit-jobbuppgifter stöds inte. Använd ett JAR-uppdrag i stället.
  • DBUtils och andra klienter kan bara läsa från molnlagring med hjälp av en extern plats.
  • Anpassade containrar stöds inte.
  • DBFS-roten och monteringarna stöder inte FUSE.

Språkbegränsningar

  • R stöds inte.

Begränsningar för Spark API

  • Spark-kontext (sc), spark.sparkContextoch sqlContext stöds inte för Scala:
    • Azure Databricks rekommenderar att du använder variabeln spark för att interagera med instansen SparkSession .
    • Följande sc funktioner stöds inte heller: emptyRDD, range, init_batched_serializer, parallelize, pickleFile, , textFilewholeTextFiles, binaryFiles, binaryRecords, sequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFile, hadoopRDD, , union, runJobsetSystemProperty, uiWebUrl, , stopsetJobGroup, , . setLocalPropertygetConf
  • Egenskapen Spark-konfigurationspark.executor.extraJavaOptions stöds inte.
  • När du skapar en DataFrame från lokala data med får spark.createDataFrameradstorlekarna inte överstiga 128 MB.
  • RDD-API:er stöds inte.
  • Spark Connect, som används i nyare versioner av Databricks Runtime, skjuter upp analys och namnupplösning till körningstidpunkt, vilket kan ändra beteendet för din kod. Se Jämför Spark Connect med Spark Classic.

UDF-begränsningar

Begränsningar för direktuppspelning

Anmärkning

Vissa av kafka-alternativen i listan har begränsat stöd när de används för konfigurationer som stöds i Azure Databricks. Alla kafka-begränsningar i listan är giltiga för både batch- och dataströmbearbetning. Se Stream-bearbetning med Apache Kafka och Azure Databricks.

  • Du kan inte använda formaten statestore och state-metadata för att fråga tillståndsinformation för tillståndskänsliga strömningsfrågor.
  • Att arbeta med socketkällor stöds inte.
  • sourceArchiveDir måste finnas på samma externa plats som källan när du använder option("cleanSource", "archive") med en datakälla som hanteras av Unity Catalog.
  • För Kafka-källor och sänkor stöds inte följande alternativ:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy

Begränsningar för nätverk och filsystem

  • Standard compute kör kommandon som en användare med låg behörighet som inte får komma åt känsliga delar av filsystemet.
  • POSIX-sökvägar (/) för DBFS stöds inte.
  • Endast arbetsyteadministratörer och användare med FILbehörighet kan interagera direkt med filer med hjälp av DBFS.
  • Du kan inte ansluta till instansmetadatatjänsten eller Azure WireServer.

Begränsningar för Scala-kernel

Följande begränsningar gäller när du använder scala-kerneln för standardberäkning:

  • Vissa klasser kan inte användas i koden om de är i konflikt med det interna mandelkärnbiblioteket, särskilt Input. En lista över definierade importer för mandel finns i mandelimporter.
  • Loggning direkt till log4j stöds inte.
  • I användargränssnittet stöds inte listrutan för dataramschema.
  • Om drivrutinen träffar OOM avslutas inte Scala REPL.
  • //connector/sql-aws-connectors:sql-aws-connectors finns inte i Scala REPL:s bazelmål, använd resultaten i ClassNotFoundException.
  • Scala-kerneln är inte kompatibel med SQLImplicits.

Körningsberoende begränsningar

Följande begränsningar har lösts via körningsuppdateringar, men kan fortfarande gälla för din arbetsbelastning om du använder en äldre körning.

Språkstöd

Egenskap Nödvändig Databricks Runtime-version
Scala 13.3 eller senare
Alla runtime-paketerade Java- och Scala-bibliotek är tillgängliga som standard 15.4 LTS eller senare (för 15.3 eller senare, ange spark.databricks.scala.kernel.fullClasspath.enabled=true)

Stöd för Spark API

Egenskap Nödvändig Databricks Runtime-version
Spark ML 17.0 eller senare
Python: SparkContext (sc), spark.sparkContext, sqlContext 14.0 eller senare
Scala Dataset ops: map, mapPartitions, foreachPartition, flatMap, , reducefilter 15.4 LTS eller senare

UDF-stöd

Egenskap Nödvändig Databricks Runtime-version
applyInPandas, mapInPandas 14.3 LTS eller senare
Scala scalar UDF:er och Scala UDAFs 14.3 LTS eller senare
Importera moduler från Git-mappar, arbetsytefiler eller volymer i PySpark UDF:er 14.3 LTS eller senare
Använd anpassade versioner av grpc, pyarroweller protobuf i PySpark-UDF:er via bibliotek med notebook- eller beräkningsomfång 14.3 LTS eller senare
Icke-skalär Python och Pandas UDF:er, inklusive UDF:er, UDF:er och Pandas på Spark 14.3 LTS eller senare
Python-skalära UDF:er och Pandas UDF:er 13.3 LTS eller senare

Stöd för direktuppspelning

Egenskap Nödvändig Databricks Runtime-version
transformWithStateInPandas 16.3 eller senare
applyInPandasWithState 14.3 LTS eller senare
Scala foreach 16.1 eller senare
Scala foreachBatch och flatMapGroupsWithState 16.2 eller senare
Scala from_avro 14.2 eller senare
Kafka-alternativ kafka.ssl.truststore.location och kafka.ssl.keystore.location (angiven plats måste vara en extern plats som hanteras av Unity Catalog) 13.3 LTS eller senare
Scala StreamingQueryListener 16.1 eller senare
Python StreamingQueryListener interagerar med Unity Catalog-hanterade objekt 14.3 LTS eller senare

För Python foreachBatch har dessutom följande beteendeändringar på Databricks Runtime 14.0 och senare:

  • print() kommandon skriver utdata till drivrutinsloggarna.
  • Du kan inte komma åt undermodulen dbutils.widgets i funktionen.
  • Alla filer, moduler eller objekt som refereras till i funktionen måste vara serialiserbara och tillgängliga på Spark.

Stöd för nätverk och filsystem

Egenskap Nödvändig Databricks Runtime-version
Anslutningar till andra portar än 80 och 443 12.2 LTS eller senare
  • Last updated on