Share via

Beperkingen voor de compute-toegangsmodus voor Unity Catalog

  • Artikel

Databricks raadt aan unity catalog en de modus voor gedeelde toegang te gebruiken voor de meeste workloads. In dit artikel worden verschillende beperkingen beschreven voor elke toegangsmodus met Unity Catalog. Zie Access-modi voor meer informatie over toegangsmodi.

Databricks raadt het gebruik van rekenbeleid aan om configuratieopties voor de meeste gebruikers te vereenvoudigen. Zie Rekenbeleid maken en beheren.

Notitie

Gedeeld zonder isolatie is een verouderde toegangsmodus die geen ondersteuning biedt voor Unity Catalog.

Belangrijk

Init-scripts en -bibliotheken bieden verschillende ondersteuning voor toegangsmodi en Databricks Runtime-versies. Zie Waar kunnen init-scripts worden geïnstalleerd? en bibliotheken met clusterbereik.

Beperkingen voor de toegangsmodus voor één gebruiker voor Unity Catalog

De toegangsmodus voor één gebruiker in Unity Catalog heeft de volgende beperkingen. Dit zijn naast de algemene beperkingen voor alle Unity Catalog-toegangsmodus. Zie Algemene beperkingen voor Unity Catalog.

Gedetailleerde beperkingen voor toegangsbeheer voor Unity Catalog-modus voor één gebruiker

  • Dynamische weergaven worden niet ondersteund.

  • Als u vanuit een weergave wilt lezen, moet SELECT u beschikken over alle tabellen en weergaven waarnaar wordt verwezen.

  • U hebt geen toegang tot een tabel met een rijfilter of kolommasker.

  • U kunt geen rekenkracht van één gebruiker gebruiken om query's uit te voeren op tabellen die zijn gemaakt met een Delta Live Tables-pijplijn met Unity Catalog, inclusief streamingtabellen en gerealiseerde weergaven die zijn gemaakt in Databricks SQL. Als u een query wilt uitvoeren op tabellen die zijn gemaakt met een Delta Live Tables-pijplijn, moet u een gedeelde berekening gebruiken met Databricks Runtime 13.3 LTS en hoger.

Streamingbeperkingen voor de toegangsmodus voor één gebruiker in Unity Catalog

  • Asynchrone controlepunten worden niet ondersteund in Databricks Runtime 11.3 LTS en hieronder.

Beperkingen voor gedeelde toegangsmodus voor Unity Catalog

De modus Voor gedeelde toegang in Unity Catalog gelden de volgende beperkingen. Dit zijn naast de algemene beperkingen voor alle Unity Catalog-toegangsmodus. Zie Algemene beperkingen voor Unity Catalog.

  • Databricks Runtime ML en Spark Machine Learning Library (MLlib) worden niet ondersteund.

  • Spark-submit-taken worden niet ondersteund.

  • In Databricks Runtime 13.3 en hoger mogen afzonderlijke rijen niet groter zijn dan de maximale grootte van 128 MB.

  • Wanneer deze wordt gebruikt met referentiepassthrough, worden Unity Catalog-functies uitgeschakeld.

  • Aangepaste containers worden niet ondersteund.

Taalondersteuning voor de gedeelde toegangsmodus van Unity Catalog

  • R wordt niet ondersteund.
  • Scala wordt ondersteund in Databricks Runtime 13.3 en hoger.

Spark-API-beperkingen voor de modus voor gedeelde toegang van Unity Catalog

  • RDD-API's worden niet ondersteund.
  • DBUtils en andere clients die de gegevens rechtstreeks lezen uit cloudopslag, worden alleen ondersteund wanneer u een externe locatie gebruikt voor toegang tot de opslaglocatie. Zie Een externe locatie maken om cloudopslag te verbinden met Azure Databricks.
  • Spark-context (sc),spark.sparkContexten sqlContext worden niet ondersteund voor Scala in een Databricks Runtime en worden niet ondersteund voor Python in Databricks Runtime 14.0 en hoger.
    • Databricks raadt aan de spark variabele te gebruiken om met het SparkSession exemplaar te communiceren.
    • De volgende sc functies worden ook niet ondersteund: emptyRDD, range, init_batched_serializer, parallelize, , textFilesetSystemPropertybinaryFileswholeTextFilesbinaryRecordssequenceFilenewAPIHadoopFilepickleFilehadoopFilehadoopRDDnewAPIHadoopRDDstopuiWebUrlunionrunJob, setJobGroup, , . setLocalPropertygetConf

UDF-beperkingen voor de gedeelde toegangsmodus van Unity Catalog

Belangrijk

Ondersteuning voor Scala UDF's voor rekenkracht met gedeelde toegangsmodus in Unity Catalog bevindt zich in openbare preview.

Door de gebruiker gedefinieerde functies (UDF's) hebben de volgende beperkingen met de modus voor gedeelde toegang:

  • Hive UDF's worden niet ondersteund.

  • applyInPandas en mapInPandas worden niet ondersteund in Databricks Runtime 14.2 en lager.

  • In Databricks Runtime 14.2 en hoger worden Scalaire UDF's ondersteund. Andere Scala UDF's en UDAF's worden niet ondersteund.

  • In Databricks Runtime 13.3 LTS en hoger worden Python scalaire UDF's en Pandas UDF's ondersteund. Andere Python UDF's, waaronder UDAFs, UDFS en Pandas in Spark, worden niet ondersteund.

Zie door de gebruiker gedefinieerde functies (UDF's) in Unity Catalog.

Streamingbeperkingen voor de gedeelde toegangsmodus van Unity Catalog

Notitie

Sommige van de vermelde Kafka-opties hebben beperkte ondersteuning wanneer ze worden gebruikt voor ondersteunde configuraties in Azure Databricks. Zie Stream-verwerking met Apache Kafka en Azure Databricks.

  • Voor Scala foreach en foreachBatch worden niet ondersteund.
  • Voor Python heeft u foreachBatch nieuw gedrag in Databricks Runtime 14.0 en hoger. Zie Gedragswijzigingen voor foreachBatch in Databricks Runtime 14.0.
  • Voor Scala from_avro is Databricks Runtime 14.2 of hoger vereist.
  • applyInPandasWithState wordt niet ondersteund.
  • Werken met socketbronnen wordt niet ondersteund.
  • De sourceArchiveDir moet zich op dezelfde externe locatie bevinden als de bron wanneer u een gegevensbron gebruikt option("cleanSource", "archive") die wordt beheerd door Unity Catalog.
  • Voor Kafka-bronnen en -sinks worden de volgende opties niet ondersteund:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • De volgende Kafka-opties worden ondersteund in Databricks Runtime 13.3 LTS en hoger, maar niet ondersteund in Databricks Runtime 12.2 LTS. U kunt alleen externe locaties opgeven die worden beheerd door Unity Catalog voor deze opties:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location

Toegangsbeperkingen voor netwerk- en bestandssysteem voor de gedeelde toegangsmodus van Unity Catalog

  • Opdrachten moeten worden uitgevoerd op rekenknooppunten als een gebruiker met beperkte bevoegdheden die geen toegang heeft tot gevoelige onderdelen van het bestandssysteem.

  • In Databricks Runtime 11.3 LTS en hieronder kunt u alleen netwerkverbindingen maken met poorten 80 en 443.

  • Kan geen verbinding maken met de instantiemetagegevensservice of Azure WireServer.

Algemene beperkingen voor Unity Catalog

De volgende beperkingen gelden voor alle toegangsmodi voor Unity Catalog.

Streamingbeperkingen voor Unity Catalog

  • De modus continue verwerking van Apache Spark wordt niet ondersteund. Zie Continue verwerking in de Spark Structured Streaming Programming Guide.
  • StreamingQueryListener kan geen referenties gebruiken of werken met objecten die worden beheerd door Unity Catalog.

Zie ook streamingbeperkingen voor de toegangsmodus voor één gebruiker in Unity Catalog en streamingbeperkingen voor de modus voor gedeelde toegang tot Unity Catalog.

Zie Unity Catalog gebruiken met Structured Streaming voor meer informatie over streamen met Unity Catalog.