Begränsningar för beräkningsåtkomstläge för Unity Catalog

  • Artikel

Databricks rekommenderar att du använder Unity Catalog och läget för delad åtkomst för de flesta arbetsbelastningar. Den här artikeln beskriver olika begränsningar för varje åtkomstläge med Unity Catalog. Mer information om åtkomstlägen finns i Åtkomstlägen.

Databricks rekommenderar att du använder beräkningsprinciper för att förenkla konfigurationsalternativen för de flesta användare. Se Skapa och hantera beräkningsprinciper.

Kommentar

Ingen isolering som delas är ett äldre åtkomstläge som inte stöder Unity Catalog.

Viktigt!

Init-skript och -bibliotek har olika stöd för olika åtkomstlägen och Databricks Runtime-versioner. Se Var kan init-skript installeras? och klusteromfångsbibliotek.

Begränsningar för åtkomstläge för en användare i Unity Catalog

Åtkomstläget för en användare i Unity Catalog har följande begränsningar. Dessa är utöver de allmänna begränsningarna för alla åtkomstlägen för Unity Catalog. Se Allmänna begränsningar för Unity Catalog.

Detaljerade begränsningar för åtkomstkontroll för Åtkomstläge för enskild användare i Unity Catalog

  • Dynamiska vyer stöds inte.

  • Om du vill läsa från en vy måste du ha SELECT på alla refererade tabeller och vyer.

  • Du kan inte komma åt en tabell som har ett radfilter eller en kolumnmask.

  • Du kan inte använda en enda användarberäkning för att fråga efter tabeller som skapats av en Unity Catalog-aktiverad Delta Live Tables-pipeline, inklusive strömmande tabeller och materialiserade vyer som skapats i Databricks SQL. Om du vill köra frågor mot tabeller som skapats av en Delta Live Tables-pipeline måste du använda en delad beräkning med Databricks Runtime 13.3 LTS och senare.

Begränsningar för direktuppspelning för åtkomstläge för enskild användare i Unity Catalog

  • Asynkron kontrollpunkt stöds inte i Databricks Runtime 11.3 LTS och nedan.

Begränsningar för delat åtkomstläge i Unity Catalog

Läget för delad åtkomst i Unity Catalog har följande begränsningar. Dessa är utöver de allmänna begränsningarna för alla åtkomstlägen för Unity Catalog. Se Allmänna begränsningar för Unity Catalog.

  • Databricks Runtime ML och Spark Machine Learning Library (MLlib) stöds inte.

  • Spark-submit-jobb stöds inte.

  • På Databricks Runtime 13.3 och senare får enskilda rader inte överskrida den maximala storleken på 128 MB.

  • När de används med genomströmning av autentiseringsuppgifter inaktiveras Funktionerna i Unity Catalog.

  • Anpassade containrar stöds inte.

Språkstöd för delat åtkomstläge i Unity Catalog

  • R stöds inte.
  • Scala stöds på Databricks Runtime 13.3 och senare.

Begränsningar för Spark API för delat åtkomstläge i Unity Catalog

  • RDD-API:er stöds inte.
  • DBUtils och andra klienter som direkt läser data från molnlagring stöds endast när du använder en extern plats för att komma åt lagringsplatsen. Se Skapa en extern plats för att ansluta molnlagring till Azure Databricks.
  • Spark-kontext (sc),spark.sparkContextoch sqlContext stöds inte för Scala i någon Databricks Runtime och stöds inte för Python i Databricks Runtime 14.0 och senare.
    • Databricks rekommenderar att du använder variabeln spark för att interagera med instansen SparkSession .
    • Följande sc funktioner stöds inte heller: emptyRDD, range, init_batched_serializer, parallelize, pickleFile, , textFilewholeTextFiles, binaryFiles, binaryRecords, hadoopFilenewAPIHadoopFilenewAPIHadoopRDDsequenceFile, hadoopRDD, , union, runJobsetSystemProperty, uiWebUrl, , setJobGroupstop, , . getConfsetLocalProperty

UDF-begränsningar för delat åtkomstläge i Unity Catalog

Viktigt!

Stöd för Scala UDF:er för Unity Catalog-aktiverad beräkning med läget för delad åtkomst finns i offentlig förhandsversion.

Användardefinierade funktioner (UDF: er) har följande begränsningar med läget för delad åtkomst:

  • Hive-UDF:er stöds inte.

  • applyInPandas och mapInPandas stöds inte i Databricks Runtime 14.2 och nedan.

  • I Databricks Runtime 14.2 och senare stöds scala scalar-UDF:er. Andra Scala UDF:er och UDAF:er stöds inte.

  • I Databricks Runtime 13.3 LTS och senare stöds python-skalära UDF:er och Pandas UDF:er. Andra Python-UDF:er, inklusive UDF:er, UDF:er och Pandas på Spark stöds inte.

Se Användardefinierade funktioner (UDF: er) i Unity Catalog.

Begränsningar för direktuppspelning för läget delad åtkomst i Unity Catalog

Kommentar

Vissa av kafka-alternativen i listan har begränsat stöd när de används för konfigurationer som stöds i Azure Databricks. Se Stream-bearbetning med Apache Kafka och Azure Databricks.

  • För Scala foreach stöds inte foreachBatch .
  • För Python foreachBatch har det nya beteendet i Databricks Runtime 14.0 och senare. Se Beteendeändringar för foreachBatch i Databricks Runtime 14.0.
  • För Scala from_avro kräver Databricks Runtime 14.2 eller senare.
  • applyInPandasWithState stöds inte.
  • Det går inte att arbeta med socketkällor.
  • sourceArchiveDir Måste finnas på samma externa plats som källan när du använder option("cleanSource", "archive") med en datakälla som hanteras av Unity Catalog.
  • För Kafka-källor och mottagare stöds inte följande alternativ:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • Följande Kafka-alternativ stöds i Databricks Runtime 13.3 LTS och senare men stöds inte i Databricks Runtime 12.2 LTS. Du kan bara ange externa platser som hanteras av Unity Catalog för följande alternativ:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location

Begränsningar för åtkomst till nätverk och filsystem för delat åtkomstläge i Unity Catalog

  • Måste köra kommandon på beräkningsnoder som en användare med låg behörighet som inte får komma åt känsliga delar av filsystemet.

  • I Databricks Runtime 11.3 LTS och nedan kan du bara skapa nätverksanslutningar till portarna 80 och 443.

  • Det går inte att ansluta till instansmetadatatjänsten eller Azure WireServer.

Allmänna begränsningar för Unity Catalog

Följande begränsningar gäller för alla Unity Catalog-aktiverade åtkomstlägen.

Begränsningar för strömning för Unity Catalog

  • Apache Spark-läget för kontinuerlig bearbetning stöds inte. Se Kontinuerlig bearbetning i programmeringsguiden för Spark Structured Streaming.
  • StreamingQueryListener kan inte använda autentiseringsuppgifter eller interagera med objekt som hanteras av Unity Catalog.

Se även Begränsningar för direktuppspelning för Åtkomstläge för en användare i Unity Catalog och begränsningar för direktuppspelning för delat åtkomstläge i Unity Catalog.

Mer information om strömning med Unity Catalog finns i Använda Unity Catalog med strukturerad direktuppspelning.