Einschränkungen des Computezugriffsmodus für Unity Catalog

  • Artikel

Databricks empfiehlt die Verwendung von Unity Catalog und des Zugriffsmodus „Freigegeben“ für die meisten Workloads. In diesem Artikel werden verschiedene Einschränkungen für jeden Zugriffsmodus mit Unity Catalog beschrieben. Ausführliche Informationen zu Zugriffsmodi finden Sie unter Zugriffsmodi.

Databricks empfiehlt die Verwendung von Computerichtlinien, um Konfigurationsoptionen für die meisten Benutzer zu vereinfachen. Siehe Erstellen und Verwalten von Computerichtlinien.

Hinweis

„Keine Isolation freigegeben“ ist ein Legacyzugriffsmodus, der Unity Catalog nicht unterstützt.

Wichtig

Init-Skripts und -Bibliotheken haben unterschiedliche Unterstützung für Zugriffsmodi und Databricks Runtime-Versionen. Siehe Wo können Initialisierungsskripts installiert? und Bibliotheken im Clusterumfang.

Einschränkungen beim Einzelbenutzerzugriffsmodus im Unity Catalog

Der Einzelbenutzerzugriffsmodus in Unity Catalog weist die folgenden Einschränkungen auf. Diese Einschränkungen gelten zusätzlich zu den allgemeinen Beschränkungen für alle Unity Catalog-Zugriffsmodi. Weitere Informationen finden Sie unter Allgemeine Einschränkungen für Unity Catalog.

Differenzierte Zugriffssteuerungseinschränkungen für den Einzelbenutzerzugriffsmodus von Unity Catalog

  • Dynamische Ansichten werden nicht unterstützt.

  • Zum Lesen aus einer Sicht benötigen Sie SELECT für alle referenzierten Tabellen und Sichten.

  • Sie haben keinen Zugriff auf eine Tabelle mit Zeilenfilter oder Spaltenmaske.

  • Sie können keinen Einzelbenutzerrechner verwenden, um Tabellen abzufragen, die von einer Delta Live Tables-Pipeline mit Unity Catalog-Unterstützung erstellt wurden, einschließlich Streamingtabellen und materialisierten Sichten, die in Databricks SQL erstellt wurden. Zum Abfragen von Tabellen, die von einer Delta Live Tables-Pipeline erstellt wurden, müssen Sie einen freigegebenen Rechnern mit Databricks Runtime 13.3 LTS und höher verwenden.

Streamingeinschränkungen für den Einzelbenutzerzugriffsmodus von Unity Catalog

  • In Databricks Runtime 11.3 und darunter wird die asynchrone Prüfpunktausführung nicht unterstützt.

Einschränkungen im Modus für den gemeinsamen Zugriff im Unity Catalog

Der Modus für den gemeinsamen Zugriff von Unity Catalog weist die folgenden Einschränkungen auf. Diese Einschränkungen gelten zusätzlich zu den allgemeinen Beschränkungen für alle Unity Catalog-Zugriffsmodi. Weitere Informationen finden Sie unter Allgemeine Einschränkungen für Unity Catalog.

  • Databricks Runtime ML und Spark Machine Learning Library (MLlib) werden nicht unterstützt.

  • Spark-Submit-Aufträge werden nicht unterstützt.

  • Auf Databricks Runtime 13.3 und höher dürfen einzelne Zeilen die maximale Größe von 128 MB nicht überschreiten.

  • Bei Verwendung mit Passthrough für Anmeldeinformationen sind die Unity Catalog-Features deaktiviert.

  • Benutzerdefinierte Container werden nicht unterstützt.

Sprachunterstützung für den gemeinsamen Zugriffsmodus von Unity Catalog

  • R wird nicht unterstützt.
  • Scala wird in Databricks Runtime 13.3 und höher unterstützt.

Spark-API-Einschränkungen für den gemeinsamen Zugriffsmodus von Unity Catalog

  • RDD-APIs werden nicht unterstützt.
  • DBUtils und andere Clients, die die Daten direkt aus dem Cloudspeicher lesen, werden nur unterstützt, wenn Sie einen externen Speicherort für den Zugriff auf den Speicherort verwenden. Weitere Informationen finden Sie unter Erstellen eines externen Speicherorts zum Verbinden des Cloudspeichers mit Azure Databricks.
  • Spark Context (sc), spark.sparkContext und sqlContext werden für Scala in keiner Version von Databricks Runtime unterstützt und werden in Python in Databricks Runtime 14.0 und höher nicht unterstützt.
    • Databricks empfiehlt die Verwendung der spark-Variable für die Interaktion mit der SparkSession-Instanz.
    • Die folgenden sc-Funktionen werden ebenfalls nicht unterstützt: emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf.

UDF-Einschränkungen für den gemeinsamen Zugriffsmodus von Unity Catalog

Wichtig

Die Unterstützung für Scala-UDFs in Rechnern mit Unity Catalog im Zugriffsmodus „Freigegeben“ ist als Public Preview verfügbar.

Benutzerdefinierte Funktionen (User Defined Functions, UDFs) haben die folgenden Einschränkungen im gemeinsamen Zugriffsmodus:

  • Struktur-UDFs werden nicht unterstützt.

  • applyInPandas und mapInPandas werden in Databricks Runtime 14.2 und niedriger nicht unterstützt.

  • In Databricks Runtime 14.2 und höher werden skalare Scala UDFs unterstützt. Andere Scala-UDFs und UDAFs werden nicht unterstützt.

  • In Databricks Runtime 13.3 LTS und höher werden skalare Python-UDFs und Pandas-UDFs unterstützt. Andere Python-UDFs, einschließlich UDAFs, UDTFs und Pandas auf Spark werden nicht unterstützt.

Weitere Informationen finden Sie unter User-defined functions (UDFs) in Unity Catalog (Benutzerdefinierte Funktionen (UDFs) in Unity Catalog).

Streamingeinschränkungen für den gemeinsamen Zugriffsmodus von Unity Catalog

Hinweis

Einige der aufgeführten Kafka-Optionen haben eingeschränkte Unterstützung, wenn sie für unterstützte Konfigurationen in Azure Databricks verwendet werden. Siehe Stream-Verarbeitung mit Apache Kafka und Azure Databricks.

  • Für Scala werden foreach und foreachBatch nicht unterstützt.
  • Für Python hat foreachBatch neues Verhalten in Databricks Runtime 14.0 und höher. Siehe Verhaltensänderungen für foreachBatch in Databricks Runtime 14.0.
  • Für Scala erfordert from_avro Databricks Runtime 14.2 oder höher.
  • applyInPandasWithState wird nicht unterstützt.
  • Das Arbeiten mit Socket-Quellen wird nicht unterstützt.
  • sourceArchiveDir muss sich am gleichen externen Speicherort wie die Quelle befinden, wenn Sie option("cleanSource", "archive") mit einer von Unity Catalog verwalteten Datenquelle verwenden.
  • Für Kafka-Quellen und Senken werden die folgenden Optionen nicht unterstützt:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • Die folgenden Kafka-Optionen werden in Databricks Runtime 13.3 LTS und höher unterstützt, nicht jedoch in Databricks Runtime 12.2 LTS. Sie können nur externe Speicherorte angeben, die von Unity Catalog für diese Optionen verwaltet werden:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location

Einschränkungen des Netzwerk- und Dateisystemzugriffs für den gemeinsamen Zugriffsmodus von Unity Catalog

  • Befehle müssen auf Compute-Knoten als Benutzer mit geringen Rechten ausgeführt werden, die nicht auf vertrauliche Teile des Dateisystems zugreifen dürfen.

  • In Databricks Runtime 11.3 LTS und niedriger können Sie nur Netzwerkverbindungen mit den Ports 80 und 443 erstellen.

  • Es kann keine Verbindung mit dem Instanz-Metadatendienst oder Azure WireServer hergestellt werden.

Allgemeine Einschränkungen für Unity Catalog

Die folgenden Einschränkungen gelten für alle im Unity Catalog aktivierten Zugriffsmodi.

Streamingeinschränkungen für Unity Catalog

  • Der fortlaufende Verarbeitungsmodus von Apache Spark wird nicht unterstützt. Weitere Informationen finden Sie unter Kontinuierliche Verarbeitung im Programmierhandbuch für Spark Structured Streaming.
  • StreamingQueryListener kann keine Anmeldeinformationen verwenden oder mit Objekten interagieren, die von Unity Catalog verwaltet werden.

Weitere Informationen finden Sie unter Streamingeinschränkungen für den Einzelbenutzerzugriffsmodus von Unity Catalog und Streamingeinschränkungen für den gemeinsamen Zugriffsmodus von Unity Catalog.

Informationen zum Streaming mit Unity Catalog finden Sie unter Verwenden von Unity Catalog mit strukturiertem Streaming.