Anforderungen und Einschränkungen des Unity-Katalogs

Auf dieser Seite werden die Berechnungsanforderungen, unterstützte Dateiformate, Benennungseinschränkungen und bekannte Einschränkungen für Unity Catalog beschrieben.

Regionsunterstützung

Alle Regionen unterstützen Unity Catalog. Weitere Informationen finden Sie unter Azure Databricks-Regionen.

Computeanforderungen

Unity Catalog wird in Clustern unterstützt, auf denen Databricks Runtime 11.3 LTS oder höher ausgeführt wird. Unity Catalog wird standardmäßig in allen SQL-Warehouse-Computeversionen unterstützt.

Cluster, die in früheren Versionen von Databricks Runtime ausgeführt werden, bieten keine Unterstützung für alle GA-Features und -Funktionen von Unity Catalog.

Um auf Daten in Unity Catalog zuzugreifen, müssen Cluster mit dem richtigen Zugriffsmodus konfiguriert werden. Unity Catalog ist standardmäßig geschützt. Wenn ein Cluster nicht mit dem Standard- oder dedizierten Zugriffsmodus konfiguriert ist, kann der Cluster nicht auf Daten im Unity-Katalog zugreifen. Siehe Zugriffsmodi.

Ausführliche Informationen zu den Änderungen der Unity Catalog-Funktionen in jeder Databricks Runtime-Version finden Sie in den Versionshinweisen.

Begrenzungen

Für Unity Catalog gelten die folgenden Einschränkungen: Einige davon gelten speziell für ältere Versionen der Databricks Runtime und die Zugriffsmodi für die Berechnung.

Für Workloads für strukturiertes Streaming gelten je nach Databricks Runtime-Version und Zugriffsmodus zusätzliche Einschränkungen. Siehe Standard-Computeranforderungen und -einschränkungen und Dedizierte Computeranforderungen und -einschränkungen.

Databricks veröffentlicht regelmäßig neue Funktionen, durch die sich diese Liste immer weiter verkürzt.

• Zuvor in einem Arbeitsbereich erstellte Gruppen (also Gruppen auf Arbeitsbereichsebene) können nicht in GRANT-Anweisungen von Unity Catalog verwendet werden. Dadurch soll eine konsistente Ansicht von Gruppen sichergestellt werden, die sich über mehrere Arbeitsbereiche erstrecken kann. Um Gruppen in GRANT Anweisungen zu verwenden, erstellen Sie Ihre Gruppen auf Kontoebene, und aktualisieren Sie alle Automatisierungen für die Prinzipal- oder Gruppenverwaltung (z. B. SCIM, Okta und Microsoft Entra ID Connectors und Terraform), um auf Kontoendpunkte anstelle von Arbeitsbereichsendpunkten zu verweisen. Siehe Gruppenquellen.
• Workloads in R unterstützen die Verwendung von dynamischen Ansichten für die Sicherheit auf Zeilen- oder Spaltenebene auf Compute mit Databricks Runtime 15.3 und darunter nicht.
  • Verwenden Sie eine dedizierte Computeressource mit Databricks Runtime 15.4 LTS oder höher für Workloads in R, die dynamische Ansichten abfragen. Für solche Workloads ist auch ein Arbeitsbereich erforderlich, der für serverloses Computing aktiviert ist. Ausführliche Informationen finden Sie unter feingranulare Zugriffssteuerung für dedizierte Rechenressourcen.
• Eine verwaltete Tabelle kann flach auf eine andere verwaltete Tabelle geklont werden, sofern Databricks Runtime 13.3 LTS oder höher verwendet wird. Eine externe Tabelle kann flach geklont werden, um eine andere externe Tabelle in Databricks Runtime 14.2 und höher zu erstellen. Eine verwaltete Tabelle kann nicht flach auf eine externe Tabelle geklont werden. Außerdem kann eine externe Tabelle nicht in eine verwaltete Tabelle als flacher Klon kopiert werden. Weitere Informationen finden Sie unter Shallow Clone für Unity Catalog-Tabellen.
• Bucketing wird für Unity Catalog-Tabellen nicht unterstützt. Wenn Sie Befehle ausführen, die versuchen, eine Buckettabelle in Unity Catalog zu erstellen, wird eine Ausnahme ausgelöst.
• Das Schreiben in denselben Pfad oder dieselbe Delta Lake-Tabelle von Arbeitsbereichen in mehreren Regionen kann zu einer unzuverlässigen Leistung führen, wenn einige Cluster auf Unity Catalog zugreifen und andere nicht.
• Das Bearbeiten von Partitionen für externe Tabellen mithilfe von Befehlen wie ALTER TABLE ADD PARTITION erfordert, dass die Partitions-Metadatenprotokollierung aktiviert ist. Siehe Partitionsermittlung für externe Tabellen.
• Wenn Sie den Überschreibmodus für Tabellen verwenden, die sich nicht im Delta-Format befinden, muss der Benutzer über die CREATE TABLE-Berechtigung für das übergeordnete Schema verfügen und entweder der Besitzer des vorhandenen Objekts sein oder die MODIFY-Berechtigung für das Objekt haben.
• In Databricks Runtime 12.2 LTS und niedrigeren Versionen werden keine Python-UDFs unterstützt. Dies schließt UDAFs, UDTFs und Pandas in Spark (applyInPandas und mapInPandas) ein. Skalare Python-UDFs werden ab Databricks Runtime 13.3 LTS unterstützt.
• Scala UDFs werden in Databricks Runtime 14.1 und darunter auf Berechnungen mit dem Standardzugriffsmodus nicht unterstützt. Skalare UDFs werden in Databricks Runtime 14.2 und höher bei der Berechnung mit Standardzugriffsmodus unterstützt.
• Standardmäßige Scala-Threadpools werden nicht unterstützt. Verwenden Sie stattdessen die speziellen Threadpools in org.apache.spark.util.ThreadUtils, z. B org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Die folgenden Threadpools in ThreadUtils werden jedoch nicht unterstützt: ThreadUtils.newForkJoinPool und alle ScheduledExecutorService-Threadpools.

• Azure-Diagnoseprotokolle protokollieren nur Unity Catalog-Ereignisse auf Arbeitsbereichsebene. Zum Anzeigen von Aktionen auf Kontoebene müssen Sie die Systemtabelle des Überwachungsprotokolls verwenden. Siehe Verweis auf die Systemtabelle des Audit-Logbuchs.

Für in Unity Catalog registrierte Modelle gelten zusätzliche Einschränkungen. Informationen finden Sie unter Einschränkungen.

Ressourcenkontingente

Unity Catalog erzwingt Ressourcenkontingente für alle sicherungsfähigen Objekte. Diese Kontingente werden in den Ressourcengrenzwerten aufgeführt. Wenn Sie davon ausgehen, dass Sie diese Ressourcengrenzwerte überschreiten, wenden Sie sich an Ihr Azure Databricks-Kontoteam.

Sie können Ihren Kontingentbedarf mithilfe der Unity Catalog-Ressourcenkontingent-APIs überwachen. Weitere Informationen finden Sie unter Überwachen des Bedarfs an Unity Catalog-Ressourcenkontingenten.