Wat is Unity Catalog?

  • Artikel

In dit artikel maakt u kennis met Unity Catalog, een geïntegreerde governanceoplossing voor gegevens en AI-assets in databricks lakehouse.

Overzicht van Unity Catalog

Unity Catalog biedt gecentraliseerd toegangsbeheer, controle, herkomst en mogelijkheden voor gegevensdetectie in Azure Databricks-werkruimten.

Unity Catalog-diagram

Belangrijke functies van Unity Catalog zijn:

  • Eenmaal definiëren, veilig overal: Unity Catalog biedt één locatie voor het beheren van beleidsregels voor gegevenstoegang die van toepassing zijn op alle werkruimten.
  • Met standaarden compatibel beveiligingsmodel: het beveiligingsmodel van Unity Catalog is gebaseerd op standaard ANSI SQL en stelt beheerders in staat om machtigingen te verlenen in hun bestaande data lake met behulp van vertrouwde syntaxis, op het niveau van catalogi, databases (ook wel schema's), tabellen en weergaven.
  • Ingebouwde controle en herkomst: Unity Catalog legt automatisch auditlogboeken op gebruikersniveau vast waarmee toegang tot uw gegevens wordt vastgelegd. Unity Catalog legt ook herkomstgegevens vast die bijhoudt hoe gegevensassets in alle talen worden gemaakt en gebruikt.
  • Gegevensdetectie: Met Unity Catalog kunt u gegevensassets taggen en documenteren en een zoekinterface bieden waarmee gegevensgebruikers gegevens kunnen vinden.
  • Systeemtabellen (openbare preview): Met Unity Catalog kunt u eenvoudig de operationele gegevens van uw account openen en er query's op uitvoeren, zoals auditlogboeken, factureerbare gebruik en herkomst.

Hoe bepaalt Unity Catalog de toegang tot gegevens en AI-assets in cloudobjectopslag?

Databricks raadt u aan om alle toegang tot cloudobjectopslag te configureren met behulp van Unity Catalog. Zie Verbinding maken naar cloudobjectopslag met behulp van Unity Catalog.

Unity Catalog introduceert de volgende concepten voor het beheren van relaties tussen gegevens in Azure Databricks en cloudobjectopslag:

Notitie

Lakehouse Federation biedt integraties met gegevens in andere externe systemen. Deze objecten worden niet ondersteund door cloudobjectopslag.

Het Unity Catalog-objectmodel

In Unity Catalog stroomt de hiërarchie van primaire gegevensobjecten van metastore naar tabel of volume:

  • Metastore: de container op het hoogste niveau voor metagegevens. Elke metastore bevat een naamruimte met drie niveaus (catalog.schema.table) die uw gegevens ordent.
  • Catalogus: de eerste laag van de objecthiërarchie, die wordt gebruikt om uw gegevensassets te ordenen.
  • Schema: Ook wel databases genoemd, zijn schema's de tweede laag van de objecthiërarchie en bevatten tabellen en weergaven.
  • Tabellen, weergaven en volumes: Op het laagste niveau in de gegevensobjecthiërarchie zijn tabellen, weergaven en volumes. Volumes bieden governance voor niet-tabellaire gegevens.
  • Modellen: Hoewel ze niet, strikt genomen, gegevensassets zijn, kunnen geregistreerde modellen ook worden beheerd in Unity Catalog en zich op het laagste niveau in de objecthiërarchie bevinden.

Diagram van unity-catalogusobjectmodel

Dit is een vereenvoudigde weergave van beveiligbare Unity Catalog-objecten. Zie Beveiligbare objecten in Unity Catalog voor meer informatie.

U verwijst naar alle gegevens in Unity Catalog met behulp van een naamruimte met drie niveaus: catalog.schema.asset, waar asset kan een tabel, weergave, volume of model zijn.

Metastores

Een metastore is de container op het hoogste niveau van objecten in Unity Catalog. Het registreert metagegevens over gegevens en AI-assets en de machtigingen die toegang tot deze assets beheren. Beheerders van Azure Databricks-accounts moeten één metastore maken voor elke regio waarin ze werken en toewijzen aan Azure Databricks-werkruimten in dezelfde regio. Voor een werkruimte die Unity Catalog kan gebruiken, moet er een Unity Catalog-metastore zijn gekoppeld.

Een metastore kan eventueel worden geconfigureerd met een beheerde opslaglocatie in een Azure Data Lake Storage Gen2-container of Cloudflare R2-bucket in uw eigen cloudopslagaccount. Zie Beheerde opslag.

Notitie

Deze metastore verschilt van de Hive-metastore die is opgenomen in Azure Databricks-werkruimten die niet zijn ingeschakeld voor Unity Catalog. Als uw werkruimte een verouderde Hive-metastore bevat, zijn de gegevens in die metastore nog steeds beschikbaar naast gegevens die zijn gedefinieerd in Unity Catalog, in een catalogus met de naam hive_metastore. Houd er rekening mee dat de hive_metastore catalogus niet wordt beheerd door Unity Catalog en niet profiteert van dezelfde functieset als catalogi die zijn gedefinieerd in Unity Catalog.

Zie Een Unity Catalog-metastore maken.

Catalogi

Een catalogus is de eerste laag van de naamruimte op drie niveaus van Unity Catalog. Het wordt gebruikt om uw gegevensassets te ordenen. Gebruikers kunnen alle catalogi zien waaraan ze de USE CATALOGgegevensmachtiging hebben toegewezen.

Afhankelijk van hoe uw werkruimte is gemaakt en ingeschakeld voor Unity Catalog, hebben uw gebruikers mogelijk standaardmachtigingen voor automatisch ingerichte catalogi, waaronder de main catalogus of de werkruimtecatalogus (<workspace-name>). Zie Standaardgebruikersbevoegdheden voor meer informatie.

Zie Catalogi maken en beheren.

Schemas

Een schema (ook wel een database genoemd) is de tweede laag van de naamruimte op drie niveaus van Unity Catalog. Een schema ordent tabellen en weergaven. Gebruikers kunnen alle schema's zien waaraan ze de USE SCHEMA machtiging hebben toegewezen, samen met de USE CATALOG machtiging voor de bovenliggende catalogus van het schema. Als u een tabel of weergave in een schema wilt openen of weergeven, moeten gebruikers ook machtigingen hebben SELECT voor de tabel of weergave.

Als uw werkruimte handmatig is ingeschakeld voor Unity Catalog, bevat deze een standaardschema met de naam default in de main catalogus die toegankelijk is voor alle gebruikers in uw werkruimte. Als uw werkruimte automatisch is ingeschakeld voor Unity Catalog en een <workspace-name> catalogus bevat, bevat die catalogus een schema met de naam default die toegankelijk is voor alle gebruikers in uw werkruimte.

Zie Schema's (databases) maken en beheren.

Tabellen

Een tabel bevindt zich in de derde laag van de naamruimte op drie niveaus van Unity Catalog. Het bevat rijen met gegevens. Als u een tabel wilt maken, moeten gebruikers beschikken CREATE over en USE SCHEMA machtigingen voor het schema en moeten ze beschikken over de machtiging voor de USE CATALOG bovenliggende catalogus. Als u een query wilt uitvoeren op een tabel, moeten gebruikers beschikken over de SELECT machtiging voor de tabel, de USE SCHEMA machtiging voor het bovenliggende schema en de machtiging voor de USE CATALOG bovenliggende catalogus.

Een tabel kan worden beheerd of extern.

Beheerde tabellen

Beheerde tabellen zijn de standaard manier om tabellen te maken in Unity Catalog. Unity Catalog beheert de levenscyclus en de bestandsindeling voor deze tabellen. Gebruik geen hulpprogramma's buiten Azure Databricks om bestanden in deze tabellen rechtstreeks te bewerken. Beheerde tabellen maken altijd gebruik van de Delta-tabelindeling .

Voor werkruimten die handmatig zijn ingeschakeld voor Unity Catalog, worden beheerde tabellen opgeslagen in de hoofdopslaglocatie die u configureert wanneer u een metastore maakt. U kunt desgewenst beheerde tabelopslaglocaties opgeven op de catalogus- of schemaniveaus, waarbij de hoofdopslaglocatie wordt overschreven.

Voor werkruimten die automatisch zijn ingeschakeld voor Unity Catalog, is de opslaglocatie van de metastore-hoofdopslag optioneel en worden beheerde tabellen doorgaans op de catalogus- of schemaniveaus opgeslagen.

Wanneer een beheerde tabel wordt verwijderd, worden de onderliggende gegevens binnen 30 dagen verwijderd uit uw cloudtenant.

Zie Beheerde tabellen.

Externe tabellen

Externe tabellen zijn tabellen waarvan de levenscyclus van gegevens en de bestandsindeling niet worden beheerd door Unity Catalog. Gebruik externe tabellen om grote hoeveelheden bestaande gegevens in Unity Catalog te registreren of als u directe toegang tot de gegevens nodig hebt met behulp van hulpprogramma's buiten Azure Databricks-clusters of Databricks SQL-warehouses.

Wanneer u een externe tabel verwijdert, worden de onderliggende gegevens niet verwijderd in Unity Catalog. U kunt bevoegdheden voor externe tabellen beheren en gebruiken in query's op dezelfde manier als beheerde tabellen.

Externe tabellen kunnen de volgende bestandsindelingen gebruiken:

  • DELTA
  • CSV
  • JSON
  • AVRO
  • PARKET
  • ORC
  • TEKST

Zie Externe tabellen.

Weergaven

Een weergave is een alleen-lezenobject dat is gemaakt op basis van een of meer tabellen en weergaven in een metastore. Deze bevindt zich in de derde laag van de naamruimte op drie niveaus van Unity Catalog. Een weergave kan worden gemaakt op basis van tabellen en andere weergaven in meerdere schema's en catalogi. U kunt dynamische weergaven maken om machtigingen op rij- en kolomniveau in te schakelen.

Zie Een dynamische weergave maken.

Volumes

Een volume bevindt zich in de derde laag van de naamruimte op drie niveaus van Unity Catalog. Volumes zijn gekoppeld aan tabellen, weergaven en andere objecten die zijn geordend onder een schema in Unity Catalog.

Volumes bevatten mappen en bestanden voor gegevens die zijn opgeslagen in elke indeling. Volumes bieden niet-tabellaire toegang tot gegevens, wat betekent dat bestanden in volumes niet als tabellen kunnen worden geregistreerd.

  • Als u een volume wilt maken, moeten gebruikers beschikken CREATE VOLUME over en USE SCHEMA machtigingen hebben voor het schema en moeten ze beschikken over de machtiging voor de USE CATALOG bovenliggende catalogus.
  • Als u bestanden en mappen wilt lezen die zijn opgeslagen in een volume, moeten gebruikers beschikken over de READ VOLUME machtiging, de machtiging voor het USE SCHEMA bovenliggende schema en de machtiging voor de USE CATALOG bovenliggende catalogus.
  • Als u bestanden en mappen wilt toevoegen, verwijderen of wijzigen die zijn opgeslagen in een volume, moeten WRITE VOLUME gebruikers beschikken over machtigingen, de machtiging voor het USE SCHEMA bovenliggende schema en de machtiging voor de USE CATALOG bovenliggende catalogus.

Een volume kan worden beheerd of extern.

Notitie

Wanneer u een volume definieert, wordt cloud-URI-toegang tot gegevens onder het volumepad beheerd door de machtigingen van het volume.

Beheerde volumes

Beheerde volumes zijn een handige oplossing wanneer u een beheerde locatie wilt inrichten voor het werken met niet-tabellaire bestanden.

Beheerde volumes slaan bestanden op in de standaardopslaglocatie van Unity Catalog voor het schema waarin ze zich bevinden. Voor werkruimten die handmatig zijn ingeschakeld voor Unity Catalog, worden beheerde volumes opgeslagen in de hoofdopslaglocatie die u configureert wanneer u een metastore maakt. U kunt desgewenst opslaglocaties voor beheerde volumes opgeven op de catalogus- of schemaniveaus, waarbij de hoofdopslaglocatie wordt overschreven. Voor werkruimten die automatisch zijn ingeschakeld voor Unity Catalog, is de opslaglocatie van de metastore-hoofdopslag optioneel en worden beheerde volumes doorgaans op de catalogus- of schemaniveaus opgeslagen.

De volgende prioriteit bepaalt welke locatie wordt gebruikt voor een beheerd volume:

  • Schemalocatie
  • Cataloguslocatie
  • Hoofdopslaglocatie voor Unity Catalog-metastore

Wanneer u een beheerd volume verwijdert, worden de bestanden die in dit volume zijn opgeslagen, ook binnen 30 dagen verwijderd uit uw cloudtenant.

Zie Wat is een beheerd volume?

Externe volumes

Een extern volume wordt geregistreerd op een externe locatie van Unity Catalog en biedt toegang tot bestaande bestanden in cloudopslag zonder dat gegevensmigratie is vereist. Gebruikers moeten over de CREATE EXTERNAL VOLUME machtiging beschikken op de externe locatie om een extern volume te maken.

Externe volumes ondersteunen scenario's waarbij bestanden worden geproduceerd door andere systemen en zijn gefaseerd voor toegang vanuit Azure Databricks met behulp van objectopslag of waar hulpprogramma's buiten Azure Databricks directe toegang tot bestanden vereisen.

Unity Catalog beheert de levenscyclus en indeling van de bestanden in externe volumes niet. Wanneer u een extern volume neerzet, worden de onderliggende gegevens niet verwijderd in Unity Catalog.

Zie Wat is een extern volume?

Modellen

Een model bevindt zich in de derde laag van de naamruimte op drie niveaus van Unity Catalog. In deze context verwijst 'model' naar een machine learning-model dat is geregistreerd in het MLflow-modelregister. Als u een model wilt maken in Unity Catalog, moeten gebruikers beschikken over de CREATE MODEL bevoegdheid voor de catalogus of het schema. De gebruiker moet ook de USE CATALOG bevoegdheid hebben voor de bovenliggende catalogus en USE SCHEMA het bovenliggende schema.

Beheerde opslag

U kunt beheerde tabellen en beheerde volumes opslaan op een van deze niveaus in de objecthiërarchie van Unity Catalog: metastore, catalogus of schema. Opslag op lagere niveaus in de hiërarchie overschrijft opslag die is gedefinieerd op hogere niveaus.

Wanneer een accountbeheerder handmatig een metastore maakt, hebben ze de mogelijkheid om een opslaglocatie toe te wijzen in een Azure Data Lake Storage Gen2-container of Cloudflare R2-bucket in uw eigen cloudopslagaccount om te gebruiken als opslag op metastoreniveau voor beheerde tabellen en volumes. Als er een beheerde opslaglocatie op metastoreniveau is toegewezen, zijn beheerde opslaglocaties op de catalogus- en schemaniveaus optioneel. Dat gezegd hebbende, opslag op metastore-niveau is optioneel en Databricks raadt u aan beheerde opslag toe te wijzen op catalogusniveau voor logische gegevensisolatie. Zie bouwstenen voor gegevensbeheer en gegevensisolatie.

Belangrijk

Als uw werkruimte automatisch is ingeschakeld voor Unity Catalog, is de Unity Catalog-metastore gemaakt zonder beheerde opslag op metastoreniveau. U kunt ervoor kiezen om opslag op metastoreniveau toe te voegen, maar Databricks raadt u aan beheerde opslag toe te wijzen op de catalogus- en schemaniveaus. Zie (Optioneel) Opslag op metastoreniveau maken en gegevens fysiek gescheiden in de opslag voor hulp bij het bepalen of u opslag op metastoreniveau nodig hebt.

Beheerde opslag heeft de volgende eigenschappen:

  • Beheerde tabellen en beheerde volumes slaan gegevens- en metagegevensbestanden op in beheerde opslag.
  • Beheerde opslaglocaties mogen niet overlappen met externe tabellen of externe volumes.

In de volgende tabel wordt beschreven hoe beheerde opslag wordt gedeclareerd en gekoppeld aan Unity Catalog-objecten:

Gekoppeld Unity Catalog-object Instellen Relatie tot externe locaties
Metastore Geconfigureerd door accountbeheerder tijdens het maken van de metastore of toegevoegd na het maken van de metastore als er geen opslag is opgegeven tijdens het maken. Kan een externe locatie niet overlappen.
Catalogus Opgegeven tijdens het maken van de catalogus met behulp van het MANAGED LOCATION trefwoord. Moet zich in een externe locatie bevinden.
Schema Opgegeven tijdens het maken van het schema met behulp van het MANAGED LOCATION trefwoord. Moet zich in een externe locatie bevinden.

De beheerde opslaglocatie die wordt gebruikt voor het opslaan van gegevens en metagegevens voor beheerde tabellen en beheerde volumes, gebruikt de volgende regels:

  • Als het schema een beheerde locatie heeft, worden de gegevens opgeslagen op de door het schema beheerde locatie.
  • Als het bevatde schema geen beheerde locatie heeft, maar de catalogus een beheerde locatie heeft, worden de gegevens opgeslagen in de beheerde cataloguslocatie.
  • Als het met het schema of de opgegeven catalogus geen beheerde locatie heeft, worden gegevens opgeslagen op de beheerde locatie van de metastore.

Opslagreferenties en externe locaties

Voor het beheren van de toegang tot de onderliggende cloudopslag voor externe tabellen, externe volumes en beheerde opslag gebruikt Unity Catalog de volgende objecttypen:

Zie Verbinding maken naar cloudobjectopslag met behulp van Unity Catalog.

Identiteitsbeheer voor Unity Catalog

Unity Catalog gebruikt de identiteiten in het Azure Databricks-account om gebruikers, service-principals en groepen op te lossen en machtigingen af te dwingen.

Als u identiteiten in het account wilt configureren, volgt u de instructies in Gebruikers, service-principals en groepen beheren. Raadpleeg deze gebruikers, service-principals en groepen wanneer u toegangsbeheerbeleid maakt in Unity Catalog.

Gebruikers, service-principals en groepen van Unity Catalog moeten ook worden toegevoegd aan werkruimten om toegang te krijgen tot Unity Catalog-gegevens in een notebook, een Databricks SQL-query, Catalog Explorer of een REST API-opdracht. De toewijzing van gebruikers, service-principals en groepen aan werkruimten wordt identiteitsfederatie genoemd.

Alle werkruimten waaraan een Unity Catalog-metastore is gekoppeld, zijn ingeschakeld voor identiteitsfederatie.

Speciale overwegingen voor groepen

Groepen die al in de werkruimte aanwezig zijn, hebben het label Werkruimte lokaal in de accountconsole. Deze werkruimte-lokale groepen kunnen niet worden gebruikt in Unity Catalog om toegangsbeleid te definiëren. U moet groepen op accountniveau gebruiken. Als naar een werkruimte-lokale groep wordt verwezen in een opdracht, retourneert die opdracht een fout dat de groep niet is gevonden. Als u eerder werkruimte-lokale groepen hebt gebruikt om de toegang tot notebooks en andere artefacten te beheren, blijven deze machtigingen van kracht.

Zie Groepen beheren.

Beheer rollen voor Unity Catalog

Accountbeheerders, metastore-beheerders en werkruimtebeheerders zijn betrokken bij het beheren van Unity Catalog:

Zie Beheer bevoegdheden in Unity Catalog.

Gegevensmachtigingen in Unity Catalog

In Unity Catalog zijn gegevens standaard beveiligd. In eerste instantie hebben gebruikers geen toegang tot gegevens in een metastore. Toegang kan worden verleend door een metastore-beheerder, de eigenaar van een object of de eigenaar van de catalogus of het schema dat het object bevat. Beveiligbare objecten in Unity Catalog zijn hiërarchisch en bevoegdheden worden naar beneden overgenomen.

U kunt machtigingen toewijzen en intrekken met behulp van Catalog Explorer, SQL-opdrachten of REST API's.

Zie Bevoegdheden beheren in Unity Catalog.

Ondersteunde compute- en clustertoegangsmodi voor Unity Catalog

Unity Catalog wordt ondersteund op clusters waarop Databricks Runtime 11.3 LTS of hoger wordt uitgevoerd. Unity Catalog wordt standaard ondersteund voor alle SQL Warehouse-rekenversies .

Clusters die worden uitgevoerd in eerdere versies van Databricks Runtime bieden geen ondersteuning voor alle ALGEMENE functies en functionaliteit van Unity Catalog.

Voor toegang tot gegevens in Unity Catalog moeten clusters worden geconfigureerd met de juiste toegangsmodus. Unity Catalog is standaard beveiligd. Als een cluster niet is geconfigureerd met een van de toegangsmodi die geschikt zijn voor Unity Catalog (dat wil gezegd, gedeeld of toegewezen), heeft het cluster geen toegang tot gegevens in Unity Catalog. Zie Access-modi.

Zie de releaseopmerkingen voor gedetailleerde informatie over wijzigingen in de functionaliteit van Unity Catalog in elke Databricks Runtime-versie.

Beperkingen voor Unity Catalog variëren per toegangsmodus en Databricks Runtime-versie. Zie beperkingen voor de compute-toegangsmodus voor Unity Catalog.

Gegevensherkomst voor Unity Catalog

U kunt Unity Catalog gebruiken om runtimegegevensherkomst vast te leggen in query's in elke taal die wordt uitgevoerd op een Azure Databricks-cluster of SQL Warehouse. Herkomst wordt vastgelegd op kolomniveau en bevat notebooks, werkstromen en dashboards die betrekking hebben op de query. Zie Gegevensherkomst vastleggen en weergeven met behulp van Unity Catalog voor meer informatie.

Lakehouse Federation en Unity Catalog

Lakehouse Federation is het queryfederatieplatform voor Azure Databricks. De termenqueryfederatie beschrijft een verzameling functies waarmee gebruikers en systemen query's kunnen uitvoeren op meerdere gesilode gegevensbronnen zonder dat alle gegevens naar een geïntegreerd systeem hoeven te worden gemigreerd.

Azure Databricks maakt gebruik van Unity Catalog om queryfederatie te beheren. U gebruikt Unity Catalog om alleen-lezenverbindingen met populaire externe databasesystemen te configureren en refererende catalogi te maken die externe databases spiegelen. De hulpprogramma's voor gegevensbeheer en gegevensherkomst van Unity Catalog zorgen ervoor dat gegevenstoegang wordt beheerd en gecontroleerd voor alle federatieve query's die zijn gemaakt door de gebruikers in uw Azure Databricks-werkruimten.

Zie Wat is Lakehouse Federation.

Hoe kan ik Unity Catalog instellen voor mijn organisatie?

Zie Unity Catalog instellen en beheren voor meer informatie over het instellen van Unity Catalog.

Ondersteunde regio's

Alle regio's ondersteunen Unity Catalog. Zie Azure Databricks-regio's voor meer informatie.

Ondersteunde gegevensbestandsindelingen

Unity Catalog ondersteunt de volgende tabelindelingen:

Beperkingen voor Unity Catalog

Unity Catalog heeft de volgende beperkingen.

Notitie

Als uw cluster wordt uitgevoerd op een Databricks Runtime-versie lager dan 11.3 LTS, zijn er mogelijk extra beperkingen, niet hier vermeld. Unity Catalog wordt ondersteund in Databricks Runtime 11.3 LTS of hoger.

Beperkingen van Unity Catalog variëren per Databricks Runtime en toegangsmodus. Workloads voor gestructureerd streamen hebben extra beperkingen op basis van Databricks Runtime en de toegangsmodus. Zie beperkingen voor de compute-toegangsmodus voor Unity Catalog.

  • Workloads in R bieden geen ondersteuning voor het gebruik van dynamische weergaven voor beveiliging op rij- of kolomniveau.

  • In Databricks Runtime 13.3 LTS en hoger worden ondiepe klonen ondersteund voor het maken van beheerde tabellen in Unity Catalog op basis van bestaande beheerde unity-catalogustabellen. In Databricks Runtime 12.2 LTS en hieronder is er geen ondersteuning voor ondiepe klonen in Unity Catalog. Zie Ondiepe kloon voor Unity Catalog-tabellen.

  • Bucketing wordt niet ondersteund voor Unity Catalog-tabellen. Als u opdrachten uitvoert die proberen een bucketed tabel te maken in Unity Catalog, wordt er een uitzondering gegenereerd.

  • Schrijven naar hetzelfde pad of Delta Lake-tabel vanuit werkruimten in meerdere regio's kan leiden tot onbetrouwbare prestaties als sommige clusters toegang hebben tot Unity Catalog en andere niet.

  • Aangepaste partitieschema's die zijn gemaakt met behulp van opdrachten zoals ALTER TABLE ADD PARTITION worden niet ondersteund voor tabellen in Unity Catalog. Unity Catalog heeft toegang tot tabellen die gebruikmaken van partitionering in directorystijl.

  • De overschrijfmodus voor DataFrame-schrijfbewerkingen in Unity Catalog wordt alleen ondersteund voor Delta-tabellen, niet voor andere bestandsindelingen. De gebruiker moet de CREATE bevoegdheid hebben voor het bovenliggende schema en moet de eigenaar van het bestaande object zijn of de MODIFY bevoegdheid voor het object hebben.

  • In Databricks Runtime 13.3 LTS en hoger worden scalaire UDF's van Python ondersteund. In Databricks Runtime 12.2 LTS en hieronder kunt u geen Python UDF's gebruiken, waaronder UDAFs, UDFS en Pandas in Spark (applyInPandas en mapInPandas).

  • In Databricks Runtime 14.2 en hoger worden Scalaire UDF's ondersteund in gedeelde clusters. In Databricks Runtime 14.1 en lager worden alle Scala UDF's niet ondersteund op gedeelde clusters.

  • Groepen die eerder zijn gemaakt in een werkruimte (dat wil gezegd groepen op werkruimteniveau) kunnen niet worden gebruikt in Unity Catalog GRANT-instructies. Dit is om een consistente weergave te garanderen van groepen die over meerdere werkruimten kunnen beschikken. Als u groepen in GRANT-instructies wilt gebruiken, maakt u uw groepen op accountniveau en werkt u automatisering bij voor principal- of groepsbeheer (zoals SCIM-, Okta- en Microsoft Entra ID-connectors (voorheen Azure Active Directory) en Terraform om te verwijzen naar accounteindpunten in plaats van werkruimte-eindpunten. Zie Verschil tussen accountgroepen en werkruimte-lokale groepen.

  • Standaard-Scala-threadgroepen worden niet ondersteund. Gebruik in plaats daarvan de speciale threadgroepen in org.apache.spark.util.ThreadUtils, bijvoorbeeld org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. De volgende threadgroepen worden ThreadUtils echter niet ondersteund: ThreadUtils.newForkJoinPool en een ScheduledExecutorService threadpool.

  • Auditlogboekregistratie wordt alleen ondersteund voor Unity Catalog-gebeurtenissen op werkruimteniveau. Gebeurtenissen die plaatsvinden op accountniveau zonder verwijzing naar een werkruimte, zoals het maken van een metastore, worden niet geregistreerd.

De volgende beperkingen gelden voor alle objectnamen in Unity Catalog:

  • Objectnamen mogen niet langer zijn dan 255 tekens.
  • De volgende speciale tekens zijn niet toegestaan:
    • Periode (.)
    • Spatie ( )
    • Slash (/)
    • Alle ASCII-besturingstekens (00-1F-hex)
    • Het DELETE-teken (7F-hex)
  • Unity Catalog slaat alle objectnamen op als kleine letters.
  • Wanneer u verwijst naar UC-namen in SQL, moet u backticks gebruiken om te ontsnappen aan namen die speciale tekens bevatten, zoals afbreekstreepjes (-).

Notitie

Kolomnamen kunnen speciale tekens gebruiken, maar de naam moet worden ontsnapt met backticks in alle SQL-instructies als er speciale tekens worden gebruikt. Unity Catalog behoudt het hoofdlettergebruik van de kolomnamen, maar query's voor Unity Catalog-tabellen zijn niet hoofdlettergevoelig.

Er zijn extra beperkingen voor modellen in Unity Catalog. Zie beperkingen voor ondersteuning voor Unity Catalog.

Resourcequota

Unity Catalog dwingt resourcequota af voor alle beveiligbare objecten. Limieten respecteren dezelfde hiërarchische organisatie in Unity Catalog. Als u verwacht deze resourcelimieten te overschrijden, neemt u contact op met uw Azure Databricks-accountteam.

De onderstaande quotumwaarden worden uitgedrukt ten opzichte van het bovenliggende (of grootouder)object in Unity Catalog.

Object Parent Weergegeven als
table schema 10000
table metastore 100000
volume schema 10000
function schema 10000
geregistreerd model schema 1000
geregistreerd model metastore 5000
modelversie geregistreerd model 10000
modelversie metastore 100000
schema catalogus 10000
catalogus metastore 1000
verbinding metastore 1000
opslagreferentie metastore 200
externe locatie metastore 500

Zie Resourcequota voor deltadelingslimieten.