Beheerde versus externe assets in Unity Catalog

Elk beveiligbaar object dat u registreert in Unity Catalog, wordt centraal beheerd. Dit betekent dat Unity Catalog de metagegevens van het object beheert, zodat het alle aspecten van governance kan beheren, waaronder toegang, controle en herkomst.

Voor gegevensassets zoals tabellen en volumes kan Unity Catalog echter ook de opslaglocatie en levenscyclus van de onderliggende gegevensbestanden in uw cloudaccount beheren, waaronder hoe ze zijn georganiseerd, geoptimaliseerd en wanneer ze worden verwijderd. Dit onderscheid is wat managed onderscheidt van externe gegevensbronnen.

  • Beheerde assets: Unity Catalog beheert zowel governance (toegangsbeheer, controle, herkomst) als de levenscyclus van de onderliggende bestandsopslag (bestandsoptimalisatie, hoe ze zijn georganiseerd en wanneer ze worden verwijderd).
  • Externe assets: Unity Catalog beheert uitsluitend governance. De onderliggende levenscyclus van bestandsopslag wordt beheerd door u of een extern systeem.

Wanneer u een beheerde asset registreert in Unity Catalog, behoudt u het volledige eigendom van uw gegevens. De gegevensbestanden blijven altijd in uw cloudaccount. Unity Catalog bepaalt waar ze zijn opgeslagen binnen uw account, maar worden niet overgedragen naar Azure Databricks of eigenaar ervan.

Het onderscheid tussen beheerd en extern is alleen van toepassing op tabellen en volumes. Andere beveiligbare objecten van Unity Catalog, zoals weergaven, modellen en functies, hebben geen beheerde en externe varianten.

Overzicht van verschillen

De volgende tabel bevat een overzicht van de verschillen tussen beheerde en externe assets in Unity Catalog:

Vastgoed Beheerde tabel of volume van Unity Catalog Externe tabel of volume
Opslaglocatie Instellen door Unity Catalog (in uw cloudaccount) Door u ingesteld
Beheer van bestandslevenscyclus Beheerd door Unity Catalog (optimalisatie, organisatie, verwijdering) Beheerd door u
Neerzetgedrag Gegevensbestanden worden definitief verwijderd na een bewaarperiode van 8 dagen Gegevensbestanden blijven aanwezig
Eigendom van gegevens Ja Ja

Gebruik van het woord 'beheren' in de Unity-catalogus

Het woord beheren heeft meerdere toepassingen in Unity Catalog. In deze sectie wordt de betekenis van het beheer in verschillende contexten samengevat.

Wanneer mensen zeggen dat een object wordt beheerd door Unity Catalog, betekent dit meestal dat Unity Catalog toegang tot het object regelt. Dit geldt voor alle geregistreerde Unity Catalog-objecten, waaronder externe tabellen en volumes.

Het woord dat wordt beheerd in 'beheerde tabel' of 'beheerd volume' heeft een specifiekere betekenis: Unity Catalog bepaalt waar de onderliggende gegevensbestanden worden opgeslagen in uw cloudaccount en bepaalt de levenscyclus van bestanden (optimalisatie, organisatie en verwijdering). Dit wordt de beheerde opslaglocatie genoemd. Uw gegevens blijven altijd in uw cloudaccount. Azure Databricks bezit of bewaart uw gegevens niet.

Het woord MANAGE wordt ook weergegeven als een bevoegdheid die u kunt toewijzen aan Unity Catalog-objecten. Over het algemeen MANAGE kan een gebruiker bevoegdheden toewijzen of intrekken, het eigendom van een object overdragen en verwijderen zonder de eigenaar te zijn. Zie BEHEREN.

De volgende tabel bevat een overzicht van deze algemene toepassingen van beheren:

Termijn Meaning Van toepassing op:
"Beheerd door Unity Catalog" Unity Catalog bepaalt toegang, controle en herkomst voor het object. Alle geregistreerde Unity Catalog-objecten, inclusief externe tabellen en volumes
Beheerde tabel of beheerd volume Unity Catalog bepaalt ook de onderliggende opslaglocatie (beheerde opslaglocatie) en de gegevenslevenscyclus binnen uw cloudaccount. Alleen tabellen en volumes
Beheerde opslaglocatie Een aangewezen pad in uw cloudaccount waar Unity Catalog gegevensbestanden opslaat voor beheerde tabellen en volumes. U kunt een beheerde opslaglocatie configureren op het niveau van de metastore, catalogus of schema. Zie Een beheerde opslaglocatie opgeven in Unity Catalog. Alleen tabellen en volumes
MANAGE voorrecht Een bevoegdheid waarmee een gebruiker bevoegdheden kan toewijzen of intrekken, het eigendom van een object kan overdragen en verwijderen zonder de eigenaar te zijn. Zie BEHEREN. Alle Unity Catalog beveiligbare objecten

Beheerde en externe tabellen

Een beheerde tabel in Unity Catalog is een tabel waarin Unity Catalog de opslaglocatie voor de onderliggende gegevensbestanden bepaalt. Unity Catalog slaat beheerde tabellen op in de beheerde opslaglocatie die is gedefinieerd in het schema, de catalogus of de metastore. Wanneer u een beheerde tabel verwijdert, verwijdert Unity Catalog de onderliggende gegevensbestanden. Beheerde tabellen maken gebruik van de Delta- of Apache Iceberg-indeling.

Een externe tabel is een tabel waarin u de opslaglocatie voor de onderliggende gegevensbestanden opgeeft. Wanneer u een externe tabel neerslaat, verwijdert Unity Catalog de metagegevens van de tabel uit de metastore, maar blijven de onderliggende gegevensbestanden aanwezig. Externe tabellen ondersteunen meerdere indelingen, waaronder Delta, CSV, JSON, Avro, Parquet en ORC.

Zie Databricks Unity Catalog-tabeltypen voor meer informatie over tabeltypen.

Zowel beheerde als externe tabellen ondersteunen lees-, schrijf- en maaktoegang vanuit externe engines via open API's, waaronder de Unity REST API en de Iceberg REST Catalog (IRC). Dit betekent dat beheerde tabellen geen vergrendeling van leveranciers veroorzaken. Elke engine die deze API's ondersteunt, heeft toegang tot beheerde tabellen. Zie Toegang tot Databricks-gegevens met behulp van externe systemen.

Beheerde en externe volumes

Een door Unity Catalog beheerd volume is een volume waarbij Unity Catalog de opslaglocatie bepaalt. In Unity Catalog worden automatisch beheerde volumes opgeslagen op de beheerde opslaglocatie van het bijbehorende schema in uw cloudaccount. Net als bij beheerde tabellen behoudt u het volledige eigendom van de onderliggende gegevens. Wanneer u een beheerd volume neerzet, verwijdert Unity Catalog de onderliggende gegevensbestanden.

Een extern volume is een volume waarin u de opslaglocatie opgeeft. De locatie moet een pad zijn dat wordt gedekt door een Unity Catalog-externe locatie. Wanneer u een extern volume neerzet, verwijdert Unity Catalog de volumedefinitie, maar blijven de onderliggende gegevensbestanden aanwezig.

Zie Wat zijn Unity Catalog-volumes?voor meer informatie over volumes.