Gegevensafstamming in Unity Catalog

Gegevensherkomst laat zien waar gegevens in Azure Databricks vandaan komen en waar deze heen gaan: welke query's en bestanden een tabel vullen, welke taken en notebooks deze transformeren en welke dashboards de resultaten verbruiken.

Unity Catalog legt automatisch de gegevensafstamming vast van query's die op Azure Databricks worden uitgevoerd, tot op kolomniveau, en aggregeert deze over alle werkruimten die aan de metastore zijn gekoppeld. Met herkomst in Unity Catalog kunt u het volgende doen:

• Impactanalyse uitvoeren: voordat u een tabel of kolom wijzigt of verwijdert, identificeert u de downstreamtabellen, taken en dashboards die hiervan afhankelijk zijn.
• Hoofdoorzaken onderzoeken: wanneer in een downstreamrapport onverwachte resultaten worden weergegeven, traceert u upstream-bronnen om te bepalen waar de gegevens zijn afgeleid.
• Stroom van gevoelige gegevens bijhouden: voor nalevingscontroles kunt u zien waar gereglementeerde gegevens vandaan komen, hoe deze worden getransformeerd en welke downstreamactiva deze gebruiken.
• Inzicht in afhankelijkheden tussen teams: ontdek welke teams eigenaar zijn van de upstream-bronnen waarop u vertrouwt, of welke teams uw tabellen gebruiken.

Externe herkomst breidt de herkomstgrafiek verder uit dan Azure Databricks. Registreer upstream-bronnen zoals Salesforce of MySQL en downstreamhulpprogramma's, zoals Tableau of Power BI als externe assets in Unity Catalog, en ze worden samen met uw Unity Catalog-tabellen in één grafiek weergegeven. Zie Externe herkomst.

De volgende afbeelding is een stamboomdiagram. Knooppunten kunnen tabellen en weergaven, ML-modelversies, externe assets en bestandspaden vertegenwoordigen.

Vereisten

Gegevensherkomst vastleggen met behulp van Unity Catalog:

• Tabellen moeten worden geregistreerd in een Unity Catalog-metastore.
• Externe assets (die niet zijn geregistreerd in de Unity Catalog-metastore) moeten worden toegevoegd als externe metagegevensobjecten in Unity Catalog, geconfigureerd om relaties te hebben met andere beveiligbare objecten die zijn geregistreerd in uw Unity Catalog-metastore. Zie Externe herkomst.
• Query's moeten gebruikmaken van het Spark DataFrame (bijvoorbeeld Spark SQL-functies die een DataFrame retourneren) of Databricks SQL-interfaces, zoals notebooks of de SQL-query-editor.

Gegevensherkomst weergeven:

• U moet minimaal de BROWSE bevoegdheid hebben voor de hoofdcatalogus van de tabel of weergave. De oudercatalogus moet ook toegankelijk zijn vanuit de werkruimte. Zie Werkruimtecatalogus-binding.
• Voor notebooks, taken of dashboards moet u machtigingen hebben voor deze objecten, zoals gedefinieerd door de instellingen voor toegangsbeheer in de werkruimte. Zie Machtigingen voor meer informatie.
• Voor een Unity Catalog-pijplijn moet u de machtiging CAN VIEW voor de pijplijn hebben.

Rekenvereisten:

• Voor het bijhouden van de gegevensstamboom tussen Delta-tabellen is Databricks Runtime 11.3 LTS of hoger vereist.
• Voor het bijhouden van kolomafstamming voor workloads van Lakeflow-pijplijnen is Databricks Runtime 13.3 LTS of hoger vereist.

Netwerkvereisten:

• Mogelijk moet u uw uitgaande firewallregels bijwerken om connectiviteit met het Event Hubs-eindpunt in het Azure Databricks besturingsvlak mogelijk te maken. Dit geldt meestal als uw Azure Databricks werkruimte wordt geïmplementeerd in uw eigen VNet (ook wel VNet-injectie genoemd). Als u het Event Hubs-eindpunt voor uw werkruimteregio wilt krijgen, raadpleegt u Metastore, Blob Storage, opslag van systeemtabellen, Blob Storage van logboeken, en IP-adressen van Event Hubs-eindpunten. Zie Gedefinieerde route-instellingen voor Azure Databricks voor informatie over het instellen van door de gebruiker gedefinieerde routes (UDR) voor Azure Databricks.

Herkomst weergeven in Catalog Explorer

Catalog Explorer gebruiken om de herkomst van tabellen te bekijken.

1. Klik in uw Azure Databricks werkruimte op Catalog.

2. Zoek of blader naar uw tabel.

3. Selecteer het tabblad Herkomst . Het herkomstvenster wordt weergegeven en geeft gerelateerde tabellen weer.

4. Als u een interactieve grafiek van de gegevensherkomst wilt weergeven, klikt u op Herkomstgrafiek weergeven.

   Standaard wordt er één niveau weergegeven in de grafiek. Klik op het pictogram op een knooppunt om meer verbindingen weer te geven als deze beschikbaar zijn.

5. Klik op het pictogram op een verbindingslijn in de herkomstgrafiek om het deelvenster Herkomstdetails te openen.

   In het deelvenster Gegevensherkomst ziet u details over de verbinding, inclusief bron- en doeltabellen.

   

6. Als u een asset wilt bekijken die is gekoppeld aan een tabel, selecteert u de asset in het deelvenster Details van gegevensherkomst. U kunt filteren op notebooks, jobs, pipelines en query's.

7. Als u herkomst op kolomniveau wilt weergeven, klikt u op een kolom in de grafiek om koppelingen naar gerelateerde kolommen weer te geven. Als u bijvoorbeeld op de revenue kolom in deze voorbeeldgrafiek klikt, worden de upstreamkolommen weergegeven waaruit de kolom is afgeleid:

   

Taakherkomst weergeven

Als u de afstamming van taken wilt weergeven, gaat u naar het tabblad Afstamming van een tabel, selecteert u Taken en selecteert u Nederstrooms. De taaknaam wordt weergegeven onder Taaknaam als consument van de tabel.

Herkomst van dashboard weergeven

Als u de herkomst van het dashboard wilt weergeven, gaat u naar het tabblad Herkomst van een tabel en klikt u op Dashboards. Het dashboard wordt weergegeven onder Dashboardnaam als consument van de tabel.

Lineage ophalen met Genie Code

Genie Code kan herkomstvragen beantwoorden in natuurlijke taal.

Informatie over herkomst ophalen met behulp van Genie Code:

1. Klik in de zijbalk van de werkruimte op Catalogus.
2. Blader of zoek naar de catalogus, klik op de catalogusnaam en klik vervolgens op het Genie Code-pictogram in de rechterbovenhoek.
3. Bij de prompt van Genie Code, typ:
   • /getTableLineages om upstream- en downstreamafhankelijkheden weer te geven.
   • /getTableInsights toegang tot inzichten op basis van metagegevens, zoals gebruikersactiviteit en querypatronen.

Met deze query's kan Genie Code vragen beantwoorden, zoals 'laat me downstreamherkomsten zien' of 'wie deze tabel het vaakst opvraagt'.

Gegevensafstamming van query's met systeemtabellen

U kunt de systeemtabellen voor herkomst gebruiken om programmatisch een query uit te voeren op herkomstgegevens. Voor gedetailleerde instructies, zie Naslaginformatie over systeemtabellen en Naslaginformatie over afstamming systeemtabellen.

Permissions

Herkomstgrafieken delen hetzelfde toestemmingsmodel als Unity Catalog. Tabellen en andere gegevensobjecten die zijn geregistreerd in de Unity Catalog-metastore, zijn alleen zichtbaar voor gebruikers met ten minste BROWSE machtigingen voor deze objecten. Als een gebruiker niet over de BROWSE of SELECT bevoegdheid van een tabel beschikt, kan deze de herkomst ervan niet verkennen.

Lineage wordt samengevoegd over alle werkruimten die zijn gekoppeld aan een Unity Catalog-metastore, zodat lineage die in één werkruimte is vastgelegd zichtbaar is in elke andere werkruimte die dezelfde metastore deelt, zolang de gebruiker over voldoende machtigingen voor objecten beschikt. Gedetailleerde informatie over objecten op werkruimteniveau, zoals notebooks en dashboards in andere werkruimten, wordt gemaskeerd. Zie Beperkingen.

Voer bijvoorbeeld de volgende opdrachten uit voor userA:

GRANT USE SCHEMA on lineage_data.lineagedemo to `userA@company.com`;
GRANT SELECT on lineage_data.lineagedemo.menu to `userA@company.com`;

Wanneer userA de herkomstgrafiek voor de lineage_data.lineagedemo.menu-tabel bekijkt, ziet diegene de menu-tabel. Ze kunnen geen informatie zien over gekoppelde tabellen, zoals de downstreamtabel lineage_data.lineagedemo.dinner . De dinner tabel wordt weergegeven als een masked knooppunt en userAuserA kan de grafiek niet uitbreiden om downstreamtabellen weer te geven uit tabellen waarvoor ze geen toegang hebben.

Als u de volgende opdracht uitvoert om de BROWSE machtiging te userBverlenen, kan die gebruiker de herkomstgrafiek voor elke tabel in het lineage_data schema bekijken:

GRANT BROWSE on lineage_data to `userB@company.com`;

Gebruikers van herkomst moeten ook specifieke machtigingen hebben om werkruimteobjecten, zoals notebooks, taken en dashboards, weer te geven. Gedetailleerde informatie over deze objecten is alleen zichtbaar in de werkruimte waarin ze zijn gemaakt.

Zie Bevoegdheden beheren in Unity Catalog voor meer informatie over het beheren van toegang tot beveiligbare objecten in Unity Catalog. Zie Toegangsbeheerlijsten voor meer informatie over het beheren van toegang tot werkruimteobjecten, zoals notebooks, taken en dashboards.

Retention

Lineagegegevens die worden weergegeven in Catalog Explorer blijven onbeperkt bewaard. Alle herkomstgegevens die na 1 september 2024 zijn vastgelegd, zijn beschikbaar. Voor metastores die na die datum zijn gemaakt, heeft Catalog Explorer in de vervolgkeuzelijst voor het tijdsbereik van de herkomstgegevens de optie Altijd. Voor oudere metastores bevat de vervolgkeuzelijst een optie Alle beschikbaar die begint vanaf 1 september 2024. De standaardselectie is 1 jaar.

Systeemtabellen voor gegevensafstamming (system.access.table_lineage en system.access.column_lineage) bevatten een voortschrijdend gegevensvenster van 1 jaar. Zie naslaginformatie over herkomstsysteemtabellen.

Limitations

Gegevensherkomst heeft de volgende beperkingen. Deze beperkingen zijn ook van toepassing op herkomstsysteemtabellen:

• Herkomstgegevens die vóór 1 september 2024 zijn vastgelegd, zijn niet beschikbaar.
• Banen die gebruikmaken van het Jobs API-verzoek runs submit of het spark submit taaktype zijn niet beschikbaar in afstammingsweergaven. Gegevensherkomst op tabel- en kolomniveau wordt nog steeds vastgelegd voor deze werkstromen, maar de koppeling naar de taakuitvoering wordt niet vastgelegd.
• Lineage wordt niet behouden voor hernoemde catalogi, schema's, tabellen, weergaven of kolommen.
• Als u checkpointing van datasets in Spark SQL gebruikt, wordt de afstamming niet vastgelegd.
• Unity Catalog legt in de meeste gevallen herkomst van Lakeflow-pijplijnen vast, maar de dekking is onvolledig voor pijplijnen die gebruikmaken van PRIVÉ-tabellen.
• Resilient Distributed Datasets (RDDs) zijn niet opgenomen in lijnvoering.
• Globale tijdelijke weergaven worden niet vastgelegd in afstamming.
• Transacties verzenden herkomst naarmate elke lees- en schrijfbewerking plaatsvindt. Afstammingsgebeurtenissen blijven behouden, zelfs als de transactie wordt teruggedraaid.
• Tabellen onder system.information_schema worden niet vastgelegd in gegevenslijn.
• Unity Catalog legt gegevensherkomst zo veel mogelijk op kolomniveau vast. Er zijn echter enkele gevallen waarin herkomst op kolomniveau niet kan worden vastgelegd. Dit zijn onder andere:

  • Kolomafstamming kan niet worden vastgelegd als naar de bron of naar het doel wordt verwezen met een pad (voorbeeld: select * from delta."s3://<bucket>/<path>"). Kolomherkomst wordt alleen ondersteund wanneer zowel naar de bron als het doel wordt verwezen met de tabelnaam (voorbeeld: select * from <catalog>.<schema>.<table>).

  • Gebruik van door de gebruiker gedefinieerde functies (UDF's), die de toewijzing tussen bron- en doelkolommen kunnen verbergen.

Aanvullende bronnen

• Demo: Unity Catalog - Gegevensherkomst
• Herkomst van ML-modellen: Zie De gegevensherkomst van een model bijhouden in Unity Catalog.
• Tabelinzichten: het tabblad Inzichten in Catalog Explorer toont gebruikstrends voor een tabel: querypatronen, belangrijkste gebruikers en dashboards die deze lezen. Zie Tabelinzichten en populariteit weergeven.