Hantera Fabric materialiserade sjövyer härkomst

Materialiserade sjösikt (MLV:er) hjälper till att hantera och ställa frågor mot stora datamängder genom att förberäkna och lagra frågeresultat. I Fabric hjälper härkomst dig att förstå beroenden och uppdateringsprocessen så att du kan använda MLV:er på ett mer tillförlitligt sätt.

Den här artikeln beskriver hur du visar härkomst, får en förståelse för härkomstgränssnittet och använder utökad härkomst för att spåra beroenden mellan lakehouses.

Visa ursprung

En materialiserad sjövy härledning visar beroendeordning för uppdateringsoperationer. För MLV:er representerar ursprung den sekvens av vyer som måste köras när nya data är tillgängliga.

Efter att du skapat MLV i Fabric, välj fliken Materialized lake views i ribbon och välj sedan Hantera för att navigera till MLV-linjen.

Materialiserad sjövy härstamning

Notebook-kod definierar kedjan (MLV-flödet) och Fabric skapar det när du skapar det genomgående MLV-flödet.

Viktigt!

Härstamningsvyn behandlar alla genvägar som källentiteter. Ursprungsvyn behandlar alla tabeller eller materialiserade sjövyer i ett genvägsschema som källentiteter.

Skärmbild som visar ett jobbdiagram i härledning.

För att köra härkomst schemalägger du det baserat på dina uppdateringskrav. När jobbet har schemalagts går du till den pågående körningen för att visa lineagekörning.

Skärmbild som visar en körd ursprungsvy.

Förstå härkomstvyn

I det materialiserade sjövyers ursprungssystemet bearbetar systemet data i beroendeordning. Varje materialiserad sjövy representerar en åtgärd (till exempel att läsa från en källtabell eller köra en transformering). Pilar visar arten av varje beroenderelation och körningsordning.

Välj en materialiserad lakevy för att granska uppströms- och nedströmsrelationer.

Ursprungssidan innehåller följande åtgärder:

  • Uppdatera: Uppdaterar ursprungsvyn för att återspegla de senaste statusändringarna.

    Anmärkning

    Den här åtgärden uppdaterar endast härkomstvyn. Den uppdaterar inte data. Linjevy uppdateras automatiskt varannan minut när körningen pågår och webbläsarfliken är aktiv.

    Skärmdump som visar hur du uppdaterar ett härkomstgränssnitt.

  • Sök i ursprung: Sök efter en specifik materialiserad sjövy eller tabell efter namn i ursprungsdiagrammet.

Skärmbild som visar hur du söker i lineage-gränssnittet.

  • Ny materialiserad sjövy: Öppnar en notebook-fil där du kan skapa eller ändra MLV:er.

    Anmärkning

    Dessa anteckningsböcker är inte direkt länkade till härstamningsvyn.

    Skärmbild som visar en ny materialiserad sjövy.

  • Hantera scheman: Öppnar panelen Hantera scheman för att skapa eller hantera uppdateringsscheman.

    Skärmbild som visar schemaknappen.

  • Återställ härledning: Återställer härledningslayouten för din aktuella skärmstorlek.

    Skärmbild som visar hur du ändrar layouten för härstamningsvyn.

Visa utökad härkomst

Standard härkomsten visar beroenden i samband med det aktuella sjöhuset och dess omedelbara uppströms sjöhus eller källor (en nivå djup). Utökad härkomst expanderar den vyn så att du kan spåra alla beroenden hela vägen tillbaka till källan – rekursivt över lakehouses.

Standard härkomst Utökad härkomst
Scope Nuvarande lakehouse + en nivå av cross-lakehouse föräldrar Fullständig rekursiv kedja över alla sjöhus
Överordnade MLV:er Visas som lövnoder – du kan inte se vad som matar dem Fullständigt expanderad – varje uppströmsvy och dess källor är synliga
Korssjöhus Visas inte Synlig om du har läsåtkomst på den överordnade arbetsytan

Så här visar du utökad härkomst:

  1. Öppna fliken Hantera i den materialiserade sjövyn.

  2. Aktivera växlingsknappen Utökad härkomst i verktygsfältet.

Ursprunget uppdateras för att visa alla överordnade beroenden, inklusive materialiserade sjövyer och källtabeller i andra sjöhus. Varje nod i diagrammet visar sitt namn och lakehouse. Nodtypen (tabell, genväg eller materialiserad sjövy) anges med en ikon.

Anmärkning

Du kan bara se överordnade beroenden på arbetsytor där du har minst läsbehörighet. Beroenden i arbetsytor som du inte kan komma åt visas som en felad nod.

Felade noder

När ett uppströmsberoende saknas, tas bort eller är otillgängligt visas det som en felad nod i ursprungsdiagrammet. Felade noder visar en felindikator med ett meddelande som förklarar problemet (till exempel "saknas eller är inte tillgängligt").

Utförande av korssjöhus

Utökad härkomst möjliggör körning mellan sjöhus. Ett enda sjöhus kan definiera och uppdatera materialiserade sjövyer som refererar till tabeller över flera sjöhus – inklusive sjöhus på andra arbetsytor – vilket eliminerar behovet av att duplicera transformeringslogik i var och en.

Om du till exempel har tre sjöhus – Brons, Silver och Guld – kan du definiera alla dina materialiserade sjöutsikter i Gold Lakehouse samtidigt som du refererar till källtabeller eller materialiserade sjöutsikter i Brons och Silver. Dessa sjöhus kan finnas på samma arbetsyta eller på olika arbetsytor. Fabric hanterar läsningar mellan olika lakehouse vid uppdatering, så du behöver bara underhålla en enda uppsättning definitioner i stället för tre.

Schemalägg uppströms materialiserade sjövyer

Från den utökade ursprungsvyn kan du schemalägga uppdateringar för överordnad materialiserad sjövy i andra sjöhus – utan att gå till varje uppströms sjöhus separat. När du skapar ett schema eller en ad hoc-körning kan du välja vilka lakehouses som ska ingå i uppdateringen. Mer information finns i Schemalägga en materialiserad uppdatering av sjövyn.

Behörigheter för utökad härkomst

Action Nödvändig behörighet
Visa utökad härkomst Läsåtkomst på överordnade arbetsytor
Schemalägg uppströms materialiserade sjövyer Bidragsgivare på upstream lakehouse
Visa information om överordnade beroenden Läsbehörighet för objektet

Visa ursprung för filimport

När en materialiserad sjövy importerar filer med USING OneLake_Files är dess källa en fysisk OneLake-mapp, en OneLake-mappgenväg eller en enskild fil i stället för en tabell högre upp i dataflödet. Lineagevyn representerar källplatsen som en nod uppströms som matar filinsamlingsvyn, så du kan spåra och övervaka en komplett filbaserad medaljongpipeline.

Ursprungsgrafen utgår från den källplats som vyn hämtar data från. Källnoden kopplas till den fil-inätande materialiserade sjövyn, som i sin tur kan mata nedströms silver- och guldvyer, enligt samma beroendeordning som Fabric tillämpar på tabellbaserade vyer.

Skärmbild av ett härkomstdiagram för materialiserade Lakeview-vyer som visar en källmapp som matar in i en bronsvy för filinmatning, följt av silver- och guldvyer.

För att inspektera en filstödd pipeline och bekräfta att uppdateringen upptäckte källändringar, följ följande steg:

  1. Välj källmappens nod för att öppna dess informationspanel. Panelen visar OneLake-vägen och filerna som upptäckts i mappen.

    Skärmdump av källmappens detaljpanel som visar OneLake-vägen och filerna i mappen.

  2. Välj den materialiserade Lakeview-noden för filinläsning om du vill visa information om den, inklusive källformat, schemaläge och uppdateringsläge.

    Skärmdump av fil-inätande materialiserad sjövy med panelen för detaljer som visar format, schemaläge och uppdateringsläge.

  3. Öppna fliken Senaste körningar, gå till en hanterad körning och välj vyn för filinmatning för att visa mätvärden för bearbetade filer och tillagda rader.

    Skärmdump av en körs detaljer som visar antalet bearbetade filer och rader som lagts till för en fil-inätande materialiserad sjövy.

Tolka filbehandlingsmått

Filer som bearbetas är en körnivå-metrik, inte det totala antalet filer som för närvarande finns i källmappen. Antalet beror på vyns uppdateringsläge:

  • För uppdateringsläget APPEND_ONLY räknas antalet nya filer som körningen läser in. Det räknar inte filer som redan har materialiserats tidigare.
  • För FULL uppdateringsläget räknar den de lästa filerna medan vyn byggs om från den aktuella mappsnapshoten.
  • En lyckad körning kan rapportera noll behandlade filer när den hanterade uppdateringen inte upptäcker några nya källfiler.

Använd källmappens detaljpanel för den aktuella mappens inventarie och kör detaljer-panelen för de filer som en specifik uppdatering påverkar. De två antalen besvarar olika frågor och överensstämmer inte nödvändigtvis vid en inkrementell körning.

Tips/Råd

Om vyn projicerar källmetadatakolumnen __filepath__ , använd GROUP BY __filepath__ den för att inspektera filerna som representeras i det aktuella materialiserade resultatet. Denna vy speglar aktuell radlinje, medan bearbetade filer speglar det arbete som en uppdateringskörning utför.