Bruk funksjonen for tabellvedlikehold til å administrere deltatabeller i Fabric

  • Artikkel

Lakehouse i Microsoft Fabric gir tabellvedlikeholdsfunksjonenfor effektiv administrasjon av deltatabeller og for å holde dem alltid klare for analyse. Denne veiledningen beskriver funksjonen for vedlikehold av tabeller i Lakehouse og funksjonene.

Viktige funksjoner i vedlikeholdsfunksjonen for lakehouse-tabellen:

  • Utfør vedlikehold av ad hoc-tabell ved hjelp av kontekstavhengige høyreklikkhandlinger i en deltatabell i Lakehouse-utforskeren.
  • Bruk bin-compaction, V-Order og unreferenced old files cleanup.

Merk

For avanserte vedlikeholdsoppgaver, for eksempel gruppering av vedlikeholdskommandoer for flere tabeller, orkestrering basert på en tidsplan, er en kodesentrisk tilnærming det anbefalte valget. Hvis du vil ha mer informasjon, kan du se tabelloptimalisering for Delta Lake og V-Order-artikkelen . Det er også mulig å bruke Lakehouse API til å automatisere vedlikeholdsoperasjoner for tabeller, for å lære mer se Administrere Lakehouse med Microsoft Fabric REST API.

Støttede filtyper

Vedlikehold av Lakehouse-bord gjelder bare for delta Lake-tabeller. De eldre Hive-tabellene som bruker PARQUET, ORC, AVRO, CSV og andre formater, støttes ikke.

Vedlikeholdsoperasjoner for tabell

Vedlikeholdsfunksjonen for tabellen tilbyr tre operasjoner.

  • Optimaliser: Konsoliderer flere små parkettfiler til store filer. Big Data-behandlingsmotorer, og alle Fabric-motorer, drar nytte av å ha større filstørrelser. Hvis du har filer av størrelse over 128 MB, og optimalt nær 1 GB, forbedrer komprimering og datadistribusjon på tvers av klyngenodene. Det reduserer behovet for å skanne mange små filer for effektive leseoperasjoner. Det er en generell anbefalt fremgangsmåte å kjøre optimaliseringsstrategier etter innlasting av store tabeller.
  • V-rekkefølge: Bruker optimalisert sortering, koding og komprimering på Delta-parkettfiler for å aktivere raske leseoperasjoner på tvers av alle Fabric-motorene. V-Order skjer under optimaliseringskommandoen, og presenteres som et alternativ for kommandogruppen i brukeropplevelsen. Hvis du vil ha mer informasjon om V-order, kan du se Tabelloptimalisering for Delta Lake og V-Order.
  • Vakuum: Fjerner gamle filer som ikke lenger refereres til av en Delta-tabelllogg. Filer må være eldre enn oppbevaringsterskelen, og standard filoppbevaringsterskelen er sju dager. Dette vedlikeholdet er viktig for å optimalisere lagringskostnader. Hvis du angir en kortere oppbevaringsperiode, påvirker Deltas tidsreisefunksjoner. Det er en generell anbefalt fremgangsmåte å sette et oppbevaringsintervall til minst sju dager, fordi gamle øyeblikksbilder og uforpliktende filer fortsatt kan brukes av de samtidige tabellleserne og forfatterne. Hvis du rydder opp i aktive filer med VACUUM-kommandoen, kan det føre til feil i leseren eller til og med tabellfeil hvis de uforpliktende filene fjernes.

Utføre vedlikehold av ad hoc-tabeller på et Delta-bord ved hjelp av Lakehouse

Slik bruker du funksjonen:

  1. Gå til ønsket Lakehouse fra Microsoft Fabric-kontoen din.

  2. Høyreklikk på tabellen i Tabeller-delen i Lakehouse, eller bruk ellipsen til å få tilgang til hurtigmenyen.

  3. Velg oppføringen vedlikeholdsmeny.

  4. Kontroller vedlikeholdsalternativene i dialogboksen i henhold til kravet. Hvis du vil ha mer informasjon, kan du se delen Om vedlikeholdsoperasjoner for tabell i denne artikkelen.

  5. Velg Kjør nå for å utføre vedlikeholdsjobben for tabellen.

  6. Spor utførelse av vedlikeholdsjobb etter varslingsruten eller overvåkingshubopplevelsen.

    Screenshot showing the load to tables dialog box with filled table name.

Hvordan fungerer vedlikehold av tabellen?

Når Kjør nå er valgt, sendes en Spark-vedlikeholdsjobb for kjøring.

  1. Spark-jobben sendes inn ved hjelp av brukeridentiteten og tabellrettighetene.
  2. Spark-jobben bruker Fabric-kapasiteten til arbeidsområdet/brukeren som sendte inn jobben.
  3. Hvis det er en annen vedlikeholdsjobb som kjører på en tabell, blir en ny avvist.
  4. Jobber i ulike tabeller kan kjøre parallelt.
  5. Tabellvedlikeholdsjobber kan enkelt spores i overvåkingshuben. Se etter TableMaintenance-tekst i aktivitetsnavnkolonnen på hovedsiden for overvåkingshuben.

Relatert innhold