Inspektér metadata fra Delta-tabellen

Brug DESCRIBE DETAIL og DESCRIBE HISTORY når du skal inspicere en delta-tabel uden at ændre den. Disse kommandoer hjælper dig med at forstå, hvordan en tabel er gemt, hvad der har ændret sig over tid, og hvilken tabelversion du måske vil undersøge eller gendanne.

Begge kommandoer er skrivebeskyttede inspektionskommandoer. De ændrer ikke tabeldata, metadata eller transaktionshistorik.

Brug BESKRIV DETALJER

DESCRIBE DETAIL returnerer metadata på tabelniveau for en Delta-tabel. Brug den, når du vil have et hurtigt øjebliksbillede af tabeldefinitionen og lagringsdetaljerne.

Typiske metadata omfatter:

  • Tabelformat
  • Tabelidentifikator og navn
  • OneLake-lokation
  • Skabelsestid og sidst ændrede tid
  • Partitionskolonner
  • Filantal og samlet størrelse i bytes
  • Tabelegenskaber
  • Minimum versioner til læser- og skriverprotokol

Kør BESKRIV DETALJER

Kør DESCRIBE DETAIL mod en Delta-tabel ved at bruge Spark SQL eller Delta Lake API'en i PySpark eller Scala.

DESCRIBE DETAIL schema_name.table_name

Forstå BESKRIV DETALJEOUTPUT.

Det præcise skema kan variere afhængigt af runtime- og tabelfunktioner, men du ser ofte følgende kolonner.

Kolonne Hvad betyder det?
format Tabelformatet. For Delta-tabeller i Fabric er denne værdi delta.
id Den unikke identifikator for Delta-tabellen.
name Det registrerede bordnavn.
location Opbevaringsstien for bordet i OneLake.
createdAt Tidsstemplet, da tabellen blev oprettet.
lastModified Tidsstemplet for, hvornår tabellens metadata eller filer sidst blev opdateret.
partitionColumns Listen over partitionskolonner defineret for tabellen.
numFiles Det nuværende antal datafiler, der følges af tabellen.
sizeInBytes Den samlede størrelse af de sporede tabeldata i bytes.
properties Tabelegenskaberne gemt med Delta-tabeldefinitionen.
minReaderVersion Den mindste Delta-protokollæserversion, der kræves for at læse tabellen.
minWriterVersion Den minimale Delta-protokolskriverversion, der kræves for at skrive til tabellen.

Brug disse værdier til at bekræfte, hvor en tabel ligger, estimere lagerpladsen, verificere partitionering og tjekke, om tabelegenskaber eller protokolversioner er ændret.

Brug BESKRIV HISTORIE

DESCRIBE HISTORY returnerer operationsniveau-historikken for en Delta-tabel. Brug det, når du har brug for et revisionsspor af skrivninger og vedligeholdelsesaktiviteter såsom WRITE, MERGE, OPTIMIZE, , VACUUM, DELETE, eller UPDATE.

Denne historik hjælper dig med at besvare spørgsmål som:

  • Hvem skiftede bordet?
  • Hvilken operation blev gennemført?
  • Hvornår skete ændringen?
  • Hvilken version bør du inspicere med tidsrejse eller genoprette?

Kør BESKRIV HISTORIE

Løb DESCRIBE HISTORY for at returnere hele den tilgængelige historik.

DESCRIBE HISTORY schema_name.table_name

Begræns outputtet, når du kun har brug for de nyeste indgange.

DESCRIBE HISTORY schema_name.table_name LIMIT n

Forstå BESKRIV HISTORIK-output.

Historikoutputtet er en revisionslog over Delta-transaktioner. Følgende kolonner er særligt nyttige.

Kolonne Hvad betyder det?
version Delta-tabelversionen, der er skabt af operationen.
timestamp Tidspunktet, hvor operationen blev gennemført.
operation Operationstypen, såsom WRITE, , , MERGE, eller OPTIMIZEVACUUM.
operationParameters Parametre, der blev leveret til operationen.
operationMetrics Målinger indfanget for operationen, såsom tilføjede filer, fjernede filer, rækker skrevet eller behandlet datavolumen.
userName Brugeren eller principalen tilknyttet operationen, når det er tilgængeligt.
Notesbogsinformation Notesbogsrelateret kontekst, såsom notebooksti eller notebook-ID, når operationen kom fra en notebook run.

Brug operationParameters og operationMetrics sammen, når du har brug for mere end operationsnavnet. For eksempel indeholder OPTIMIZE og VACUUM ofte målinger, der hjælper dig med at forstå, hvor meget data der Fabric omskrevet eller ryddet op.

Hvornår skal man bruge BESKRIV HISTORIE

DESCRIBE HISTORY er især nyttig i disse scenarier:

  • Revisionsspor: Gennemgå hvem der ændrede en tabel, og hvilken operation de kørte.
  • Debugging: Identificer den skrive-, sammenflettnings-, optimerings- eller sletningsoperation, der har skabt et problem.
  • Versionsopdagelse: Find tabellen, der kan bruges med tidsrejser eller RESTORE.
  • Vedligeholdelsesovervågning: Inspicer OPTIMIZE og VACUUM vurder målinger for at bekræfte, at vedligeholdelsen har kørt, og for at se, hvad der har ændret sig.

Hvor man skal køre disse kommandoer

Kør disse kommandoer i Fabric-notebooks og Spark-jobdefinitioner, når du arbejder med Delta-tabeller gennem Apache Spark.

DESCRIBE DETAIL Arbejder også i SQL analytics-endpointet for grundlæggende metadata-scenarier i tabel. Brug Spark, når du har brug for fulde Delta Lake API'er som for eksempel DeltaTable.forName(...).detail() PySpark DeltaTable.forName(...).history() eller Scala.

Historisk bevarelse

Delta-historik retentionen styres af tabelegenskaben delta.logRetentionDuration . Den standard opbevaringsperiode er 30 dage.

Hvis du skal inspicere ældre historik, skal du bekræfte, at dine tabelopbevaringsindstillinger bevarer transaktionsloggen længe nok til dine drifts- og revisionskrav.

Relateret indhold

  • Last updated on