Reorganiser Delta-tabeller med REORG

Brug kommandoen REORG , når du skal omskrive en del af en Delta-tabel til et specifikt vedligeholdelsesmål. I Fabric omorganiserer REORG det fysiske layout af en tabel ved at omskrive datafiler eller opdatere tabelmetadata, afhængigt af hvilken mulighed du vælger.

REORG er forskellig fra rutinemæssig filkomprimering. Den retter sig mod scenarier som fysisk fjernelse af rækker, der er markeret som slettet.

Hvad REORG gør

REORG TABLE Omskriver tabelens tilstand for en defineret vedligeholdelsesoperation.

  • APPLY (PURGE) omskrivninger påvirkede datafiler, så rækker, der blev blødt slettet via sletningsvektorer, fysisk fjernes fra de underliggende Parquet-filer.

Brug REORG den, når du har brug for et specifikt omskrivningsresultat, ikke bare mindre eller færre filer.

Brug PURGE til fysisk at fjerne soft-slettede rækker

Sletningsvektorer lader Delta Lake markere rækker som slettede uden straks at omskrive de oprindelige Parquet-filer. Den adfærd holder sletningsoperationerne effektive, men de slettede rækkedata eksisterer stadig i de fysiske filer, indtil du omskriver dem.

Når du kører REORG TABLE ... APPLY (PURGE), omskriver Fabric de berørte filer og fjerner de blødt slettede rækker fra de aktive Parquet-filer. Efter PURGE færdiggørelsen er de slettede rækker faktisk væk fra de omskrevne filer.

Bemærkning

PURGE er typisk ikke påkrævet som et separat vedligeholdelsestrin. OPTIMIZE Renser automatisk filer, hvor mere end 5% poster refereres til via sletningsvektorer under komprimering. Reserver PURGE til situationer, hvor du har brug for eksplicit kontrol over, hvornår soft-slettede rækker fysisk fjernes.

Denne mulighed er nyttig, når:

  • Du har krav til overholdelse eller GDPR og har brug for, at slettede data fysisk fjernes på en bestemt tidsplan.
  • Du vil tvinge til at rense filer, der falder under 5% grænsen, som det OPTIMIZE bruger.

Gennemgå syntaksen

Brug følgende eksempler i en Fabric-notesbog.

Rens soft-slettede rækker fra en tabel

REORG TABLE table_name APPLY (PURGE)

Rens blødt slettede rækker kun for at matche data

REORG TABLE table_name WHERE predicate APPLY (PURGE)

Brug en klausul, WHERE når du vil målrette specifikke partitioner eller et mindre datastykke.

REORG TABLE sales.orders
WHERE order_date = DATE '2026-05-01'
APPLY (PURGE)

Vælg REORG eller OPTIMER

REORG og OPTIMIZE løse forskellige problemer.

  • OPTIMIZE udfører bin-kompaktering. Den samler små filer i større filer for at forbedre scanningseffektiviteten.
  • REORG ... APPLY (PURGE) Fjerner fysisk rækker, der er markeret som slettet.

Du kan bruge begge kommandoer sammen. For eksempel kan du køre REORG ... APPLY (PURGE) for fysisk at fjerne slettede data og derefter prøve OPTIMIZE at forbedre fillayoutet.

Forstå deletionsvektorer

Sletningsvektorer er metadatastrukturer, der markerer rækker som slettede uden straks at omskrive Parquet-filerne, der indeholder disse rækker. Læserne respekterer sletningsvektorerne, så de slettede rækker ikke vises i forespørgselsresultaterne, men bytes forbliver stadig i opbevaring, indtil en omskrivning sker.

REORG ... APPLY (PURGE) er det trin, der fysisk fjerner disse rækker fra de omskrevne Parquet-filer.

Kør REORG i Fabric

Kør REORG fra Spark-baserede oplevelser i Fabric, såsom:

  • Stofnotesbøger
  • Spark-jobdefinitioner

Løb REORG ikke fra SQL-analyse-endpointet. REORG er en Spark SQL-vedligeholdelseskommando til Delta-tabeller.

Følg bedste fremgangsmåder

  • Kør PURGE kun, når du har et specifikt behov, såsom overholdelseskrav. OPTIMIZE Renser automatisk filer, hvor mere end 5% poster refereres til via sletningsvektorer, så rutinemæssig vedligeholdelse normalt ikke kræver et separat PURGE trin.
  • Kør PURGE det først VACUUM , når du har brug for, at slettede data fysisk fjernes for at overholde eller GDPR-krav.
  • Brug WHERE prædikater til at målrette specifikke partitioner, når du ikke behøver at omskrive hele tabellen.
  • Brug UPGRADE UNIFORM den, når du har brug for Iceberg-læsere, men planlæg med den ekstra metadata, som UniForm opbevarer.
  • Behandle REORG dem som OPTIMIZE komplementære vedligeholdelsesoperationer, ikke udskiftelige.

Relateret indhold

  • Last updated on