Förutsägande optimering för hanterade Unity Catalog-tabeller

Prediktiv optimering kör OPTIMIZEautomatiskt, VACUUM och ANALYZE på Unity Catalog-hanterade tabeller (Delta Lake och Iceberg) på Azure Databricks och uppdaterar deras fulltextsökindex, vilket eliminerar manuellt underhåll och tid som läggs på att spåra prestandaproblem.

Anteckning

Prediktiv optimering är aktiverad som standard. För att kontrollera om prediktiv optimering är aktiverad för ditt konto, se Verifiera om prediktiv optimering är aktiverad.

När förutsägande optimering är aktiverat gör Databricks automatiskt följande:

  • Identifierar tabeller som skulle dra nytta av underhållsåtgärder och ställer dessa åtgärder i kö för att köras.
  • Samlar in statistik när data skrivs till en hanterad tabell.

Detta eliminerar onödiga underhållskörningar och belastningen att spåra och felsöka prestanda manuellt.

Databricks rekommenderar förutsägelseoptimering för alla hanterade Unity Catalog-tabeller. Automatisk flytande klustring använder till exempel intelligent optimering av datalayout baserat på dina dataanvändningsmönster. Se Använda flytande klustring för tabeller.

Vilka operationer utförs av prediktiv optimering?

Förutsägande optimering kör följande åtgärder i hanterade Unity Catalog-tabeller:

Verksamhet beskrivning
OPTIMIZE Utlöser inkrementell klustring för aktiverade tabeller. Se Använda flytande klustring för tabeller. Förbättrar frågeprestanda genom att optimera filstorlekar. Se Optimera datafilens layout.
VACUUM Minskar lagringskostnaderna genom att ta bort datafiler som inte längre refereras till av tabellen. För tabeller där Iceberg-läsningar är aktiverade rensas även Iceberg-metadata för äldre tabellversioner. Se Ta bort oanvända datafiler med vakuum och VACUUMrensning av Iceberg-metadata.
ANALYZE Söker igenom tabellen och samlar in statistik för att förbättra frågeprestanda. Se ANALYZE TABLE ... BERÄKNINGSSTATISTIK. Information om hur du tar bort statistik som samlas in av förutsägelseoptimering finns iANALYZE TABLE ... SLÄPP STATISTIK.
REFRESH INDEX Håller fulltext-sökindex uppdaterade med deras bastabell. Se Sökindex i fulltext i hanterade unity-katalogtabeller.

Anteckning

OPTIMIZE kör inte ZORDER när den körs av prediktiv optimering. I tabeller som använder Z-ordning ignorerar förutsägande optimering Z-ordnade filer.

Om automatisk vätskeklustering är aktiverad kan prediktiv optimering välja nya klustringsnycklar innan data klustras. Se Automatisk flytande klustring.

Varning

Kvarhållningsfönstret för VACUUM bestäms av tabellegenskapen delta.deletedFileRetentionDuration , som standard är 7 dagar. VACUUM tar bort datafiler som inte längre refereras till av en Delta-tabellversion inom det fönstret. För att ändra lagringsfönstret (till exempel för att behålla data längre vid längre tidsresor), ställ in denna egenskap innan du aktiverar prediktiv optimering:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');

Prediktiv optimering stöder värden för delta.deletedFileRetentionDuration på mindre än 7 dagar.

Beräkning och fakturering

Prediktiv optimering kör ANALYZE, OPTIMIZE, VACUUM, och REFRESH INDEX operationer med serverless beräkning för jobb. Ditt konto debiteras för den här beräkningen med hjälp av en SKU för serverlösa jobb.

Se priser för Databricks-hanterade tjänster. Se Spåra förutsägelseoptimering med systemtabeller.

Förutsättningar

Följande krav måste uppfyllas för att kunna använda förutsägelseoptimering:

  • Din Azure Databricks-arbetsyta måste finnas på Premium-planen i en region som stöds.
  • Du måste använda SQL-lager eller Databricks Runtime 12.2 LTS eller senare.
  • Endast hanterade tabeller i Unity Catalog stöds.

Aktivera prediktiv optimering

Du kan aktivera förutsägelseoptimering för ett konto, en katalog, ett schema eller en tabell. Alla hanterade Unity Catalog-tabeller ärver kontovärdet som standard. Du kan åsidosätta kontots standardinställning på katalog-, schema- eller tabellnivå.

Du måste ha följande behörigheter för att aktivera eller inaktivera förutsägelseoptimering:

Unity Catalog-objekt Privileg
Konto Kontoadministratör
Katalog Katalogägare eller en användare med MANAGE behörighet i katalogen
Schemat Schemaägare eller en användare med MANAGE behörighet i schemat
Tabell Tabellägare eller en användare med MANAGE behörighet i tabellen

Aktivera eller inaktivera förutsägelseoptimering för ditt konto

En kontoadministratör kan aktivera förutsägelseoptimering för alla metaarkiv i ett konto. Kataloger och scheman ärver den här inställningen som standard, men du kan åsidosätta den på båda nivåer.

  1. Gå till kontokonsolen.
  2. Gå till Inställningar och sedan Funktionsaktivering.
  3. Välj det alternativ du vill använda (till exempel Aktiverad) bredvid Förutsägande optimering.

Anteckning

  • Metaarkiv i regioner som inte stöder förutsägande optimering är inte aktiverade.
  • Om du inaktiverar förutsägelseoptimering på kontonivå inaktiveras den inte för kataloger eller scheman som har aktiverat den specifikt.

Aktivera eller inaktivera förutsägelseoptimering för en katalog, ett schema eller en tabell

Förutsägelseoptimering använder en arvsmodell. När det är aktiverat för en katalog ärver scheman i katalogen inställningen och tabeller i ett aktiverat schema ärver den också. Du kan uttryckligen aktivera eller inaktivera förutsägelseoptimering för en katalog, ett schema eller en tabell för att åsidosätta det här beteendet.

Anteckning

Du kan inaktivera förutsägelseoptimering på katalog-, schema- eller tabellnivå innan du aktiverar den på kontonivå. Om förutsägande optimering senare aktiveras på kontonivå är den fortfarande blockerad för objekt som specifikt har inaktiverat den.

Använd följande syntax för att aktivera, inaktivera eller återställa förutsägelseoptimering för att ärva från det överordnade objektet:

ALTER CATALOG [catalog_name] { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER { SCHEMA | DATABASE } schema_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER TABLE table_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;

Se även ALTER TABLE.

Kontrollera om prediktiv optimering är aktiverad

Fältet Predictive Optimization är en Unity Catalog-egenskap som visar om förutsägelseoptimering är aktiverat. Om inställningen ärvs från ett överordnat objekt anger fältvärdet detta.

Använd följande syntax för att kontrollera statusen:

DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name

Kontrollera varför prediktiv optimering hoppade över en tabell

På Databricks Runtime 18 LTS och senare, efter att förutsägelseoptimering utvärderat en hanterad tabell, kan du kontrollera varför en åtgärd hoppades över på två sätt:

  • Fråga tabellen med DESCRIBE TABLE EXTENDED ... AS JSON.
  • Använd fliken Historik i Katalogutforskaren.

Det kan ta upp till 24 timmar innan resultaten visas.

Använd DESCRIBE TABLE EXTENDED ... AS JSON

DESCRIBE TABLE EXTENDED ... AS JSON returnerar ett predictive_optimization_evaluations fält i utdatan. I det här fältet visas varje åtgärdstyp och det senaste utvärderingsresultatet för den.

Kör följande för att kontrollera utvärderingsresultaten för en tabell:

DESCRIBE TABLE EXTENDED catalog_name.schema_name.table_name AS JSON

Fältet predictive_optimization_evaluations visar det senaste resultatet för varje åtgärdstyp. Endast den senaste utvärderingen visas utan historik. Åtgärdstyper är:

  • COMPACTION
  • CLUSTERING
  • AUTO_CLUSTERING_COLUMN_SELECTION
  • VACUUM

Utvärderingsutdata visar inte hoppa över orsaker till ANALYZE åtgärder.

Använd historikfliken i Katalogutforskaren

Du kan visa hoppa över orsaker på fliken Historik för en tabell i Katalogutforskaren. I kolumnen Åtgärd anger den automatiska etiketten att åtgärden kördes och etiketten Inte tillämpad anger att åtgärden hoppades över. Etiketten Auto innehåller förutsägelseoptimering och andra automatiska åtgärder, till exempel automatisk strömningskomprimering.

För att filtrera vilka operationer som visas, använd rullgardinsmenyn i fliken Historik . Välj Alla körningar för att visa varje operation, Automatiska körningar för att endast visa automatiska operationer som prediktiv optimering, eller manuella körningar för att visa endast operationer som utlösts manuellt. För att hitta hoppade prediktiva optimeringsoperationer, välj Automatiska körningar och leta sedan efter rader med etiketten Ej tillämpad .

Historikflik med rullgardinsmenyn för körtyp expanderad, som visar Alla körningar, automatiska körningar och manuella körningar, samt en överhoppad VACUUM operation märkt Ej tillämpad

Om du vill visa hoppa över orsaken klickar du på en rad med etiketten Inte tillämpad i kolumnen Åtgärd .

Katalogutforskarens historikflik som visar orsaker till att prediktiv optimering hoppades över

Följande tabell visar hur åtgärdstyperna i utdatamappningen DESCRIBE TABLE EXTENDED motsvarar åtgärder som visas i Katalogutforskaren:

DESCRIBE TABLE EXTENDED Operationstyp Catalog Explorer-åtgärd beskrivning
COMPACTION OPTIMIZE Filkomprimering för att förbättra frågeprestanda
CLUSTERING OPTIMIZE Stegvis vätskeklustring
AUTO_CLUSTERING_COLUMN_SELECTION AUTO LIQUID Utvärdering eller utveckling av flytande klustringsnycklar
VACUUM VACUUM Borttagning av datafiler som inte längre refereras av tabellen

Följ prediktiv optimering med systemtabeller

Databricks tillhandahåller systemtabellen system.storage.predictive_optimization_operations_history för observerbarhet i förebyggande optimeringsåtgärder, kostnader och påverkan. Se referens till tabell för prediktiv optimering .

Om systemtabellen markerar åtgärder som misslyckade med FAILED: PRIVATE_LINK_SETUP_ERRORkanske den serverlösa privata länken inte är korrekt konfigurerad. Se Konfigurera privat anslutning till Azure-resurser.

Begränsningar

Förutsägelseoptimering körs inte på följande tabelltyper:

  • Tabeller som läses in till en arbetsyta som OpenSharing-mottagare
  • Externa tabeller