Prediktivní optimalizace spravovaných tabulek v Katalogu Unity

Tato stránka popisuje prediktivní optimalizaci, která automaticky spouští údržbové operace pro spravované tabulky v rámci Unity Catalog na Azure Databricks.

Poznámka:

Prediktivní optimalizace je ve výchozím nastavení povolená pro účty vytvořené 11. listopadu 2024 nebo po 11. listopadu 2024. Databricks začala povolovat stávající účty 7. května 2025. Toto zavedení je postupné a očekává se, že se dokončí do dubna 2026. Pokud chcete zkontrolovat, jestli je váš účet už povolený, přečtěte si téma Ověření, jestli je povolená prediktivní optimalizace.

Když je povolená prediktivní optimalizace, Databricks automaticky provede následující:

• Identifikuje tabulky, které by mohly těžit z operací údržby a zařadí tyto operace do front ke spuštění.
• Shromažďuje statistiky při zápisu dat do spravované tabulky.

Tím se eliminují zbytečné běhy údržby a zatížení při ručním sledování a řešení potíží s výkonem.

Databricks doporučuje prediktivní optimalizaci pro všechny spravované tabulky Katalogu Unity. Například automatické shlukování kapalin používá inteligentní optimalizaci rozložení dat na základě vzorů využití dat. Viz Použití metody 'liquid clustering' pro tabulky.

Jaké operace spouští prediktivní optimalizace?

Prediktivní optimalizace spouští následující operace ve spravovaných tabulkách Katalogu Unity:

Operace	Popis
OPTIMIZE	Aktivuje přírůstkové seskupování pro aktivované tabulky. Viz Použití metody 'liquid clustering' pro tabulky. Zlepšuje výkon dotazů optimalizací velikostí souborů. Viz Optimalizace rozložení datového souboru.
VACUUM	Snižuje náklady na úložiště odstraněním datových souborů, které tabulka již neodkazuje. viz Odebrání nepoužívaných datových souborů pomocí příkazu VACUUM.
ANALYZE	Aktivuje přírůstkovou aktualizaci statistik za účelem zlepšení výkonu dotazů. Viz ANALYZE TABLE ... VÝPOČETNÍ STATISTIKA.

Poznámka:

OPTIMIZE se nespustí ZORDER při provádění prediktivní optimalizace. U tabulek, které používají pořadí Z, prediktivní optimalizace ignoruje soubory seřazené podle Z.

Pokud je povolené automatické shlukování kapalin, prediktivní optimalizace může před clusteringem dat vybrat nové klíče clusteringu. Viz automatické shlukování kapalin.

Varování

Interval VACUUM uchovávání informací je určen delta.deletedFileRetentionDuration vlastností tabulky, která má výchozí hodnotu 7 dnů. VACUUM odebere datové soubory, na které už v daném okně neodkazuje verze tabulky Delta. Chcete-li uchovávat data po delší dobu (například pro podporu delšího časového cestování), nastavte tuto vlastnost před povolením prediktivní optimalizace:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');

Výpočty a fakturace

Prediktivní optimalizace běží ANALYZEa OPTIMIZEVACUUM operace využívající bezserverové výpočetní prostředky pro úlohy. Vašemu účtu bude účtováno za tuto výpočetní službu pomocí skladové položky bezserverové úlohy.

Podívejte se na ceny spravovaných služeb Databricks. Podívejte se na Sledování prediktivní optimalizace pomocí systémových tabulek.

Předpoklady

Aby bylo možné použít prediktivní optimalizaci, musí být splněny následující požadavky:

• Váš pracovní prostor Azure Databricks musí být v plánu Premium v podporované oblasti.
• Musíte použít SQL Warehouses nebo Databricks Runtime 12.2 LTS nebo vyšší.
• Podporují se jenom spravované tabulky Katalogu Unity.

• Pokud pro účty úložiště požadujete privátní připojení, nakonfigurujte bezserverové privátní připojení. Viz Konfigurace privátního připojení k prostředkům Azure.

Povolení prediktivní optimalizace

Prediktivní optimalizaci můžete povolit pro účet, katalog nebo schéma. Všechny spravované tabulky katalogu Unity dědí ve výchozím nastavení hodnotu účtu. Výchozí účet můžete přepsat na úrovni katalogu nebo schématu.

Abyste mohli povolit nebo zakázat prediktivní optimalizaci, musíte mít následující oprávnění:

Objekt katalogu Unity	Oprávnění
Účet	Správce účtu
Katalog	Vlastník katalogu
Schéma	Vlastník schématu

Povolení nebo zakázání prediktivní optimalizace pro váš účet

Správce účtu může povolit prediktivní optimalizaci pro všechny metastory v účtu. Katalogy a schémata zdědí toto nastavení ve výchozím nastavení, ale můžete ho přepsat na každé z úrovní.

1. Přejděte do konzoly účtů.
2. Přejděte do Nastavení a pak povolte funkci.
3. Vyberte požadovanou možnost (například Povoleno) vedle možnosti Prediktivní optimalizace.

Poznámka:

• Metastory v oblastech, které nepodporují prediktivní optimalizaci, nejsou povolené.
• Zakázání prediktivní optimalizace na úrovni účtu ho nezakazuje pro katalogy nebo schémata, která je výslovně povolila.

Povolení nebo zakázání prediktivní optimalizace pro katalog nebo schéma

Prediktivní optimalizace používá model dědičnosti. Pokud je pro katalog povoleno, schémata v daném katalogu dědí nastavení a tabulky v rámci povoleného schématu také. Pokud chcete toto chování přepsat, můžete explicitně povolit nebo zakázat prediktivní optimalizaci katalogu nebo schématu.

Poznámka:

Před povolením na úrovni účtu můžete prediktivní optimalizaci zakázat na úrovni katalogu nebo schématu. Pokud je prediktivní optimalizace později povolená na úrovni účtu, zůstane pro tabulky v těchto objektech blokovaná.

Pomocí následující syntaxe povolte, zakažte nebo resetujte prediktivní optimalizaci, která dědí z nadřazeného objektu:

ALTER CATALOG [catalog_name] { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER { SCHEMA | DATABASE } schema_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;

Ověření, jestli je povolená prediktivní optimalizace

Toto Predictive Optimization pole je vlastnost katalogu Unity, která ukazuje, jestli je povolená prediktivní optimalizace. Pokud je nastavení zděděno z nadřazeného objektu, hodnota pole to označuje.

Ke kontrole stavu použijte následující syntaxi:

DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name

Sledování prediktivní optimalizace pomocí systémových tabulek

Databricks poskytuje systémovou tabulku system.storage.predictive_optimization_operations_history pro pozorovatelnost operací prediktivní optimalizace, nákladů a dopadu. Viz tabulkovou referenci systému prediktivní optimalizace .

Chybová zpráva služby Private Link

Pokud systémová tabulka označí operace jako neúspěšné FAILED: PRIVATE_LINK_SETUP_ERROR, nemusí být bezserverové privátní propojení správně nakonfigurované. Viz Konfigurace privátního připojení k prostředkům Azure.

Omezení

Prediktivní optimalizace se nespustí u následujících typů tabulek:

• Tabulky načtené jako příjemci Delta sdílení do pracovního prostoru
• Externí tabulky