Megosztás a következőn keresztül:

Prediktív optimalizálás felügyelt Unity Catalog-táblákhoz

Megjegyzés

A prediktív optimalizálás alapértelmezés szerint engedélyezve van, ha a fiókja 2024. november 11-én vagy azt követően jött létre. A Databricks 2025. május 7-től kezdte meg a meglévő fiókok engedélyezését. Ezt az engedélyezést fokozatosan vezetik be, és várhatóan 2026 februárjára fejeződik be. Ha nem biztos benne, hogy a fiókja már engedélyezve van-e, tekintse meg, hogy engedélyezve van-e a prediktív optimalizálás.

A prediktív optimalizálás szükségtelenné tette a Unity Catalog által felügyelt táblák karbantartási műveleteinek manuális kezelését az Azure Databricksben.

Ha engedélyezve van a prediktív optimalizálás, az Azure Databricks automatikusan elvégzi a következőket:

  • Azonosítja azokat a táblákat, amelyeknek hasznára válnának a karbantartási műveletek, és sorba állítja ezeket a műveleteket.
  • Statisztikákat gyűjt, ha az adatok egy felügyelt táblába íródnak.

A karbantartási műveletek szükség szerint futnak, így kiküszöbölik a karbantartási műveletek szükségtelen futását, valamint a nyomon követési és hibaelhárítási teljesítményhez kapcsolódó terheket.

A Databricks prediktív optimalizálást javasol az összes Unity Catalog által felügyelt táblához. Az automatikus folyékony fürtözés például intelligensen optimalizálja az adatelrendezést az adatfelhasználási minták alapján. Lásd: Táblákhoz folyékony klaszterezés használata.

Fontos

A prediktív optimalizálás csak a Unity Catalog által felügyelt táblákon fut.

A prediktív optimalizálás nem érhető el minden régióban. Tekintse meg a korlátozott regionális rendelkezésre állású funkciókat.

Milyen műveleteket futtat a prediktív optimalizálás?

A prediktív optimalizálás automatikusan futtatja a következő műveleteket az engedélyezett táblák esetében:

Művelet Leírás
OPTIMIZE (1) Elindítja az engedélyezett táblák inkrementális fürtözését. Lásd: Táblákhoz folyékony klaszterezés használata.
A fájlméretek optimalizálásával javítja a lekérdezés teljesítményét. Lásd: Adatfájlelrendezés optimalizálása.
VACUUM Csökkenti a tárolási költségeket a tábla által már nem hivatkozott adatfájlok törlésével. Lásd: A nem használt adatfájlok eltávolítása vákuummal.
ANALYZE A lekérdezési teljesítmény javítása érdekében elindítja a statisztikák növekményes frissítését. Lásd: ANALYZE TABLE.

(1)OPTIMIZE nem fut ZORDER , ha prediktív optimalizálással hajtják végre. A Z-sorrendet használó táblákban a prediktív optimalizálás figyelmen kívül hagyja a Z-rendezésű fájlokat.

Ha engedélyezve van az automatikus folyékony fürtözés, a prediktív optimalizálás új fürtkulcsokat választhat az adatok fürtözése előtt. Lásd: Automatikus folyadékfürtözés.

Figyelmeztetés

A VACUUM parancs adatmegőrzési időtartamát a delta.deletedFileRetentionDuration táblatulajdonság határozza meg, amely alapértelmezés szerint 7 nap. Ez azt jelenti, hogy VACUUM eltávolítja azokat az adatfájlokat, amelyekre már nem hivatkozik a Delta-tábla verziója az elmúlt 7 napban. Ha hosszabb ideig szeretné megőrizni az adatokat (például hosszabb ideig szeretné támogatni az időutazást), a prediktív optimalizálás engedélyezése előtt megfelelően be kell állítania ezt a táblatulajdonságot, ahogyan az alábbi példában is látható:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');

Ha a delta.deletedFileRetentionDuration értékét az alapértelmezett 7 nap alá állítja be, a prediktív optimalizálás 7 napos megőrzési időtartammal fut VACUUM.

Hol fut a prediktív optimalizálás?

A prediktív optimalizáció azonosítja azokat a táblákat, amelyek számára előnyösek lennének a ANALYZE, OPTIMIZEés VACUUM műveletek, és sorba állítja őket, hogy kiszolgáló nélküli számítással fussanak a feladatokhoz. A fiókja egy kiszolgáló nélküli feladat termékváltozatával kerül számlázásra az ezekhez a munkaterhelésekhez kapcsolódó számítástechnikai erőforrásokért.

Tekintse meg a Databricks által felügyelt szolgáltatások díjszabását. Lásd: A prediktív optimalizálás nyomon követése rendszertáblák használatával.

A prediktív optimalizálás előfeltételei

A prediktív optimalizálás engedélyezéséhez az alábbi követelményeknek kell megfelelnie:

  • Az Azure Databricks-munkaterületnek a Prémium csomagban kell lennie egy olyan régióban, amely támogatja a prediktív optimalizálást. Tekintse meg a korlátozott regionális rendelkezésre állású funkciókat.
  • Ha engedélyezi a prediktív optimalizálást, SQL warehouses-t vagy Databricks Runtime 12.2 LTS vagy újabb verziót kell használnia.
  • Csak a Unity Catalog által felügyelt táblák támogatottak.

Prediktív optimalizálás engedélyezése

Engedélyezheti a prediktív optimalizálást egy fiókhoz, katalógushoz vagy sémához. Alapértelmezés szerint minden Unity Catalog által felügyelt tábla örökli a fiók értékét. Felülbírálhatja a katalógus vagy séma alapértelmezett beállítását a fiókhoz, hogy ezen a szinten engedélyezze vagy tiltsa a prediktív optimalizálást.

Megjegyzés

A prediktív optimalizálás alapértelmezés szerint engedélyezve van, ha a fiókja 2024. november 11-én vagy azt követően jött létre. A Databricks 2025. május 7-től kezdte meg a meglévő fiókok engedélyezését. Ezt az engedélyezést fokozatosan vezetik be, és várhatóan 2026 februárjára fejeződik be.

A prediktív optimalizálás engedélyezéséhez vagy letiltásához a következő jogosultságokkal kell rendelkeznie a megadott szinten:

Unity Catalog-objektum Kiváltság
Számla Fiókadminisztrátor
Katalógus Katalógus tulajdonosa
Séma Séma tulajdonosa

A fiók prediktív optimalizálásának engedélyezése vagy letiltása

A fiókadminisztrátor az alábbi lépéseket végrehajtva engedélyezheti a fiók összes metaadattára prediktív optimalizálását. A fiók objektumai alapértelmezés szerint öröklik ezt a beállítást (de a beállítás felülírható a katalógus vagy séma szintjén):

  1. Hozzáférés a fiókkonzolhoz.
  2. Lépjen a Beállítások, majd a Funkció engedélyezése elemre.
  3. Válassza ki a prediktív optimalizálás mellett használni kívánt beállítást (például Engedélyezve).

Megjegyzés

  • A prediktív optimalizálást nem támogató régiókban lévő metaadattárak nincsenek engedélyezve.
  • A fiókszintű prediktív optimalizálás letiltása nem tiltja le azokat a katalógusokban vagy sémákban, amelyek kifejezetten engedélyezték azt.

Prediktív optimalizálás engedélyezése vagy letiltása katalógushoz vagy sémához

A prediktív optimalizálás öröklési modellt használ. Ha a katalógus engedélyezve van, a sémák öröklik a tulajdonságot. Az engedélyezett sémán belüli táblák öröklik a prediktív optimalizálást. Az öröklési viselkedés felülbírálásához explicit módon engedélyezheti vagy letilthatja a katalógus vagy séma prediktív optimalizálását.

Megjegyzés

A prediktív optimalizálást letilthatja a katalógus vagy a séma szintjén, mielőtt fiókszinten engedélyezné. Ha a prediktív optimalizálás később engedélyezve van a fiókban, akkor az ezekben az objektumokban lévő táblák esetében le lesz tiltva.

Az alábbi szintaxissal engedélyezheti vagy letilthatja a prediktív optimalizálást, vagy visszatérhet a szülőobjektumtól való öröklődés alapértelmezett értékére:

ALTER CATALOG [catalog_name] { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER { SCHEMA | DATABASE } schema_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;

Ellenőrizze, hogy engedélyezve van-e a prediktív optimalizálás

A Predictive Optimization mező egy Unity Catalog tulajdonság, amely részletezi, hogy engedélyezve van-e a prediktív optimalizálás. Ha a prediktív optimalizálás egy szülőobjektumtól öröklődik, ez a mezőértékben jelenik meg.

A következő szintaxis segítségével állapítsa meg, hogy engedélyezve van-e a prediktív optimalizálás:

DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name

A prediktív optimalizálás nyomon követése rendszertáblák használatával

Az Azure Databricks biztosítja a rendszertáblát system.storage.predictive_optimization_operations_history a prediktív optimalizálási műveletek, költségek és hatások megfigyeléséhez. Lásd a prediktív optimalizálási rendszer táblázatának hivatkozását.

Ha a rendszertáblázat sikertelenként jelöli meg a műveleteket FAILED: PRIVATE_LINK_SETUP_ERROR, előfordulhat, hogy nem megfelelően konfigurálta a privát kapcsolatot a kiszolgáló nélküli számításhoz. Lásd: Privát kapcsolat konfigurálása az Azure-erőforrásokhoz.

Korlátozások

A prediktív optimalizálás nem érhető el minden régióban. Tekintse meg a korlátozott regionális rendelkezésre állású funkciókat.

Az alapértelmezett 7 nap alatt konfigurált törölt fájlmegőrzési időtartamú (delta.deletedFileRetentionDuration) táblák esetében a prediktív optimalizálás 7 napos megőrzési időtartammal fut VACUUM . Lásd: Adatmegőrzés konfigurálása időutazásos lekérdezésekhez.

A prediktív optimalizálás nem végez karbantartási műveleteket a következő táblákon:

  • A munkaterületre Deltamegosztási címzettként betöltött táblák.
  • Külső táblák.
  • Last updated on