Prediktív optimalizálás felügyelt Unity Catalog-táblákhoz

Ez a lap a prediktív optimalizálást ismerteti, amely automatikusan futtat karbantartási műveleteket a Unity Catalog által felügyelt táblákhoz az Azure Databricksen.

Megjegyzés

A prediktív optimalizálás alapértelmezés szerint engedélyezve van a 2024. november 11-én vagy azt követően létrehozott fiókok esetében. A Databricks fokozatos bevezetéssel engedélyezi a meglévő fiókokat. A bevezetés várhatóan 2026 augusztusára fejeződik be. Annak ellenőrzéséhez, hogy a fiókja már engedélyezve van-e, tekintse meg a prediktív optimalizálás engedélyezésének ellenőrzését.

Ha engedélyezve van a prediktív optimalizálás, a Databricks automatikusan a következőket teszi:

  • Azonosítja azokat a táblákat, amelyek kihasználnák a karbantartási műveleteket, és várólistára állítja a futtatandó műveleteket.
  • Statisztikákat gyűjt, ha az adatok egy felügyelt táblába íródnak.

Ez kiküszöböli a szükségtelen karbantartási futtatásokat, valamint a teljesítmény manuális nyomon követésének és hibaelhárításának terheit.

A Databricks prediktív optimalizálást javasol az összes Unity Catalog által felügyelt táblához. Az automatizált adatcsoportosítás például intelligens adatelrendezés-optimalizálást alkalmaz az adathasználati minták alapján. Lásd: Táblákhoz folyékony klaszterezés használata.

Milyen műveleteket futtat a prediktív optimalizálás?

A prediktív optimalizálás a következő műveleteket futtatja a Unity Catalog által felügyelt táblákon:

Művelet Leírás
OPTIMIZE Elindítja az engedélyezett táblák inkrementális fürtözését. Lásd: Táblákhoz folyékony klaszterezés használata. A fájlméretek optimalizálásával javítja a lekérdezés teljesítményét. Lásd: Adatfájlelrendezés optimalizálása.
VACUUM Csökkenti a tárolási költségeket a tábla által már nem hivatkozott adatfájlok törlésével. Lásd: A nem használt adatfájlok eltávolítása vákuummal.
ANALYZE A lekérdezési teljesítmény javítása érdekében elindítja a statisztikák növekményes frissítését. Lásd:ANALYZE TABLE ... SZÁMÍTÁSI STATISZTIKÁK.

Megjegyzés

OPTIMIZE nem fut ZORDER , ha prediktív optimalizálással hajtják végre. A Z-sorrendet használó táblákban a prediktív optimalizálás figyelmen kívül hagyja a Z-rendezésű fájlokat.

Ha engedélyezve van az automatikus folyékony fürtözés, a prediktív optimalizálás új fürtkulcsokat választhat az adatok fürtözése előtt. Lásd: Automatikus folyadékfürtözés.

Figyelmeztetés

A megőrzési időtartamot VACUUM a delta.deletedFileRetentionDuration táblatulajdonság határozza meg, amely alapértelmezés szerint 7 nap. VACUUM Eltávolítja azokat az adatfájlokat, amelyekre már nem hivatkozik a Delta-tábla verziója az adott ablakban. Ha hosszabb ideig szeretné megőrizni az adatokat (például a hosszabb időutazás támogatása érdekében), állítsa be ezt a tulajdonságot a prediktív optimalizálás engedélyezése előtt:

ALTER TABLE table_name SET TBLPROPERTIES ('delta.deletedFileRetentionDuration' = '30 days');

Számítás és számlázás

Prediktív optimalizálási futtatások során a ANALYZE, OPTIMIZE és VACUUM műveleteket kiszolgáló nélküli számítási kapacitással hajtják végre. A fiók számlázása ehhez a számításhoz kiszolgáló nélküli feladatok termékváltozatával történik.

Tekintse meg a Databricks által felügyelt szolgáltatások díjszabását. Lásd: A prediktív optimalizálás nyomon követése rendszertáblákkal.

Előfeltételek

A prediktív optimalizálás használatához a következő követelményeknek kell teljesülniük:

  • Az Azure Databricks-munkaterületnek a Prémium csomagban kell lennie egy támogatott régióban.
  • Sql Warehouses vagy Databricks Runtime 12.2 LTS vagy újabb verziót kell használnia.
  • Csak a Unity Catalog által felügyelt táblák támogatottak.

Prediktív optimalizálás engedélyezése

Engedélyezheti a prediktív optimalizálást egy fiókhoz, katalógushoz vagy sémához. Alapértelmezés szerint minden Unity Catalog által felügyelt tábla örökli a fiók értékét. A fiók alapértelmezett beállítását a katalógus vagy a séma szintjén felülbírálhatja.

A prediktív optimalizálás engedélyezéséhez vagy letiltásához a következő jogosultságokkal kell rendelkeznie:

Unity Catalog-objektum Kiváltság
Számla Fiókadminisztrátor
Katalógus Katalógus tulajdonosa
Séma Séma tulajdonosa

A fiók prediktív optimalizálásának engedélyezése vagy letiltása

A fiókadminisztrátor a fiók összes metaadattára esetében engedélyezheti a prediktív optimalizálást. A katalógusok és sémák alapértelmezés szerint öröklik ezt a beállítást, de mindkét szinten felülbírálhatja.

  1. Lépjen a fiókkonzolra.
  2. Lépjen a Beállítások, majd a Funkció engedélyezése elemre.
  3. Válassza ki a prediktív optimalizálás mellett a kívánt beállítást (például engedélyezve).

Megjegyzés

  • A prediktív optimalizálást nem támogató régiókban lévő metaadattárak nincsenek engedélyezve.
  • A fiókszintű prediktív optimalizálás letiltása nem tiltja le azokat a katalógusokban vagy sémákban, amelyek kifejezetten engedélyezték azt.

Prediktív optimalizálás engedélyezése vagy letiltása katalógushoz vagy sémához

A prediktív optimalizálás öröklési modellt használ. Ha egy katalógus engedélyezve van, a katalógus sémái öröklik a beállítást, és az engedélyezett sémán belüli táblák is öröklik azt. Explicit módon engedélyezheti vagy letilthatja a katalógusok vagy sémák prediktív optimalizálását, hogy felülírja ezt a viselkedést.

Megjegyzés

A prediktív optimalizálást letilthatja a katalógus vagy a séma szintjén, mielőtt fiókszinten engedélyezné. Ha a fiók szintjén később engedélyezve van a prediktív optimalizálás, az ezekben az objektumokban lévő táblákra továbbra is le lesz tiltva.

A prediktív optimalizálás engedélyezéséhez, letiltásához vagy alaphelyzetbe állításához használja az alábbi szintaxist a szülőobjektum örökléséhez:

ALTER CATALOG [catalog_name] { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;
ALTER { SCHEMA | DATABASE } schema_name { ENABLE | DISABLE | INHERIT } PREDICTIVE OPTIMIZATION;

Ellenőrizze, hogy engedélyezve van-e a prediktív optimalizálás

A Predictive Optimization mező egy Unity Catalog tulajdonság, amely megmutatja, hogy engedélyezve van-e a prediktív optimalizálás. Ha a beállítás egy szülőobjektumtól öröklődik, a mező értéke ezt jelzi.

Az állapot ellenőrzéséhez használja az alábbi szintaxist:

DESCRIBE (CATALOG | SCHEMA | TABLE) EXTENDED name

Prediktív optimalizálás nyomon követése rendszertáblákkal

A Databricks rendszertáblát system.storage.predictive_optimization_operations_history biztosít a prediktív optimalizálási műveletek, költségek és hatások megfigyelhetőségéhez. Lásd a prediktív optimalizálási rendszer táblázatának hivatkozását.

Ha a rendszertábla sikertelenként FAILED: PRIVATE_LINK_SETUP_ERRORjelöli meg a műveleteket, előfordulhat, hogy a kiszolgáló nélküli privát kapcsolat nincs megfelelően konfigurálva. Lásd: Privát kapcsolat konfigurálása az Azure-erőforrásokhoz.

Korlátozások

A prediktív optimalizálás nem a következő táblázattípusokon fut:

  • A munkaterületre Delta Sharing címzettként betöltött táblák
  • Külső táblák
  • Last updated on