Velikost tabulky v Azure Databricks

Velikost tabulky hlášená pro tabulky Delta Lake a Apache Iceberg se liší od celkové velikosti odpovídajících adresářů souborů v cloudovém úložišti objektů. Tyto formáty dat uchovávají předchozí verze datových souborů, aby umožňovaly dotazy na čas. Datové soubory se odstraní pouze tehdy, když se po uplynutí doby uchovávání spustí VACUUM. viz Odebrání nepoužívaných datových souborů pomocí příkazu VACUUM.

Proč se velikost tabulky liší od velikosti adresáře

Velikosti tabulek hlášené v Azure Databricks prostřednictvím uživatelských rozhraní a DESCRIBE příkazů odkazují na celkovou velikost datových souborů v úložišti pro tyto soubory odkazované v aktuální verzi tabulky. Většina operací, které zapisují do tabulek, vyžaduje přepsání podkladových datových souborů a uchovávání starých datových souborů, aby umožňovaly dotazy na časovou cestu.

Poznámka:

Pokud záznamy v tabulkách pravidelně odstraňujete nebo aktualizujete, můžou vektory odstranění zrychlit dotazy a snížit celkovou velikost datových souborů. Podívejte se na vektory odstranění v Databricks.

Metriky výpočetního úložiště pro tabulku

Platí pro: Databricks Runtime 18.0 a vyšší

Pokud chcete zjistit, proč se celková velikost úložiště liší od velikosti tabulky, použijte ANALYZE TABLE … COMPUTE STORAGE METRICS. Tento příkaz ukazuje podrobný rozpis přidělení úložiště, který vám pomůže:

• Identifikace příležitostí optimalizace nákladů: Zjistěte, kolik úložiště je možné uvolnit pomocí VACUUM
• Analýza režijních nákladů časového cestování: Pochopení nákladů na uchovávání historických dat
• Sledování vzorů úložiště: Monitorujte, jak se ukládání tabulek vyvíjí v průběhu času, pravidelným spouštěním příkazu
• Auditovat úložiště napříč tabulkami: Spuštěním příkazu ve smyčce analyzujte celá datová aktiva.

Příkaz vrátí komplexní metriky, mezi které patří:

• Celková velikost úložiště: Kompletní využití dat, metadat a protokolů
• Aktivní data: Velikost aktuální verze tabulky
• Vakuová data: Prostor, který lze uvolnit
• Časová cestovní data: Historická data pro vrácení zpět

To je zvlášť cenné pro spravované tabulky v Katalogu Unity, kde Azure Databricks automaticky spravuje úložiště prostřednictvím prediktivní optimalizace.

Viz ANALYZE TABLE ... METRIKY VÝPOČETNÍHO ÚLOŽIŠTĚ pro úplnou syntaxi a příklady

Použití prediktivní optimalizace k řízení velikosti dat

Databricks doporučuje používat spravované tabulky Katalogu Unity s povolenou prediktivní optimalizací. Díky spravovaným tabulkám a prediktivní optimalizaci databricks automaticky spouští OPTIMIZE a VACUUM příkazy, aby se zabránilo sestavení nepoužívaných datových souborů. Očekávejte, že vždy bude rozdíl mezi aktuální verzí tabulky a celkovou velikostí datových souborů v cloudovém úložišti objektů. Datové soubory, na které se v aktuální verzi neodkazují, se vyžadují pro podporu dotazů na cestování v čase. Viz Prediktivní optimalizace spravovaných tabulek v katalogu Unity.

VACUUM metriky úložiště

Když vyčistíte nepoužívané datové soubory VACUUM nebo použijete DRY RUN k zobrazení náhledu souborů nastavených pro odebrání, metriky hlásí počet souborů a velikost odebraných dat. Velikost a počet odebraných VACUUM souborů se výrazně liší, ale je běžné, že velikost odebraných souborů překročí celkovou velikost aktuální verze tabulky.

OPTIMIZE metriky úložiště

Když OPTIMIZE se spustí v cílové tabulce, nové datové soubory kombinují záznamy z existujících datových souborů. Změny provedené během OPTIMIZE ovlivňují pouze organizaci dat a nedochází k žádným změnám samotného obsahu dat. Celková velikost podkladových datových souborů pro tabulku se po spuštění zvýší OPTIMIZE , protože nové komprimované soubory existují společně v adresáři obsahujícím staré neoptimalizované datové soubory.

Velikost tabulky hlášené po OPTIMIZE spuštění je obecně menší než velikost před OPTIMIZE spuštěním, protože celková velikost datových souborů odkazovaných aktuální verzí tabulky se snižuje s komprimací dat. Pokud chcete odebrat podkladové datové soubory, VACUUM musí se spustit po uplynutí prahové hodnoty uchovávání informací.

Poznámka:

Můžete vidět podobné metriky pro operace, jako je REORG TABLE nebo DROP FEATURE. Všechny operace, které vyžadují přepisování datových souborů, zvětšují celkovou velikost dat v adresáři, dokud neodebere datové soubory, na VACUUM které se už v aktuální verzi tabulky neodkazují.