Životní cyklus úložiště objektů v katalogu Unity

Když odstraníte zabezpečitelný objekt katalogu Unity (prostřednictvím Průzkumníka katalogu, SQL DROPatd.), co se stane, závisí na typu objektu a typu úložiště. Tato stránka popisuje životní cyklus datového souboru, fakturaci úložiště a možnosti obnovení po odstranění.

Typ úložiště určuje, co se stane s datovými soubory.

U tabulek a svazků závisí to, co se stane s podkladovými datovými soubory, na tom, jestli je prostředek spravovaný nebo externí. Další informace o tomto rozdílu najdete v tématu Spravované a externí prostředky v katalogu Unity.

  • Spravované tabulky a objemy: Unity Catalog řídí umístění úložiště a životní cyklus datových souborů. Datové soubory se nacházejí ve spravovaném úložišti definovaném na úrovni metastoru, katalogu nebo schématu. Když odstraníte spravovanou tabulku nebo svazek, Katalog Unity odstraní podkladové datové soubory prostřednictvím vícefázového životního cyklu. Spravovaná umístění úložiště mají dvě varianty:

    • Azure Databricks výchozí úložiště: Úložiště objektů, které Azure Databricks zřizuje a spravuje ve vašem účtu Azure Databricks.
    • Spravované úložiště poskytované zákazníkem: Cloudové úložiště ve vašem cloudovém účtu nakonfigurované na úrovni metastoru, katalogu nebo schématu, do kterého Azure Databricks zapisuje a spravuje data.

    Obě varianty sdílejí stejný životní cyklus datového souboru, ale fakturace a uchovávání souborů po odstranění se liší. Viz Spravované objekty ve výchozím úložišti Azure Databricks a v úložišti poskytnutém zákazníkem.

  • Externí tabulky a svazky: Řídíte umístění a životní cyklus úložiště. Když odstraníte externí tabulku nebo svazek, Katalog Unity odebere metadata z metastoru, ale datové soubory zůstanou ve vašem cloudovém úložišti.

  • Externí a federované katalogy: Data jsou uložena v jiném zdroji dat (například ve federované databázi prostřednictvím funkce Lakehouse Federation nebo v metastore Hive prostřednictvím federace metastore Hive). Katalog Unity obsahuje pouze metadata připojení. Když odstraníte cizí katalog, Služba Unity Catalog odebere metadata připojení. Data ve zdrojovém systému nejsou ovlivněná.

U jiných zabezpečitelných objektů (katalogy, schémata, zobrazení, funkce, modely) odstranění odebere pouze metadata – ke správě katalogu Unity nejsou přidružené žádné datové soubory. Odstranění katalogu nebo schématu pomocí CASCADE odstraní i obsažené tabulky a svazky, každé podle svého vlastního výše popsaného spravovaného nebo externího chování.

Obnovení odstraněného objektu

Způsob obnovení odstraněného objektu závisí na typu objektu.

Typ objektu Recovery
Tabulky, materializovaná zobrazení, streamované tabulky Funkci UNDROP použijte do 7 dnů od odstranění. Materializovaná zobrazení a streamované tabulky musí být vytvořeny z kanálu ETL a tento kanál musí stále existovat.
Katalogy, schémata, svazky, zobrazení, funkce, modely Po odstranění nelze obnovit.

Warning

Obnovení je časově omezeno a probíhá bez záruky úspěchu. Odstraňte objekt až po potvrzení, že už data nepotřebujete. RESTRICT Použijte možnost (výchozí) DROP CATALOG a DROP SCHEMA chcete-li zabránit náhodnému rekurzivnímu odstranění neprázdných objektů.

Životní cyklus spravovaných dat po odstranění

Odstranění spravované tabulky nebo svazku neodstraní datové soubory z cloudového úložiště okamžitě. Datové soubory se zachovají během okna obnovení a trvale se následně odstraní.

Fáze 1: Okno obnovení

Po dobu 7 dnů po odstranění katalog Unity uchovává obnovitelně odstraněná data, abyste mohli obnovit objekt. Během tohoto okna:

  • Příkaz UNDROP SQL slouží k obnovení tabulek, materializovaných zobrazení a streamovaných tabulek.
  • Katalog Unity uchovává metadata vyřazeného objektu a fakturace úložiště pokračuje.

Fáze 2: Vyprázdnění

Po skončení 7denního okna obnovení už nelze objekt obnovit. Katalog Unity trvale odstraní datové soubory do 48 hodin. Podrobnosti o fakturaci úložiště v jednotlivých fázích najdete v tématu Fakturace úložiště po odstranění.

Spravované objekty ve výchozím úložišti Azure Databricks oproti úložišti poskytnutému zákazníkem

Spravované objekty můžou používat dva typy spravovaného úložiště. Životní cyklus dat a chování mazání katalogu Unity jsou stejné, ale fakturace a uchovávání souborů po vymazání se liší.

Typ úložiště Vymazání souboru
Azure Databricks výchozí úložiště (spravované vaším jménem Azure Databricks) Katalog Unity trvale odstraní datové soubory do 48 hodin od ukončení okna obnovení.
Spravované úložiště poskytované zákazníkem (umístění cloudového úložiště, které jste nakonfigurovali v metastoru, katalogu nebo schématu) Katalog Unity trvale odstraní datové soubory do 48 hodin od ukončení okna obnovení. Vaše zásady cloudového úložiště (správa verzí objektů, obnovitelné odstranění, pravidla životního cyklu) můžou uchovávat soubory po tomto bodu. Poskytovatel cloudu vám účtuje úložiště podle těchto zásad.

Další informace o Azure Databricks výchozím úložišti najdete v tématu Výchozí úložiště v Databricks. Pokud chcete nakonfigurovat spravované úložiště poskytované zákazníkem, přečtěte si téma Určení spravovaného umístění úložiště v katalogu Unity.

Externí tabulky a svazky

Když odstraníte externí tabulku nebo externí svazek, katalog Unity odebere metadata z metastoru. Datové soubory v cloudovém úložišti se neodstraní. Poskytovatel cloudu vám dál účtuje úložiště podle zásad vašeho kontejneru.

Pokud chcete soubory odebrat, odstraňte je přímo z cloudového úložiště.

Cizí a federované katalogy

Cizí katalog obsahuje metadata, která odkazují na externí zdroj dat. Když odstraníte cizí katalog, Služba Unity Catalog odebere metadata připojení. Data ve zdrojovém systému nejsou ovlivněná. Azure Databricks vám neúčtuje úložiště ve zdrojovém systému; platí fakturace zdrojového systému.

Fakturace úložiště po smazání

Následující tabulka shrnuje, jak Azure Databricks a váš poskytovatel cloudu účtují poplatky za úložiště v jednotlivých fázích. Azure Databricks účtuje pouze úložiště ve výchozím úložišti Azure Databricks, a to pouze během období obnovy – po uplynutí 7denního období obnovy se účtování úložiště zastaví. U spravovaného úložiště a externího úložiště poskytovaného zákazníkem vám poskytovatel cloudu účtuje fakturu přímo.

Typ úložiště Okno obnovení Vyprázdnění fáze 2 Po vyprázdnění
Spravované ve výchozím úložišti Azure Databricks Fakturace Azure Databricks Neúčtovatelné zákazníkem (fakturace se zastaví, jakmile projde okno obnovení) Není relevantní
Spravované v úložišti poskytnutém zákazníkem Poskytovatel cloudu fakturovaný Poskytovatel cloudu fakturovaný Účtováno poskytovatelem cloudu (řídí se zásadami vašeho bucketu)
Externí tabulky a svazky Poskytovatel cloudu fakturovaný (soubory se neodstraní) Poskytovatel cloudu byl vyúčtován Poskytovatel cloudu fakturovaný
Cizí a federované katalogy Není relevantní Není relevantní Není relevantní

Po odstranění spravovaného objektu v úložišti poskytnutém zákazníkem se můžou dál zobrazovat poplatky za úložiště od poskytovatele cloudu. Chcete-li tyto poplatky snížit, zkontrolujte nastavení správy verzí objektů bucketu, měkkého odstranění a zásad životního cyklu.

Odstranění objektu z Průzkumníka katalogu

Objekty katalogu Unity můžete odstranit z Průzkumníka katalogu v uživatelském rozhraní pracovního prostoru. Životní cyklus dat popsaný v tomto článku platí bez ohledu na to, jestli odstraníte objekt z Průzkumníka katalogu nebo spustíte příkaz SQL DROP .

Co se stane, když odstraníte pracovní prostor

Odstranění pracovního prostoru ve výchozím nastavení automaticky neodstraní výchozí katalog Unity. Pokud je katalog ponechán, jeho spravované tabulky a svazky zůstanou zachovány a účtování za úložiště pokračuje, dokud není katalog odstraněn.

Azure Databricks nabízí možnost vynuceného odstranění, která v rámci odstranění pracovního prostoru odebere katalog pracovních prostorů a jeho data. Viz Vynucení odstranění katalogu pracovních prostorů. Pokud katalog pracovních prostorů není vynuceně odstraněn, zachová se po odstranění pracovního prostoru a je nutné ho ručně odstranit.

Podrobnosti o odstranění pracovního prostoru najdete v tématu Odstranění pracovního prostoru.

Další zdroje informací

  • Last updated on