Změny v katalogu

Commity katalogu přesouvají koordinaci commitů ze souborového systému do Unity Catalogu, čímž se katalog stává jediným zdrojem pravdy pro stav tabulek Delta Lake a Apache Iceberg. To umožňuje transakce s více tabulkami, rychlejší plánování dotazů a řízení přístupu napříč všemi operacemi tabulek.

Tradiční transakce Delta Lake koordinují potvrzení na úrovni jednotlivých tabulek. Každá tabulka spravuje svůj vlastní transakční protokol a detekci konfliktů nezávisle. Přesunutím koordinace potvrzení na úroveň katalogu to organizacím umožňuje konzistentně řídit veškerý přístup k Lakehouse prostřednictvím katalogu Unity. Umožňuje také katalogu Unity orchestrovat potvrzení napříč několika tabulkami v rámci jedné hranice transakce při zachování záruk ACID Delta Lake.

Výhody

Potvrzení změn v katalogu poskytují následující možnosti:

  • Transakce zahrnující více tabulek: Spusťte více příkazů SQL napříč více tabulkami jako jedno atomické potvrzení. Všechny změny jsou úspěšné společně nebo společně selžou. Viz Transakce.

    Důležité

    Transakce, které se zapisují do spravovaných tabulek Delta katalogu Unity, jsou ve verzi Public Preview.

    Transakce, které zapisují do katalogu Unity spravované tabulky Iceberg, jsou ve verzi Private Preview. Pokud se chcete připojit k této verzi Preview, odešlete formulář pro registraci spravovaných tabulek Iceberg ve verzi Preview.

  • Řízený přístup: Čtení a zápisy jsou koordinovány prostřednictvím katalogu Unity, takže moduly vidí nejnovější potvrzený stav a jsou aplikovány řídicí zásady.

  • Rychlejší plánování a zápisy dotazů: Katalog Unity informuje klienta Delta o metadatech na úrovni tabulky přímo, když přistupuje k tabulce, přeskočí cloudové úložiště a odebere hlavní zdroj latence metadat.

  • Vynucená omezení: Katalog Unity ověří nebo odmítne změny schématu a omezení a brání nekompatibilním aktualizacím, které by mohly narušit integritu dat nebo podřízené úlohy.

  • Externí přístup: Bezpečně zapisujte do spravovaných tabulek Katalogu Unity z externích modulů. Katalog Unity koordinuje potvrzení, aby se zabránilo konfliktům způsobeným poškozením a souběžností. Viz Přístup k datům Databricks pomocí externích systémů.

    Důležité

    Tato funkce je v beta verzi. Správci pracovního prostoru můžou řídit přístup k této funkci ze stránky Previews . Viz Manage Azure Databricks preview.

Requirements

  • Tabulky musí být tabulky spravované pomocí Unity Catalog (Delta nebo Iceberg).
  • Pro používání funkcí čtení, zápisu nebo vytváření tabulek s povolenými potvrzeními katalogu je vyžadován Databricks Runtime ve verzi 16.4 nebo vyšší.
  • Databricks Runtime 18.0 a vyšší se vyžaduje k povolení nebo zakázání potvrzení katalogu u existujících tabulek.

Povolení potvrzení katalogu

Potvrzení katalogu můžete povolit u nových a existujících tabulek.

Povolit potvrzení katalogu pro nové tabulky

delta.feature.catalogManaged Vlastnost tabulky použijte při vytváření tabulky:

CREATE TABLE sales_data (
  sale_id BIGINT,
  amount DECIMAL(10,2),
  sale_date DATE
)
TBLPROPERTIES ('delta.feature.catalogManaged' = 'supported');

Povolit potvrzení katalogu pro existující tabulky

Použijte ALTER TABLE k přidání záznamů katalogu do existující tabulky:

ALTER TABLE sales_data SET TBLPROPERTIES ('delta.feature.catalogManaged' = 'supported');

Důležité

Povolení potvrzení katalogu u existující tabulky synchronizuje stav tabulky s katalogem. Tato operace může trvat několik minut u tabulek s velkými objemy operací zápisu.

Zkontrolujte, jestli jsou povolené commity katalogu

Chcete-li ověřit, zda má tabulka povolené potvrzení změn v katalogu:

DESCRIBE DETAIL sales_data;

Pokud je tato možnost povolená, catalogManaged zobrazí se ve sloupci tableFeatures .

Vypnout zápisy do katalogu

Commity katalogu můžete vypnout ve verzi Databricks Runtime 18.0 a novější. Viz Smazat tabulku Delta Lake a snížit protokol tabulky.

Warning

Během provádění příkazů ALTER nebo DROP nerušte operace upgradu ani downgradu. Přerušení může zanechat tabulku ve stavu po částečné aktualizaci nebo návratu na nižší verzi a zablokovat ji pro veškeré budoucí čtení a zápis. Pokud se chcete vrátit zpět, spusťte znovu příslušný příkaz a nerušte ho. Pokud se tabulka zamkne, kontaktujte podporu Databricks.

Omezení

  • Nelze zapnout nebo vypnout potvrzení katalogu u existujících tabulek pomocí CREATE OR REPLACE TABLE nebo REPLACE TABLE. CREATE TABLE Pomocí delta.feature.catalogManaged vlastnosti ji můžete zapnout při vytváření tabulky nebo ALTER TABLE ji zapnout nebo vypnout u existující tabulky.
  • Pokud chcete použít potvrzení katalogu u streamovaných tabulek, musíte kontaktovat tým účtu Databricks a požádat o přístup k verzi Public Preview.
  • Potvrzení v katalogu nejsou kompatibilní s přístupem k externím datům u streamovacích tabulek. Pokud chcete použít potvrzení katalogu, musíte nejprve zakázat externí přístup. Viz Povolit externí přístup k datům pro streamovací tabulky a materializovaná zobrazení.
  • Tabulky s povolenými potvrzeními katalogu se sdílejí prostřednictvím OpenSharingu pomocí předem podepsaných adres URL místo cloudových tokenů.
  • Materializovaná zobrazení nemohou mít povolená potvrzení katalogu.
  • Clustery s jedním uživatelem nemají přístup ke streamovaným tabulkám s povolenými potvrzeními katalogu.

Další zdroje informací

  • Last updated on