Co je protokol OpenSharing Databricks-to-Databricks?

Tato stránka poskytuje přehled o tom, jak používat Databricks-to-Databricks OpenSharing k bezpečnému sdílení dat s libovolným uživatelem Databricks bez ohledu na účet nebo hostitele cloudu, pokud má tento uživatel přístup k pracovnímu prostoru povolenému pro Katalog Unity.

Kdo by měl používat Databricks-to-Databricks OpenSharing?

Data můžete sdílet třemi způsoby pomocí OpenSharingu.

1. protokolu sdílení Databricks-to-Databricks, který je popsaný v tomto článku, umožňuje sdílet data z pracovního prostoru s podporou katalogu Unity s uživateli, kteří mají také přístup k pracovnímu prostoru Databricks s podporou katalogu Unity.

   Tento přístup používá server OpenSharing, který je integrovaný do Azure Databricks a poskytuje podporu sdílení poznámkových bloků, zásad správného řízení dat Katalogu Unity, auditování a sledování využití pro poskytovatele i příjemce. Integrace s katalogem Unity zjednodušuje nastavení a zásady správného řízení pro poskytovatele i příjemce a zlepšuje výkon.

2. Protokol sdílení Databricks-to-Open umožňuje sdílet data, která spravujete v pracovním prostoru Databricks s podporou katalogu Unity s uživateli na libovolné výpočetní platformě.

   Podívejte se , co je protokol pro sdílení OpenSharing Databricks-to-Open?.

3. Implementace serveru OpenSharing s otevřeným zdrojovým kódem, spravovaná zákazníkem, umožňuje sdílení z libovolné platformy na libovolnou jinou platformu bez ohledu na to, zda jde o Databricks, či nikoli.

   Podívejte se na projekt open source.

Úvod do OpenSharingu a další informace o těchto třech přístupech najdete v tématu Co je OpenSharing?.

Pracovní postup sdílení Databricks-to-Databricks

Tato část obsahuje základní přehled pracovního postupu sdílení Databricks-to-Databricks s odkazy na podrobnou dokumentaci pro jednotlivé kroky.

V modelu Databricks-to-Databricks OpenSharing:

1. Příjemce dat poskytne poskytovateli dat jedinečný identifikátor sdílení pro metastore katalogu Databricks Unity, který je připojený k pracovnímu prostoru Databricks, který příjemce (který představuje uživatele nebo skupinu uživatelů), použije pro přístup k datům, která poskytovatel dat sdílí.

   Podrobnosti najdete v kroku 1: Žádost o identifikátor sdílení příjemce.

2. Zprostředkovatel dat vytvoří sdílenou složku v metastoru katalogu Unity poskytovatele. Tento pojmenovaný objekt obsahuje kolekci tabulek, zobrazení, svazků a poznámkových bloků registrovaných v metastoru.

   Podrobnosti najdete v tématu Vytváření sdílených složek pro OpenSharing.

3. Zprostředkovatel dat vytvoří objekt příjemce v metastoru katalogu Unity poskytovatele. Tento pojmenovaný objekt představuje uživatele nebo skupinu uživatelů, kteří budou přistupovat k datům zahrnutým ve sdílené složce, spolu s identifikátorem sdílení metastoru katalogu Unity, který je připojený k pracovnímu prostoru, který bude uživatel nebo skupina uživatelů používat pro přístup ke sdílené složce. Identifikátor sdílení je identifikátor klíče, který umožňuje zabezpečené připojení.

   Podrobnosti najdete v kroku 2: Vytvoření příjemce.

4. Poskytovatel dat udělí příjemci přístup ke sdílené složce.

   Podrobnosti najdete v tématu Správa přístupu ke sdíleným složkám dat OpenSharing (pro poskytovatele).

5. Sdílená složka bude dostupná v pracovním prostoru Databricks příjemce a příjemci k ní budou mít přístup pomocí Průzkumníka katalogu, rozhraní příkazového řádku Databricks nebo příkazů SQL v poznámkovém bloku Azure Databricks nebo editoru dotazů SQL Databricks.

   Pro přístup k tabulkám, zobrazením, svazkům a poznámkovým blokům ve sdílené složce musí správce metastoru nebo privilegovaný uživatel vytvořit katalog ze sdílené složky. Tento uživatel nebo jiný uživatel, který má udělené příslušné oprávnění, pak může ostatním uživatelům udělit přístup k katalogu a objektům v katalogu. Udělení oprávnění ke sdíleným katalogům a datovým prostředkům funguje stejně jako u jiných prostředků registrovaných v Katalogu Unity, přičemž důležité je, že uživatelům lze udělit přístup jen pro čtení u objektů v katalogech vytvořených ze sdílených složek OpenSharing.

   Sdílené poznámkové bloky jsou aktivní na úrovni katalogu a každý uživatel s oprávněním USE CATALOG v katalogu k nim má přístup.

   Podrobnosti najdete v tématu Čtení dat sdílených pomocí Databricks-to-Databricks OpenSharing (pro příjemce).

Zlepšení výkonu čtení tabulek pomocí sdílení historie

Sdílení tabulek Databricks-to-Databricks mohou zvýšit výkon umožněním sdílení historie. Historie sdílení zlepšuje výkon díky využití dočasných bezpečnostních přihlašovacích údajů z vašeho cloudového úložiště, které jsou omezeny na kořenový adresář sdílené Delta tabulky poskytovatele, což má za následek výkon srovnatelný s přímým přístupem ke zdrojovým tabulkám.

• U nových sdílených složek tabulky zadejte při vytváření sdílené složky tabulky WITH HISTORY. Viz Přidání tabulek do sdílené složky. Když sdílíte tabulku pomocí výpočetních prostředků v Databricks Runtime 16.2 a novějším, WITH HISTORY je výchozí.
• U existujících sdílení tabulek musíte upravit toto sdílení, abyste sdíleli historii tabulek. Viz Aktualizace akcií. Když sdílíte tabulku pomocí výpočetních prostředků v Databricks Runtime 16.2 a novějším, WITH HISTORY je výchozí.

Když sdílíte celé schéma, všechny tabulky ve schématu se ve výchozím nastavení sdílí s historií.

Note

Tabulky s povoleným dělením nedostávají výhody sdílení historie. Viz Zadejte oddíly tabulky, které se mají sdílet

Informace o požadavcích na způsobilost ke cloudovým tokenům a aspektech ochrany osobních údajů najdete v tématu Způsobilost ke cloudovým tokenům.

Matice podpory Databricks-to-Databricks OpenSharing pro cloudová prostředí

Funkce Databricks-to-Databricks OpenSharing podporuje sdílení v rámci stejného typu prostředí. Komerční cloudy zahrnují pracovní prostory s aktivovanými kontrolami shody, jako je FedRAMP Moderate. Sdílení s Azure Government prostředími se nepodporuje.

Important

Sdílení napříč regulačními doménami je k dispozici v omezeném veřejném náhledu. Pokud chcete začít, obraťte se na tým účtu Databricks.

Každý řádek v této matici představuje prostředí zprostředkovatele (data sdílení metastoru) a každý sloupec představuje prostředí příjemce (metastor přijímající sdílená data).

Poskytovatel	Příjemce: Komerční cloudové řešení	Příjemce: AWS GovCloud	Příjemce: AWS GovCloud DoD	Příjemce: Azure China
Komerční cloudové služby	✓	✓	✓	✓
AWS GovCloud	✓	✓	✓
AWS GovCloud DoD	✓	✓	✓
Azure China	✓			✓

Limitations

Na sdílení mezi regulačními doménami se vztahují následující omezení:

• Cloudové tokeny se používají s výjimkou případů, kdy sdílení přechází do AWS GovCloud nebo AWS GovCloud DoD nebo z AWS GovCloud či AWS GovCloud DoD. V těchto následujících případech se tabulky sdílí pomocí předem podepsaných adres URL:
  • Komerční cloud sdílí s AWS GovCloud nebo AWS GovCloud DoD, případně od AWS GovCloud nebo AWS GovCloud DoD přijímá sdílení.
  • AWS GovCloud a AWS GovCloud DoD se vzájemně sdílejí.