Co je OpenSharing?

Tato stránka představuje openSharing v Azure Databricks, což je zabezpečená platforma pro sdílení dat, která umožňuje sdílet data a prostředky AI v Azure Databricks s uživateli mimo vaši organizaci bez ohledu na to, jestli používají Azure Databricks. OpenSharing je také základem pro Databricks Marketplace, otevřené fórum pro výměnu datových produktů a čistých místností, zabezpečené prostředí a ochranu osobních údajů, kde může více stran spolupracovat na citlivých podnikových datech.

OpenSharing je k dispozici také jako opensourcový projekt , který můžete použít ke sdílení tabulek Delta z jiných platforem.

Jak funguje OpenSharing?

OpenSharing je otevřený protokol vyvinutý Databricks pro zabezpečené sdílení dat s jinými organizacemi. Funguje bez ohledu na výpočetní platformy, které organizace používají.

Data můžete sdílet několika způsoby pomocí OpenSharingu:

  1. Protokol sdílení Databricks-to-Databricks, který umožňuje sdílet data a prostředky AI z pracovního prostoru s podporou katalogu Unity s uživateli, kteří mají také přístup k pracovnímu prostoru Databricks s podporou katalogu Unity.

    Tento přístup používá server OpenSharing, který je integrovaný do Azure Databricks. Podporuje některé funkce OpenSharingu, které nejsou podporovány v jiných protokolech, včetně sdílení poznámkových bloků, sdílení svazků Katalogu Unity, sdílení modelů Unity AI, zásad správného řízení dat Katalogu Unity, auditování a sledování využití pro poskytovatele i příjemce. Integrace s katalogem Unity zjednodušuje nastavení a zásady správného řízení pro poskytovatele i příjemce a zlepšuje výkon.

    Viz Co je protokol OpenSharing Databricks-to-Databricks?.

  2. Protokol sdílení Databricks-to-Open, který umožňuje sdílet tabulková data, která spravujete v pracovním prostoru Databricks s podporou katalogu Unity, s uživateli na libovolné výpočetní platformě.

    Tento přístup používá server OpenSharing, který je integrovaný do Azure Databricks a je užitečný při správě dat pomocí katalogu Unity a chcete je sdílet s uživateli, kteří Databricks nepoužívají nebo nemají přístup k pracovnímu prostoru Databricks s podporou katalogu Unity. Integrace s katalogem Unity na straně poskytovatele zjednodušuje nastavení a zásady správného řízení pro poskytovatele.

    Podívejte se , co je protokol pro sdílení OpenSharing Databricks-to-Open?.

  3. Implementace open source serveru OpenSharing spravovaná zákazníkem, která umožňuje sdílet z libovolné platformy na libovolnou jinou platformu, ať už jde o Databricks, nebo ne.

    Dokumentace k Azure Databricks nepokrývá pokyny pro nastavení vlastního serveru OpenSharing. Podívejte se na projekt open source.

  4. Konektor SAP Business Data Cloud (BDC) pro Azure Databricks, který umožňuje sdílet data mezi pracovním prostorem s podporou katalogu Unity a účtem SAP BDC.

    Tento přístup používá konektor SAP BDC, který využívá OpenSharing pro živý přístup bez kopírování k datovým produktům SAP BDC.

    Viz Co je konektor SAP BDC pro Azure Databricks?.

Podíly, poskytovatelé a příjemci

Primární koncepty, které jsou základem OpenSharing v Azure Databricks, jsou sdílené složky, poskytovatelé a příjemci.

Co je sdílená složka?

V OpenSharingu sdílení označuje kolekci tabulek a oddílů tabulek jen pro čtení, kterou chce poskytovatel sdílet s jedním nebo více příjemci. Pokud příjemce používá pracovní prostor Databricks s podporou katalogu Unity, můžete do sdílené složky zahrnout také soubory poznámkových bloků, zobrazení (včetně dynamických zobrazení, která omezují přístup na úrovni řádků a sloupců), svazků katalogu Unity a modelů katalogu Unity.

Můžete přidávat nebo odebírat tabulky, streamované tabulky, spravované tabulky Iceberg, zobrazení, materializovaná zobrazení, svazky, modely a soubory poznámkových bloků ze sdílené složky kdykoli a kdykoli můžete ke sdílené složce přiřadit nebo odvolat přístup příjemce dat.

V pracovním prostoru Azure Databricks s podporou katalogu Unity je sdílení zabezpečitelným objektem zaregistrovaným v katalogu Unity. Pokud odeberete sdílenou složku z metastoru katalogu Unity, všichni příjemci této sdílené složky ztratí možnost k ní získat přístup.

Viz Vytvoření sdílení pro OpenSharing.

Co je poskytovatel?

Poskytovatel je entita, která sdílí data s příjemcem. Pokud jste poskytovatel a chcete využít integrovaného serveru Databricks OpenSharing a spravovat sdílené složky a příjemce pomocí katalogu Unity, potřebujete alespoň jeden Azure Databricks pracovní prostor, který je povolený pro Katalog Unity. Nemusíte migrovat všechny existující pracovní prostory do katalogu Unity. Pro potřeby OpenSharingu můžete jednoduše vytvořit nový pracovní prostor s podporou katalogu Unity.

Pokud je příjemce v pracovním prostoru Databricks s podporou Unity Catalog, poskytovatel je také spravovatelným objektem Unity Catalog, který představuje organizaci poskytovatele a spojuje tuto organizaci se sadou sdílených složek.

Co je to příjemce?

Příjemce je entita, která přijímá podíly od poskytovatele. V katalogu Unity je sdílená složka zabezpečitelným objektem, který představuje organizaci a přidruží ho k přihlašovacím údajům nebo zabezpečenému identifikátoru sdílení, který organizaci umožňuje přístup k jedné nebo více sdíleným složkám.

Jako zprostředkovatel dat (sdílející) můžete definovat více příjemců pro libovolný metastore katalogu Unity, ale pokud chcete sdílet data z více metastorů s konkrétním uživatelem nebo skupinou uživatelů, musíte pro každý metastor definovat příjemce samostatně. Příjemce může mít přístup k více sdílením.

Pokud poskytovatel odstraní příjemce z metastoru katalogu Unity, ztratí tento příjemce přístup ke všem sdíleným složkám, ke kterým by mohl dříve přistupovat.

Viz Vytvoření příjemců dat pro OpenSharing (sdílení Databricks-to-Databricks).

Sdílení databricks-to-Open versus sdílení Databricks-to-Databricks

Tato část popisuje dva protokoly pro sdílení z pracovního prostoru Databricks, který je povolený pro Katalog Unity.

Note

V této části se předpokládá, že poskytovatel je v pracovním prostoru Azure Databricks s podporou katalogu Unity. Informace o nastavení opensourcového serveru OpenSharing pro sdílení z jiné platformy než Databricks nebo pracovního prostoru katalogu non-Unity najdete v projektu open source.

Způsob, jakým poskytovatel používá OpenSharing v Azure Databricks závisí na tom, s kým sdílí data:

  • Otevřené sdílení umožňuje sdílet data s libovolným uživatelem bez ohledu na to, jestli má přístup k Azure Databricks.
  • Sdílení Databricks-to-Databricks umožňuje sdílet data s uživateli Azure Databricks, jejichž pracovní prostor je připojený k metastoru katalogu Unity, který se liší od vašeho. Databricks-to-Databricks také podporuje sdílení poznámkových bloků, svazků a modelů, které nejsou dostupné ve sdílení Databricks-to-Open.

Co je otevřený OpenSharing?

Pokud chcete sdílet data s uživateli mimo váš pracovní prostor Azure Databricks bez ohledu na to, jestli databricks používají, můžete data bezpečně sdílet pomocí openSharingu. Jako poskytovatel dat spravujete ověřování u příjemce sdílení pomocí některé z následujících metod:

  • Vygenerujete dlouhodobý nosný token a bezpečně ho nasdílíte s příjemcem. Tento token používají k ověření a získání přístupu pro čtení k tabulkám, které jste zahrnuli do sdílených složek, ke kterým jste jim udělili přístup.
  • Použijete federaci Open ID Connect (OIDC) a udělíte příjemci krátkodobé tokeny Databricks OAuth výměnou za tokeny JWT, které poskytovatel identity příjemce předává Databricks.

Příjemci můžou ke sdíleným datům přistupovat pomocí mnoha výpočetních nástrojů a platforem, mezi které patří:

  • Azure Databricks
  • Apache Spark
  • Pandas
  • Power BI

Úplný seznam konektorů OpenSharing a informace o tom, jak je používat, najdete v dokumentaci k OpenSharingu .

Viz také Co je openSharing Databricks-to-Open sharing protocol?.

Co je Databricks-to-Databricks OpenSharing?

Pokud chcete sdílet data s uživateli, kteří mají pracovní prostor Databricks, který je povolený pro Katalog Unity, můžete použít Databricks-to-Databricks OpenSharing. Sdílení Databricks-to-Databricks umožňuje sdílet data s uživateli v jiných účtech Databricks, ať už jsou v AWS, Azure nebo GCP. Je to také skvělý způsob, jak bezpečně sdílet data napříč různými metastory katalogu Unity ve vašem vlastním účtu Databricks. Všimněte si, že není nutné používat OpenSharing ke sdílení dat mezi pracovními prostory připojenými ke stejnému metastoru katalogu Unity, protože v tomto scénáři můžete pomocí samotného katalogu Unity spravovat přístup k datům napříč pracovními prostory.

Jednou z výhod sdílení Databricks-to-Databricks je, že příjemce sdílené složky nepotřebuje token pro přístup ke sdílené složce a poskytovatel nemusí spravovat tokeny příjemců. Zabezpečení připojení ke sdílení , včetně všech ověření identity, ověřování a auditování, se spravuje výhradně prostřednictvím OpenSharingu a platformy Databricks. Další výhodou je možnost sdílet soubory poznámkových bloků Databricks, svazky katalogu Unity a modely katalogu Unity.

Viz také: Co je to protokol OpenSharing Databricks-to-Databricks?.

Jak správci zprostředkovatele nastaví OpenSharing?

Tato část obsahuje přehled o tom, jak můžou poskytovatelé povolit openSharing a zahájit sdílení z Azure Databricks pracovního prostoru s podporou katalogu Unity. Informace o open-source OpenSharing naleznete v open source projektu.

Sdílení Databricks-to-Databricks mezi metastory katalogu Unity ve stejném účtu je vždy zapnuto. Pokud jste poskytovatel, který chce povolit sdílení dat s pracovními prostory Databricks v jiných účtech nebo mimo klienty Databricks, správce účtu Azure Databricks nebo správce metastoru provede následující kroky nastavení (na vysoké úrovni):

  1. Povolte OpenSharing pro úložiště metadat katalogu Unity, které spravuje data, jež chcete sdílet.

    Note

    Pokud chcete používat OpenSharing ke sdílení dat pouze s uživateli v jiných metastorech katalogu Unity ve vašem účtu, nemusíte v metastoru povolit OpenSharing. Sdílení Metastore-to-metastore v rámci jednoho účtu služby Azure Databricks je ve výchozím nastavení povolené.

    Viz Povolení openSharingu v metastoru.

  2. Vytvořte sdílení, které zahrnuje datové prostředky registrované v metapkatalogu Unity Catalog.

    Pokud sdílíte s příjemcem, který nepoužívá Databricks (označuje se to jako sdílení Databricks-to-Open), můžete zahrnout tabulky ve formátu Delta. Pokud plánujete použít sdílení Databricks-to-Databricks, můžete do sdílené složky přidat také zobrazení či pohledy, svazky katalogu Unity, modely katalogu Unity a soubory poznámkových bloků.

    Viz Vytvoření sdílení pro OpenSharing.

  3. Vytvořte příjemce.

    Viz Vytvoření příjemců dat pro OpenSharing (sdílení Databricks-to-Databricks).

    Pokud váš příjemce není uživatelem Databricks nebo nemá přístup k pracovnímu prostoru Databricks, který je povolený pro Službu Unity Catalog, musíte použít sdílení Databricks-to-Open. Pro daného příjemce můžete buď vygenerovat přihlašovací údaje založené na nosných tokenech, nebo použít federaci OIDC.

    Pokud má váš příjemce přístup k pracovnímu prostoru Databricks, který je povolený pro Unity Catalog, můžete použít sdílení mezi platformami Databricks a nejsou vyžadovány žádné přihlašovací údaje založené na tokenech. Požádáte o identifikátor sdílení od příjemce a použijete ho k navázání zabezpečeného připojení.

    Návod

    Vyzkoušejte si proces nastavení sami sebe jako testovacího příjemce.

  4. Udělte příjemci přístup k jedné nebo více sdíleným složkám.

    Viz Správa přístupu ke sdíleným složkám dat OpenSharing (pro poskytovatele).

    Note

    Tento krok může také provést uživatel, který není správce, s oprávněními USE SHARE, USE RECIPIENT a SET SHARE PERMISSION. Viz referenční informace k oprávněním katalogu Unity.

  5. Pošlete příjemci informace, které potřebuje k připojení ke sdílení (pouze pro sdílení Databricks-to-Open).

    Pro sdílení typu Databricks-to-Open pomocí nosných tokenů použijte zabezpečený kanál k odeslání aktivačního odkazu příjemce, který mu umožňuje stáhnout přihlašovací údaje založené na tokenech. Viz Odeslání informací o připojení příjemce.

    Pro sdílení typu Databricks-to-Open pomocí federace tokenů OIDC odešlete vygenerovanou adresu URL portálu. Viz Povolení federace Open ID Connect (OIDC) pro příjemce OpenSharingu.

    Pro sdílení Databricks do Databricks se data zahrnutá do sdílené složky zpřístupní v pracovním prostoru Databricks příjemce hned po udělení přístupu ke sdílené složce.

Příjemce teď má přístup ke sdíleným datům.

Jak příjemci přistupují ke sdíleným datům?

Příjemci přistupují ke sdíleným datovým prostředkům ve formátu jen pro čtení. Sdílené soubory poznámkového bloku jsou jen pro čtení, ale dají se naklonovat a pak upravit a spustit v pracovním prostoru příjemce stejně jako jakýkoli jiný poznámkový blok.

Zabezpečený přístup závisí na modelu sdílení:

Kdykoli poskytovatel dat aktualizuje tabulky dat nebo svazky ve svém vlastním účtu Databricks, aktualizace se zobrazí téměř v reálném čase v systému příjemce. Informace o tom, jak získat přístup k datům sdíleným s vámi pomocí OpenSharingu, najdete v tématu Přístup k datům sdíleným s vámi pomocí OpenSharingu (pro příjemce).

Jak sledujete, kdo sdílí sdílená data a přistupuje k němu?

Poskytovatelé dat v pracovních prostorech Azure Databricks s podporou katalogu Unity můžou pomocí protokolování auditu a systémových tabulek Azure Databricks monitorovat vytváření a úpravy sdílených složek a příjemců a můžou monitorovat aktivity příjemců ve sdílených složkách. Podívejte se na auditování a monitorování sdílení dat.

Příjemci dat, kteří používají sdílená data v pracovním prostoru Databricks, můžou pomocí protokolování auditu Databricks a systémových tabulek zjistit, kdo k jakým datům přistupuje. Podívejte se na auditování a monitorování sdílení dat.

Sdílení svazků

Svazky můžete sdílet pomocí procesu sdílení mezi instancemi Databricks. Viz Přidání svazků do sdílení (pro poskytovatele) a Čtení dat sdílených pomocí funkce Databricks-to-Databricks OpenSharing (pro příjemce).

Sdílení modelů

Modely můžete sdílet pomocí procesu sdílení Databricks-to-Databricks. Viz Přidání modelů do sdílené složky (pro poskytovatele) a čtení dat sdílených pomocí Databricks-to-Databricks OpenSharing (pro příjemce) (pro příjemce ).

Sdílení poznámkových bloků

OpenSharing můžete použít ke sdílení souborů poznámkových bloků pomocí toku sdílení Databricks do Databricks. Viz Přidání souborů poznámkového bloku do sdílené složky (pro poskytovatele) a čtení sdílených poznámkových bloků (pro příjemce).

Omezení přístupu na úrovni řádků a sloupců při sdílení zobrazení

Můžete sdílet dynamická zobrazení, která omezují přístup k určitým datům tabulky na základě vlastností příjemce. Viz Přidání dynamických zobrazení do sdílené složky pro filtrování řádků a sloupců.

OpenSharing a streamování

OpenSharing podporuje strukturované streamování Apache Sparku. Poskytovatel může sdílet tabulku s historií nebo streamovanou tabulkou, aby ji příjemce mohl používat jako zdroj strukturovaného streamování, zpracovávat sdílená data přírůstkově s nízkou latencí. Příjemci můžou také provádět časové dotazy Delta Lake na tabulkách sdílených s historií.

Informace o sdílení tabulek s historií najdete v tématu Přidání tabulek do sdílené složky. Informace o použití sdílených tabulek jako zdrojů streamování najdete v tématu Dotazování tabulky pomocí strukturovaného streamování Apache Sparku (pro příjemce sdílení Databricks-to-Databricks) nebo Přístup ke sdílené tabulce pomocí strukturovaného streamování Sparku (pro příjemce dat sdílení Databricks-to-Open).

Informace o sdílení streamovaných tabulek najdete v tématu Přidání streamovaných tabulek do sdílené složky.

Viz také koncepty strukturovaného streamování.

Matice podpory funkcí Delta Lake

OpenSharing podporuje většinu funkcí Delta Lake při sdílení tabulky. Tato matice podpory uvádí:

  • Funkce Delta, které vyžadují konkrétní verze Databricks Runtime, open-source konektor OpenSharing Spark nebo open-source konektor OpenSharing pro Python.
  • Částečně podporované funkce.
funkce Poskytovatel Příjemce Databricks Příjemce otevřeného zdroje
Vektory odstranění
  • Sdílení tabulek s touto funkcí je ve verzi Public Preview.
  • Tabulky musí být sdíleny s historií.
  • Databricks Runtime 14.1 a vyšší pro dávkové dotazy
  • Databricks Runtime 14.2 nebo novější pro dotazy CDF a streamování
  • OpenSharing Spark Connector 3.1 nebo novější
  • OpenSharing Python konektor 1.1.0+
  • Power BI verze 2.132.908.0+
Mapování sloupců
  • Sdílení tabulek s touto funkcí je ve verzi Public Preview.
  • Tabulky musí být sdíleny s historií.
  • Databricks Runtime 14.1 a vyšší pro dávkové dotazy
  • Databricks Runtime 14.2 nebo novější pro dotazy CDF a streamování
  • OpenSharing Spark Connector 3.1 nebo novější
  • Podporováno s omezeními v konektoru OpenSharing Python
  • Power BI verze 2.132.908.0+
Jednotný formát
  • Sdílení tabulek s touto funkcí je ve verzi Public Preview.
  • Tabulky musí být sdíleny s historií.
  • Databricks Runtime 14.1 a vyšší pro dávkové dotazy
  • Databricks Runtime 14.2 nebo novější pro dotazy CDF a streamování
  • OpenSharing Spark Connector 3.1 nebo novější
  • OpenSharing Python konektor 1.1.0+
  • Power BI verze 2.132.908.0+
Kontrolní bod V2 Podporováno s omezeními Podporováno s omezeními Podporováno s omezeními
TimestampNTZ Podporováno Databricks Runtime 14.1 nebo novější OpenSharing Spark Connector 3.3+
Shlukování kapalin Podporováno s omezeními Podporováno s omezeními Podporováno s omezeními

Nejčastější dotazy k OpenSharingu

Níže najdete nejčastější dotazy týkající se openSharingu.

Potřebuji katalog Unity k používání OpenSharingu?

Ne, ke sdílení (jako poskytovatel) nebo ke využívání sdílených dat (jako příjemce) nepotřebujete katalog Unity. Katalog Unity však poskytuje výhody, jako je podpora pro sdílení netabulárních prostředků a AI, integrované zásady správy, jednoduchost a efektivní výkon dotazů.

Poskytovatelé můžou sdílet data dvěma způsoby:

  • Prostředky, které chcete sdílet, umístěte do správy katalogu Unity a sdílejte je pomocí integrovaného serveru Azure Databricks OpenSharing.

    Nemusíte migrovat všechna aktiva do katalogu Unity. Ke správě prostředků, které chcete sdílet, potřebujete jenom jeden pracovní prostor Azure Databricks, který je povolený pro Katalog Unity. V některých účtech jsou nové pracovní prostory pro Unity Catalog povolené automaticky. Viz Začínáme s katalogem Unity.

  • Implementujte server pro sdílení dat Databricks-to-Open, aniž byste museli používat váš účet Azure Databricks.

Příjemci můžou data využívat dvěma způsoby:

  • Bez pracovního prostoru Databricks. Používejte konektory OpenSharing s otevřeným zdrojovým kódem, které jsou k dispozici pro mnoho datových platforem, včetně Power BI, knihovny pandas a platformy Apache Spark s otevřeným zdrojovým kódem. Přečtěte si téma Čtení dat sdílených pomocí sdílení OpenSharing Databricks-to-Open s nosnými tokeny a projektem OpenSharing open source.

  • V pracovním prostoru Databricks. Pracovní prostory příjemců nemusí být povoleny pro Unity katalog, ale pokud ano, přináší to výhody v oblasti správy, jednoduchosti a výkonu.

    Organizace, které chtějí tyto výhody, nemusí migrovat všechny prostředky do Unity Catalogu. Ke správě prostředků, které s vámi někdo sdílí, potřebujete jenom jeden pracovní prostor Azure Databricks, který je povolený pro Službu Unity Catalog. V některých účtech jsou nové pracovní prostory pro Unity Catalog povolené automaticky. Viz Začínáme s katalogem Unity.

Viz Čtení dat sdílených pomocí sdílení OpenSharing Databricks-to-Open s nosnými tokeny a čtení dat sdílených pomocí Databricks-to-Databricks OpenSharing (pro příjemce).

Musím být zákazníkem Databricks, aby používal OpenSharing?

Ne, OpenSharing je otevřený protokol. Data, která nejsou data Databricks, můžete sdílet s příjemci na libovolné datové platformě. Poskytovatelé můžou nakonfigurovat otevřený server OpenSharing pro sdílení z libovolné výpočetní platformy. Příjemci můžou využívat sdílená data pomocí konektorů open source OpenSharing pro mnoho datových produktů, včetně Power BI, knihovny pandas a open source Sparku.

Použití OpenSharingu na Azure Databricks, zejména sdílení z pracovního prostoru s podporou katalogu Unity, má ale mnoho výhod.

Podrobnosti najdete v první otázce v tomto nejčastějším dotazu.

Jak se účtují a kontrolují náklady na OpenSharing?

Náklady na OpenSharing vznikají při sdílení a přístupu k zobrazením, materializovaným zobrazením a streamovacím tabulkám. Toto jsou potenciální zdroje nákladů pro sdílení:

  • Náklady na výpočetní prostředky účtované službou Azure Databricks
  • Náklady na úložiště a přenos (výchozí přenos dat), účtované dodavatelem úložiště nebo Azure Databricks, pokud poskytovatel používá SecureConnect.
  • Náklady na cizí zdroj výpočetních prostředků při sdílení cizích schémat a tabulek

Metoda, pomocí které se výpočty provádějí a kdo za ni platí, závisí na několika faktorech:

  • Typ výpočetního prostředí příjemce
  • Jestli ke sdílení dochází ve stejném účtu Azure Databricks nebo napříč účty

Následující tabulka popisuje způsob fakturace pro sdílení a přístup k zobrazením pomocí OpenSharingu:

Výpočetní kapacita příjemce Vztah účtu Kdo platí Skladová položka použitá pro fakturaci Metoda přístupu
Databricks Serverless Any Recipient* Bezserverová služba příjemce Příjemce obdrží přímý přístup k podkladovým datům.
Databricks Classic Stejný účet Recipient* Klasický příjemce Příjemce obdrží přímý přístup k podkladovým datům.
Databricks Classic Jiný účet Recipient Interaktivní bezserverová aplikace poskytovatele Zprostředkovatel provádí filtrování.
Konektory pro sdílení z Databricks do Open Any Poskytovatel Interaktivní bezserverová aplikace poskytovatele Zprostředkovatel provádí filtrování.

* Pokud používáte OpenSharing s příjemcem pomocí bezserverového výpočetního prostředí v jiném účtu nebo s příjemcem ve stejném účtu, žádné přírůstkové poplatky se neúčtují. To znamená, že neexistuje žádné další náklady na materializaci datového assetu.

Při sdílení cizích tabulek (Beta) se materializace vždy provádí a ukládá na straně poskytovatele. U cizích tabulek Iceberg se materializace provádí na straně poskytovatele při sdílení s otevřeným příjemcem, který nepoužívá klienta Icebergu. Poskytovatelé mohou narazit na další poplatky související s výchozím úložištěm používaným pro materializaci dat. Během beta verze nejsou žádné náklady na výpočetní prostředky pro cizí tabulky.

Přisuzování fakturace je také možné dotazovat pomocí odkazu na systémovou tabulku fakturovatelného využití a odkazy na systémové tabulky historie materializace OpenSharing. Pokud příjemce zaplatí za přisuzování, uvidí v systémové tabulce přidružený záznam pouze příjemce. Například dotazy najdete v části Ukázkové dotazy.

Jsou s OpenSharing spojeny náklady na odchozí přenos dat?

Za openSharing v rámci oblasti se neúčtují žádné náklady na výchozí přenos dat. Na rozdíl od jiných platforem pro sdílení dat nevyžaduje OpenSharing replikaci dat. Tento model má mnoho výhod, ale znamená to, že dodavatel cloudu může účtovat poplatky za výchozí přenos dat při sdílení dat mezi cloudy nebo oblastmi. Azure Databricks podporuje sdílení z Cloudflare R2, které neúčtují žádné poplatky za výchozí přenos dat, a poskytuje další nástroje a doporučení pro monitorování a zabránění poplatkům za výchozí přenos dat. Viz Monitorování a správa nákladů na výchozí přenos dat OpenSharingu (pro poskytovatele).

Pokud ale poskytovatel používá SecureConnect, bude se přenos dat účtovat Azure Databricks místo dodavatele cloudu.

Mají příjemci přímý přístup k podkladovým datům ve sdílených zobrazeních, materializovaných zobrazeních a streamovaných tabulkách?

U sdílených zobrazení, materializovaných zobrazení a streamovaných tabulek má příjemce dat přímý přístup, pokud platí jedna z následujících možností:

  • Příjemce používá bezserverové výpočetní prostředky nebo ne vyhrazené klasické výpočetní prostředky na stejném Azure Databricks účtu.
  • Příjemce používá bezserverové výpočetní prostředky na jiném účtu Azure Databricks.

V opačném případě se data materializují a filtrují na straně poskytovatele.

Materializovaná data jsou uložena v umístění hlavního úložiště sdíleného datového objektu.

Při sdílení materializovaných prostředků výpočetní procesy zpracují požadavek použitím nezbytných filtrů a vytvořením dočasného materializování uloženého v úložišti poskytovatele. Tato filtrovaná data se doručují příjemcům pomocí předem podepsaných krátkodobých adres URL a zajišťují zabezpečený přístup při zachování řízení přístupu mezi zprostředkovateli a příjemcem.

Můžou poskytovatelé odvolat přístup příjemce?

Ano, přístup příjemce může být odvolán na vyžádání a na zadaných úrovních podrobností. Můžete odepřít přístup příjemců ke konkrétním sdíleným složkám a konkrétním IP adresám, filtrovat tabulková data pro příjemce, odvolat tokeny příjemců a zcela odstranit příjemce. Viz Odvolání přístupu příjemce ke sdílené složce a vytvoření příjemců dat pro OpenSharing (sdílení Databricks-to-Databricks).

Není nezabezpečené používat předem podepsané adresy URL?

OpenSharing používá předem podepsané adresy URL k zajištění dočasného přístupu k souboru v úložišti objektů. Dostanou se jenom příjemcům, kteří už mají přístup ke sdíleným datům. Jsou zabezpečené, protože jsou krátkodobé a nezvětšují úroveň přístupu nad rámec toho, co už mají příjemci udělené.

Jsou tokeny používané v zabezpečeném protokolu sdílení OpenSharing Databricks-to-Open?

Vzhledem k tomu, že OpenSharing umožňuje sdílení mezi platformami – na rozdíl od jiných dostupných platforem pro sdílení dat – vyžaduje protokol sdílení otevřený token. Poskytovatelé můžou zajistit zabezpečení tokenů konfigurací doby života tokenu, nastavením síťových ovládacích prvků a odvoláním přístupu na vyžádání. Token navíc nezvětší úroveň přístupu nad rámec toho, co příjemci už mají udělené. Viz Aspekty zabezpečení pro tokeny.

Pokud nechcete používat tokeny ke správě přístupu ke sdíleným složkám příjemců, měli byste použít sdílení Databricks k Databricks nebo kontaktovat tým účtu Databricks pro alternativy.

Jaký je rozdíl mezi Lakeflow Connect a OpenSharingem?

OpenSharing umožňuje bezpečně sdílet živá data napříč platformami, cloudy a oblastmi. Databricks doporučuje příjem dat pomocí spravovaných konektorů, protože se škálují tak, aby vyhovovaly vysokým objemům dat, dotazům s nízkou latencí a omezením rozhraní API třetích stran. Možná se budete chtít dotazovat na data, aniž byste je museli přesouvat.

Pokud máte na výběr mezi spravovanými konektory a OpenSharingem, zvolte OpenSharing pro následující scénáře:

  • Omezení duplikace dat
  • Získávání nejnovějších možných dat

omezení

Podpora formátu tabulky a funkcí

Požadavky na formát:

Nepodporované tabulky:

  • Poskytovatelé nemůžou sdílet tabulky, které používají tekuté klastrování s filtrováním oddílů.
  • Zprostředkovatelé nemůžou sdílet tabulky R2 s kontrolním bodem V2.
  • Zprostředkovatelé nemůžou sdílet tabulky s povolenými kolacemi.
  • Zprostředkovatelé nemůžou sdílet tabulky s filtry řádků nebo maskami sloupců.
  • Zprostředkovatelé nemůžou sdílet SHALLOW CLONE tabulky. Azure Databricks nepodporuje podepsání adres URL předem pro Delta záznamy, které odkazují na absolutní cesty.
  • Poskytovatelé nemůžou sdílet spravované tabulky Iceberg s externími klienty Icebergu. Viz Přidání spravovaných tabulek Iceberg do sdílené složky a povolení sdílení externím klientům Icebergu.
  • Omezení cizího klíče nejsou ve sdílených tabulkách k dispozici.

Sdílení mezi Databricks a Databricks

Následující prostředky je možné sdílet pouze pomocí toku sdílení Databricks-to-Databricks:

Views

Streamování

  • OpenSharing nepodporuje změnu responseFormat , když je zdroj streamování spuštěný nebo během restartování streamování.

Metadata příjemce

  • Tabulky ze information_schema sdíleného katalogu odrážejí metadata uložená v katalogu Unity. Tato metadata se aktualizují od zprostředkovatele pouze v případě, že dotazujete sdílenou tabulku přímo nebo spustíte příkaz, například DESCRIBE nebo REFRESH FOREIGN. Do té doby information_schema může být ve srovnání s daty poskytovatele zastaralá.

Omezení prostředků a technických omezení

  • Existuje omezení počtu souborů v metadatech povolených pro sdílenou tabulku. Další informace najdete v tématu Chyby překročení limitu prostředků.
  • Schémata pojmenovaná information_schema nelze importovat do metastoru katalogu Unity, protože tento název schématu je vyhrazen v katalogu Unity.

Viz také matice podpory funkcí Delta Lake.

Kaskádové odstranění obejití ochrany sdílených složek

Odstranění nadřazeného objektu, jako je katalog nebo schéma, aktivuje kaskádové odstranění podřízených objektů, i když jsou tyto podřízené objekty zahrnuty do aktivních sdílených složek. Po kaskádovém odstranění se aktivum nedá znovu přidat do sdílení se stejným názvem.

Abyste se tomuto problému vyhnuli, před odstraněním nadřazených objektů odeberte prostředky ze všech sdílených složek.

Kvóty prostředků

Azure Databricks vynucuje kvóty prostředků pro všechny zabezpečitelné objekty OpenSharing. Tyto kvóty jsou uvedené v omezeních prostředků. Pokud očekáváte překročení těchto limitů prostředků, obraťte se na svůj tým účtů Azure Databricks.

Využití kvóty můžete monitorovat pomocí rozhraní API kvót katalogu Unity. Viz Sledujte využití kvót prostředků Unity Catalog.

Další zdroje informací

  • Last updated on