Čtení dat sdílených pomocí Databricks-to-Databricks OpenSharing (pro příjemce)

Tato stránka popisuje, jak číst data sdílená s vámi pomocí protokolu Databricks-to-Databricks OpenSharing, kde Databricks spravuje zabezpečené připojení ke sdílení dat. Na rozdíl od otevřeného protokolu pro sdílení openSharing nevyžaduje protokol Databricks-to-Databricks soubor přihlašovacích údajů (zabezpečení založené na tokenech).

Sdílení Databricks-to-Databricks vyžaduje, abyste jako příjemce splnili oba následující požadavky:

  • Máte přístup k pracovnímu prostoru Databricks, který je povolený pro katalog Unity.
  • Zprostředkovatel používá protokol Databricks-to-Databricks OpenSharing, nikoli protokol sdílení Databricks-to-Open, který poskytuje soubor s přihlašovacími údaji.

Pokud některý z požadavků není splněný, přečtěte si téma Čtení dat sdílených pomocí sdílení OpenSharing Databricks-to-Open s nosnými tokeny.

Jak zpřístupním sdílená data svému týmu?

Pokud chcete číst data a poznámkové bloky, které s vámi někdo sdílí pomocí protokolu Databricks-to-Databricks, musíte být uživatelem v pracovním prostoru Databricks, který je povolený pro Katalog Unity. Člen vašeho týmu poskytne poskytovateli dat jedinečný identifikátor metastoru katalogu Unity a zprostředkovatel dat tento identifikátor použije k vytvoření zabezpečeného připojení ke sdílení s vaší organizací. Sdílená data pak budou k dispozici pro přístup ke čtení ve vašem pracovním prostoru. Aktualizace, které provádí poskytovatel dat na sdílených tabulkách, zobrazeních, svazcích a oddílech, se projeví v pracovním prostoru téměř v reálném čase.

Note

Změny sloupců, jako je přidání, přejmenování nebo odstranění, se nemusí v Průzkumníku katalogu zobrazovat až jednu minutu. Podobně se nové sdílené složky a aktualizace sdílených složek, včetně přidávání nových tabulek, ukládají do mezipaměti po dobu jedné minuty, než budou k dispozici k zobrazení a dotazování.

Note

Tabulky ze information_schema sdíleného katalogu odrážejí metadata uložená v katalogu Unity. Tato metadata se aktualizují od zprostředkovatele pouze v případě, že dotazujete sdílenou tabulku přímo nebo spustíte příkaz, například DESCRIBE nebo REFRESH FOREIGN. Do té doby information_schema může být ve srovnání s daty poskytovatele zastaralá.

Čtení dat, která s vámi někdo sdílí:

  1. Uživatel ve vašem týmu najde sdílenou složku – kontejner pro tabulky, zobrazení, svazky a poznámkové bloky, které s vámi někdo sdílí – a používá tuto sdílenou složku k vytvoření katalogu – kontejner nejvyšší úrovně pro všechna data v Katalogu Unity Databricks.
  2. Uživatel ve vašem týmu udělí nebo odmítne přístup k katalogu a objektům v katalogu (schémata, tabulky, zobrazení a svazky) členům vašeho týmu.
  3. Čtete data v tabulkách, zobrazeních a svazcích, ke kterým máte udělený přístup, jako jakýkoli datový asset v Databricks, ke kterému máte přístup jen pro čtení (SELECT nebo READ VOLUME).
  4. Pokud máte USE CATALOG oprávnění ke katalogu, můžete zobrazit náhled a klonovat poznámkové bloky ve sdílené složce.

Požadovaná oprávnění

Abyste mohli vypsat a zobrazit podrobnosti o všech poskytovatelích a sdílených položkách poskytovatele, musíte mít USE PROVIDER oprávnění. Jiní uživatelé mají přístup pouze k poskytovatelům a sdílením, které vlastní.

Pokud chcete vytvořit katalog ze sdílené složky zprostředkovatele, musíte být správcem metastoru, uživatelem, který má oprávnění CREATE CATALOG a USE PROVIDER pro metastore katalogu Unity, nebo uživatelem, který má oprávnění CREATE CATALOG a vlastnictví objektu zprostředkovatele.

Možnost udělit přístup jen pro čtení ke schématům (databázím), tabulkám, zobrazením a svazkům v katalogu vytvořenému ze sdílené složky se řídí typickou hierarchií oprávnění katalogu Unity. Možnost zobrazit poznámkové bloky v katalogu vytvořeném ze sdílení vyžaduje USE CATALOG oprávnění na katalog. Viz Správa oprávnění pro schémata, tabulky a svazky v katalogu OpenSharing.

Přístup k datům ve sdílené tabulce nebo svazku

Čtení dat ve sdílené tabulce nebo svazku:

  1. Privilegovaný uživatel musí vytvořit katalog ze sdílené složky, která obsahuje tabulku nebo svazek. Může to být správce metastoru, uživatel, který má jak oprávnění CREATE CATALOG, tak i USE PROVIDER k metastoru katalogu Unity, nebo uživatel, který má jak CREATE CATALOG oprávnění, tak i vlastnictví objektu zprostředkovatele.
  2. Tento uživatel nebo uživatel se stejnými oprávněními musí udělit přístup ke sdílené tabulce nebo svazku.
  3. K tabulce nebo svazku můžete přistupovat stejně jako k jakémukoli jinému datovému assetu registrovanému v metastore katalogu Unity.

Vytvoření katalogu ze sdílení

Pokud chcete, aby data ve sdílené složce byla přístupná vašemu týmu, musíte vytvořit katalog ze sdílené složky nebo připojit sdílenou složku k existujícímu sdílenému katalogu. Pokud chcete vytvořit katalog ze sdílené složky, můžete použít Průzkumníka katalogu, rozhraní příkazového řádku katalogu Databricks Unity nebo příkazy SQL v poznámkovém bloku Azure Databricks nebo v editoru dotazů SQL Databricks. Pokud chcete sdílenou složku připojit k existujícímu sdílenému katalogu, můžete použít Průzkumníka katalogu.

Oprávnění potřebná k vytvoření katalogu: správce metastoru, uživatel, který má oprávnění CREATE CATALOG i USE PROVIDER oprávnění pro metastore katalogu Unity, nebo uživatel, který má CREATE CATALOG oprávnění i vlastnictví objektu poskytovatele.

Oprávnění požadovaná k připojení sdílené složky k existujícímu katalogu: Uživatel musí mít USE PROVIDER oprávnění nebo vlastnictví objektu zprostředkovatele a musí také vlastnit existující sdílený katalog nebo mít oprávnění k MANAGEUSE CATALOG existujícímu sdílenému katalogu.

Note

Pokud vytváříte katalog ze sdílené složky SAP BDC , synchronizují se do katalogu automaticky sémantická metadata SAP (komentáře tabulek a sloupců, primární klíče, cizí klíče a značky zásad správného řízení). Nevyžaduje se žádná další akce. Podrobnosti najdete v sémantických metadatech SAP BDC.

Note

Pokud sdílená složka obsahuje zobrazení, musíte použít název katalogu, který se liší od názvu katalogu, který obsahuje zobrazení v metastoru poskytovatele.

Průzkumník katalogu

  1. V pracovním prostoru Azure Databricks klikněte na ikonu Data. Klikněte na Katalog pro otevření Průzkumníka katalogu.

  2. V horní části podokna Katalog klikněte na ikonu ozubeného kola. ikonu ozubeného kola a vyberte OpenSharing.

    Případně v pravém horním rohu klikněte na Sdílet > OpenSharing.

  3. Na kartě Sdílí se se mnou vyhledejte a vyberte poskytovatele.

  4. Vyhledejte požadovanou sdílenou složku a klikněte na připojit k katalogu na řádku sdílené složky.

  5. Vyberte Vytvořit nový katalog nebo Připojit k existujícímu katalogu a přidejte datový asset do existujícího katalogu.

  6. Zadejte název nového katalogu nebo zvolte, ke kterému existujícímu katalogu chcete sdílenou složku přidat.

  7. Klikněte na Vytvořit nebo připojit.

Nebo když otevřete Průzkumníka katalogu, můžete kliknutím na + > Vytvořit katalog v pravém horním rohu vytvořit sdílený katalog. Viz Vytváření katalogů.

SQL

V poznámkovém bloku nebo editoru dotazů SQL Databricks spusťte následující příkaz.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;

CLI

databricks catalogs create <catalog-name> /
--provider-name <provider-name> /
--share-name <share-name>

Katalog vytvořený ze sdílení má typ OpenSharing. Typ můžete zobrazit na stránce podrobností katalogu v Průzkumníku katalogu nebo spuštěním příkazu DESCRIBE CATALOG SQL v poznámkovém bloku nebo dotazu SQL Databricks. Všechny sdílené katalogy jsou uvedené v části Katalog > sdílené v levém podokně Průzkumník katalogu.

Katalog OpenSharing lze spravovat stejným způsobem jako běžné katalogy v metastoru katalogu Unity. Katalog OpenSharing můžete zobrazit, aktualizovat a odstranit pomocí Průzkumníka katalogu, rozhraní příkazového řádku Databricks a pomocí SHOW CATALOGSpříkazů , DESCRIBE CATALOG, ALTER CATALOGa DROP CATALOG SQL.

Tříúrovňová struktura jmenných prostorů v katalogu OpenSharing vytvořeném ze sdílení je stejná jako u běžného katalogu v systému Unity Catalog: catalog.schema.table nebo catalog.schema.volume.

Data tabulek a svazků ve sdíleném katalogu jsou jen pro čtení, což znamená, že můžete provádět operace čtení, jako jsou:

  • DESCRIBE, SHOWa SELECT pro tabulky.
  • DESCRIBE VOLUME, LIST <volume-path>, SELECT * FROM <format>.'<volume_path>' a COPY INTO pro svazky.

Poznámkové bloky ve sdíleném katalogu může zobrazit náhled a klonovat každý uživatel s USE CATALOG na katalogu.

Modely ve sdíleném katalogu lze číst a načítat pro odvozování libovolným uživatelem s následujícími oprávněními: EXECUTE oprávnění k registrovanému modelu USE SCHEMA a USE CATALOG oprávnění ke schématu a katalogu obsahujícímu tento model.

Správa oprávnění pro schémata, tabulky a svazky v katalogu OpenSharing

Ve výchozím nastavení je tvůrce katalogu vlastníkem všech datových objektů v katalogu OpenSharing a může spravovat oprávnění pro libovolný z nich.

Oprávnění se dědí směrem dolů, přestože některé pracovní prostory mohou být stále na starším modelu zabezpečení, který dědičnost nezajišťoval. Viz Dědičnost oprávnění. Každý uživatel, kterému bylo uděleno SELECT oprávnění v katalogu, bude mít SELECT oprávnění pro všechna schémata a tabulky v katalogu, pokud se toto oprávnění neodvolá. Stejně tak bude každý uživatel, kterému bylo uděleno oprávnění READ VOLUME na katalog, mít oprávnění READ VOLUME ke všem svazkům v katalogu, pokud toto oprávnění není odvoláno. Nelze udělit oprávnění, která poskytují přístup k zápisu nebo aktualizaci katalogu OpenSharing nebo objektů v katalogu OpenSharing.

Vlastník katalogu může delegovat vlastnictví datových objektů jiným uživatelům nebo skupinám a tím udělit těmto uživatelům možnost spravovat oprávnění objektu a životní cykly.

Podrobné informace o správě oprávnění k datovým objektům pomocí katalogu Unity najdete v tématu Správa oprávnění v katalogu Unity.

Čtení dat ve sdílené tabulce

Data ve sdílené tabulce můžete číst pomocí libovolného nástroje, který máte k dispozici jako uživatel Azure Databricks: Průzkumník katalogu, poznámkové bloky, dotazy SQL, rozhraní příkazového řádku Databricks a rozhraní REST API Databricks. Musíte mít SELECT oprávnění k tabulce.

Pokud váš poskytovatel sdílí tabulku WITH HISTORY, můžete spouštět transakce v tabulce. Další informace o požadavcích a omezeních transakcí naleznete v tématu Transakce.

Čtení dat ve sdílené cizí tabulce nebo cizím schématu

Důležité

Tato funkce je v beta verzi. Správci pracovního prostoru můžou řídit přístup k této funkci ze stránky Previews . Viz Manage Azure Databricks preview.

Data ve sdílené cizí tabulce nebo cizím schématu můžete číst pomocí libovolného nástroje, které máte k dispozici jako uživatel Azure Databricks: Průzkumník katalogu, poznámkové bloky, dotazy SQL, rozhraní příkazového řádku Databricks a rozhraní REST API Databricks. Musíte mít SELECT oprávnění ke sdílené cizí tabulce nebo cizímu schématu.

Transakce můžete spouštět ve sdílených cizích tabulkách. Podívejte se na požadavky na transakce a omezení.

Při přístupu ke sdílené cizí tabulce nebo cizímu schématu se účtují další náklady. Informace o tom, jak se počítají náklady na sdílení, najdete v tématu Jak se účtují a kontrolují náklady na OpenSharing?.

Omezení: Omezení clusteru nemůžete obejít pro čtení sdílených cizích tabulek, i když to poskytovatel povolí.

Čtení dat v cizí sdílené tabulce Iceberg

Důležité

Tato funkce je ve verzi Public Preview.

Data ve sdílené cizí tabulce Iceberg můžete číst pomocí libovolného nástroje, které máte k dispozici jako uživatel Azure Databricks: Průzkumník katalogu, poznámkové bloky, dotazy SQL, rozhraní příkazového řádku Databricks a rozhraní REST API Databricks. V Průzkumníku katalogu se sdílená cizí tabulka Iceberg zobrazuje s typem tabulky Cizí a formátem zdroje dat Iceberg.

Máte přístup ke zdrojovému umístění Icebergu, ale můžete provádět pouze následující typy dotazů:

  • Dotazy na snímky
  • Dotazy streamování

Požadavky:

  • Musíte mít SELECT oprávnění ke sdílené externí tabulce Iceberg.
  • Musíte použít Databricks Runtime 15.4 LTS nebo vyšší.

Čtení dat ve sdíleném svazku

Data ve sdíleném svazku můžete číst pomocí libovolného nástroje, který máte k dispozici jako uživatel Azure Databricks: Průzkumník katalogu, poznámkové bloky, dotazy SQL, rozhraní příkazového řádku Databricks a rozhraní REST API Databricks. Abyste měli přístup ke svazku, musíte mít READ VOLUME privilegium.

Čtení dat zabezpečených službou ABAC a použití zásad ABAC

Řízení přístupu na základě atributů (ABAC) je model zásad správného řízení dat, který poskytuje flexibilní, škálovatelné a centralizované řízení přístupu napříč Azure Databricks.

Vytvořte zásady ABAC pro sdílené tabulky, schémata a katalogy vytvořené ze sdílení. Materializovaná zobrazení jsou podporována s omezeními. Nemůžete vytvořit zásady ABAC pro sdílené streamované tabulky ani materializovaná zobrazení. Pokud chcete nakonfigurovat zásady ABAC, přečtěte si téma Vytvoření a správa zásad filtrování řádků a masky sloupců.

Čtení sloupců pro sledování řádků ve sdílených tabulkách

Pokud poskytovatel dat povolil sledování řádků ve sdílené tabulce, můžete se dotazovat na sloupce metadat sledování řádků. Seznam dostupných sloupců najdete v části Sledování řádků v Azure Databricks.

Přístup k těmto sloupcům závisí na typu sdílené tabulky:

  • Tabulky sdílené s historií a bez filtrů oddílů: Můžete dotazovat sloupce určené pro sledování řádků bez omezení.

  • Tabulky s filtrem partition nebo sdílené tabulky bez historie: Musíte použít Scala Spark a explicitně nastavit responseFormat možnost na delta.

    spark.read.option(“responseformat”, “delta”).table(“shared_table”).select(“_metadata.row_id”).show()
    

Načtení sdíleného modelu pro odvozování

Podrobnosti o načtení sdíleného modelu a jeho použití pro dávkové odvozování najdete v tématu Načtení verze modelu podle aliasu pro úlohy odvozování.

Dotazování na data historie tabulky

Pokud se historie sdílí společně s tabulkou, můžete dotazovat data tabulky podle verze nebo časového razítka. Vyžaduje Databricks Runtime 12.2 LTS nebo vyšší.

Příklad:

SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution VERSION AS OF 3;
SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution TIMESTAMP AS OF "2023-01-01 00:00:00";

Kromě toho, pokud je u tabulky povolený datový kanál změn (CDF), můžete se na CDF dotazovat. Podporují se verze i časové razítko:

SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', 0, 3);
SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', "2023-01-01 00:00:00", "2022-02-01 00:00:00");

Další informace o změně datového kanálu najdete v tématu Použití kanálu změn dat na Azure Databricks.

Dotazování tabulky pomocí strukturovaného streamování Apache Sparku

Pokud je tabulka sdílená s historií, můžete ji použít jako zdroj strukturovaného streamování Sparku. Vyžaduje Databricks Runtime 12.2 LTS nebo vyšší.

Podporované možnosti:

  • ignoreDeletes: Ignorujte transakce, které odstraňují data.
  • ignoreChanges: Znovu zpracujte aktualizace, pokud byly soubory přepsány ve zdrojové tabulce z důvodu operace změny dat, jako je UPDATE, MERGE INTO, DELETE (v rámci oddílů) nebo OVERWRITE. Nezměněné řádky je možné přesto emitovat. Proto by vaši podřízení spotřebitelé měli mít možnost zpracovávat duplicity. Odstranění se nepřenáší dále do systému. ignoreChanges zahrnuje ignoreDeletes. Proto pokud použijete ignoreChanges, stream se nenaruší odstraněním nebo aktualizacemi zdrojové tabulky.
  • startingVersion: Verze sdílené tabulky, od které se má začít. Všechny změny tabulky od této verze (včetně) budou čteny streamovacím zdrojem.
  • startingTimestamp: Časové razítko, od které se má začít. Všechny změny tabulky provedené v nebo po daném časovém razítku (včetně) budou přečteny zdrojem streamování. Příklad: "2023-01-01 00:00:00.0"
  • maxFilesPerTrigger: Počet nových souborů, které mají být zváženy v každé mikro šarži.
  • maxBytesPerTrigger: Množství dat, která se zpracovávají v každé mikrodávce. Tato možnost nastaví "soft max", což znamená, že dávkové procesy zpracovávají přibližně toto množství dat a můžou zpracovávat více než limit, aby se dotaz streamování přesunul vpřed v případech, kdy je nejmenší vstupní jednotka větší než tento limit.
  • readChangeFeed: Stream čte datový kanál změn sdílené tabulky.

Nepodporované možnosti:

  • Trigger.availableNow

Ukázkové dotazy strukturovaného streamování

Scala
spark.readStream.format("deltaSharing")
.option("startingVersion", 0)
.option("ignoreChanges", true)
.option("maxFilesPerTrigger", 10)
.table("vaccine.vaccine_us.vaccine_us_distribution")
Python
spark.readStream.format("deltaSharing")\
.option("startingVersion", 0)\
.option("ignoreDeletes", true)\
.option("maxBytesPerTrigger", 10000)\
.table("vaccine.vaccine_us.vaccine_us_distribution")

Pokud je u tabulky povolen kanál změn (CDF), můžete streamovat čtení z CDF.

spark.readStream.format("deltaSharing")
.option("readChangeFeed", "true")
.table("vaccine.vaccine_us.vaccine_us_distribution")

Použití filtrů řádků a masek sloupců

Pokud chcete použít filtry řádků a masky sloupců u tabulek a cizích tabulek sdílených vaším poskytovatelem dat, přečtěte si téma Ruční použití filtrů řádků a masek sloupců. Masky sloupců nelze použít u streamovaných tabulek nebo materializovaných zobrazení.

Čtení tabulek se zapnutými vektory mazání nebo mapováním sloupců

Důležité

Tato funkce je ve verzi Public Preview.

Vektory odstranění jsou funkce optimalizace úložiště, kterou může váš poskytovatel povolit u sdílených tabulek Delta. Podívejte se na vektory odstranění v Databricks.

Azure Databricks podporuje také mapování sloupců pro tabulky Delta. Viz Přejmenování a vyřazení sloupců v rámci mapování sloupců Delta Lake.

Pokud váš poskytovatel nasdílel tabulku s povolenými vektory odstranění nebo mapováním sloupců, můžete v tabulce provádět dávkové čtení pomocí SQL Warehouse nebo clusteru s modulem Databricks Runtime 14.1 nebo novějším. Dotazy CDF a streamování vyžadují Databricks Runtime 14.2 nebo vyšší.

Dávkové dotazy můžete provádět bez změn, protože se dají automaticky vyřešit responseFormat na základě vlastností sdílené tabulky.

Pokud chcete číst datový kanál změn (CDF) nebo provádět streamované dotazy na sdílené tabulky s povolenými vektory odstranění nebo mapováním sloupců, musíte nastavit další možnost responseFormat=delta.

Následující příklady ukazují dávkové, CDF a streamovací dotazy:

import org.apache.spark.sql.SparkSession

// Batch query
spark.read.format("deltaSharing").table(<tableName>)

// CDF query
spark.read.format("deltaSharing")
  .option("readChangeFeed", "true")
  .option("responseFormat", "delta")
  .option("startingVersion", 1)
  .table(<tableName>)

// Streaming query
spark.readStream.format("deltaSharing").option("responseFormat", "delta").table(<tableName>)

Čtení spravovaných sdílených tabulek Iceberg

Důležité

Tato funkce je ve verzi Public Preview.

Čtení sdílených spravovaných tabulek Iceberg je stejné jako čtení sdílených tabulek, s těmito výjimkami:

Podpora sdílení z Databricks do Open:

Pokyny v tomto článku se zaměřují na čtení sdílených dat pomocí uživatelských rozhraní Azure Databricks, konkrétně syntaxe a rozhraní Unity Catalog. Kvůli omezení rozšířené podpory funkcí Delta pro konektory OpenSharing se nepodporuje dotazování sdílených spravovaných tabulek Iceberg pomocí Python, Tableau a Power BI.

Změnit datový kanál:

U spravovaných tabulek Iceberg se nepodporuje změnový datový tok.

Omezení Azure Databricks Iceberg:

Omezení platí pro tabulky Iceberg a spravované tabulky Iceberg. Viz Omezení.

Čtení sdílených zobrazení

Čtení sdílených zobrazení je stejné jako čtení sdílených tabulek s těmito výjimkami:

Omezení sdílených zobrazení:

  • Sdílená zobrazení podporují pouze podmnožinu předdefinovaných funkcí a operátorů v Databricks. Viz Funkce podporované ve sdílení zobrazení Databricks-to-Databricks.
  • Příjemci nemohou v rámci sdílení Databricks s Databricks odeslat dotaz na více než 20 sdílených zobrazení. Sdílená zobrazení nesmí být z více než pěti různých sdílených složek zprostředkovatele.
  • Pokud je poskytovatel ze stejného účtu nebo když používáte výpočetní prostředky bez serveru v jiném účtu, nemůžete dotazovat více závislých zobrazení od stejného poskytovatele v jednom dotazu. Pokud například view1 závisí na view2 na straně poskytovatele a obě zobrazení se s vámi sdílí, nemůžete odkazovat na view1 a view2 ve stejném dotazu.
  • Transakce můžete spouštět ve sdílených zobrazeních. Podívejte se na požadavky na transakce a omezení.

Požadavky na pojmenování:

Název katalogu, který používáte pro sdílený katalog, který obsahuje zobrazení, nemůže být stejný jako žádný katalog zprostředkovatele, který obsahuje tabulku odkazovanou zobrazením. Pokud je například sdílené zobrazení obsaženo v test katalogu a jedna z tabulek poskytovatele, na kterou se toto zobrazení odkazuje, je obsažena v katalogu poskytovatele test, výsledkem dotazu bude chyba konfliktu oboru názvů. Viz Vytvoření katalogu ze sdílené složky.

Časový limit výsledku dotazu:

Pokud nemáte přímý přístup k podkladovým datům, Azure Databricks při dotazování na zobrazení provede materializaci za běhu. Pokud tato materializace trvá déle než 5 minut, vyprší časový limit dotazu. Přepněte na bezserverové výpočetní prostředky, abyste se tomuto omezení vyhnuli.

Historie a streamování:

Nelze dotazovat historii ani použít zobrazení jako zdroj streamování.

Zobrazit podporu pro sdílení Databricks-to-Open:

Pokyny v tomto článku se zaměřují na čtení sdílených dat pomocí uživatelských rozhraní Azure Databricks, konkrétně syntaxe a rozhraní Unity Catalog. Můžete také dotazovat sdílená zobrazení pomocí Apache Sparku, Python a nástrojů BI, jako je Tableau a Power BI.

Costs:

Informace o tom, jak se počítají náklady na sdílení, najdete v tématu Jak se účtují a kontrolují náklady na OpenSharing?.

Čtení sdílených streamovaných tabulek a materializovaných zobrazení

Čtení sdílených streamovaných tabulek a materializovaných zobrazení je stejné jako čtení sdílených tabulek s těmito výjimkami:

Podpora sdílení z Databricks do Open:

Pokyny na této stránce se zaměřují na čtení sdílených dat pomocí Azure Databricks uživatelských rozhraní, konkrétně syntaxe a rozhraní katalogu Unity. Pomocí nástrojů Apache Spark, Pythonu a BI, jako jsou Tableau a Power BI, můžete také dotazovat sdílené tabulky streamování a materializovaná zobrazení. Viz Čtení dat sdílených pomocí OpenSharing Databricks-to-Open s tokeny nositele.

Transakce:

Omezení SQL:

  • Funkce current_recipient není podporována.
  • Příkaz DESCRIBE EXTENDED není podporován.

Mapování sloupců:

Pokud při příjmu sdílené složky z jiného účtu Azure Databricks používáte klasické výpočetní prostředky, musíte při dotazování materializovaného zobrazení nebo streamovaných tabulek s mapováním sloupců zadat responseFormat jako níže.

spark.read.option("responseFormat", "delta").table("catalog_name.schema_name.mv_name")

Pokud používáte klasické výpočetní prostředky při sdílení ve stejném účtu Azure Databricks nebo bezserverovém výpočetním prostředí v jakémkoli scénáři, můžete dotazovat bez omezení.

Costs:

Informace o tom, jak se počítají náklady na sdílení, najdete v tématu Jak se účtují a kontrolují náklady na OpenSharing?.

Materializované zobrazení konkrétních výjimek

History:

Nelze dotazovat historii.

Refresh:

Nelze získat přístup ke stavu aktualizace a plánu aktualizace materializovaného zobrazení.

Zobrazení a vytvoření tabulky streamování:

Ve sdílených materializovaných zobrazeních nelze vytvářet streamované tabulky.

Výjimky specifické pro tabulku streamování

History:

Historie dotazů je dostupná za následujících okolností sdílení Databricks-to-Databricks:

  • Při sdílení s jiným účtem Azure Databricks používáte výpočetní prostředky bez serveru.

  • Při sdílení ve stejném účtu Azure Databricks používáte bezserverové nebo klasické výpočetní prostředky.

Další informace o různých výpočetních prostředcích najdete v tématu Výpočty.

Refresh:

Nelze získat přístup ke stavu aktualizace a plánu aktualizace tabulky streamování.

Čtěte sdílené uživatelské funkce Python (UDFs)

Čtení sdílených Python UDF je stejné jako čtení sdílených tabulek. Po vytvoření nového katalogu pro sdílenou složku nebo připojení sdílené složky k existujícímu katalogu můžete přistupovat a používat Python UDF.

Přečíst sdílené FeatureSpecs

Sdílené FeatureSpecs čtení je stejné jako čtení sdílených tabulek. Po vytvoření nového katalogu pro sdílenou složku nebo připojení sdílené složky k existujícímu katalogu můžete nasadit FeatureSpec na váš vybraný obslužný koncový bod. Informace o vytvoření koncového bodu najdete v tématu Vytvoření koncového bodu.

Pokud váš poskytovatel aktualizuje FeatureSpec s novou závislostí, ale tuto závislost s vámi nesdílí, váš model selže. Obraťte se na poskytovatele dat a zkontrolujte nové závislosti.

Před zpřístupněním FeatureSpec musíte vytvořit online obchod a publikovat závislé tabulky v pracovním prostoru. Informace o tom, jak vytvořit online úložiště a publikovat tabulku, najdete v tématu Databricks Online Feature Stores.

Čtení sdílených poznámkových bloků

Pokud chcete zobrazit náhled a klonovat sdílené soubory poznámkových bloků, můžete použít Průzkumníka katalogu.

Omezení úložiště: Pokud vaše úložiště používá privátní koncové body, nemůžete číst sdílené poznámkové bloky.

Požadovaná oprávnění: Vlastník katalogu nebo uživatel s oprávněním USE CATALOG k katalogu vytvořenému ze sdílené složky.

  1. V pracovním prostoru Azure Databricks klikněte na ikonu Data.Katalog.

  2. V levém podokně rozbalte nabídku Katalog , vyhledejte a vyberte katalog vytvořený ze sdílené složky.

  3. Na kartě Ostatní zdroje uvidíte případné sdílené soubory poznámkového bloku.

  4. Klikněte na název sdíleného souboru poznámkového bloku a zobrazte jeho náhled.

  5. (Volitelné) Kliknutím na tlačítko Klonovat naimportujete sdílený soubor poznámkového bloku do pracovního prostoru.

    1. V dialogovém okně Clone to (Klonovat do ) volitelně zadejte nový název a pak vyberte složku pracovního prostoru, do které chcete naklonovat soubor poznámkového bloku.
    2. Klikněte na Klon.
    3. Jakmile je poznámkový blok naklonován, zobrazí se dialogové okno s informacemi, že byl úspěšně naklonován. Klikněte na zobrazit v editoru poznámkových bloků v dialogovém okně, abyste ho zobrazili v editoru poznámkových bloků.

    Viz poznámkové bloky Databricks.

Odpojit sdílenou složku

Odmontujte sdílení a odeberte datový zdroj z katalogu.

Požadovaná oprávnění: Uživatel s privilegii USE CATALOG a MANAGE na sdílený katalog.

  1. V pracovním prostoru Azure Databricks klikněte na ikonu Data. Klikněte na Katalog pro otevření Průzkumníka katalogu.

  2. V horní části podokna Katalog klikněte na ikonu ozubeného kola. ikonu ozubeného kola a vyberte OpenSharing.

    Případně v pravém horním rohu klikněte na Sdílet > OpenSharing.

  3. Na kartě Sdílí se se mnou vyhledejte a vyberte poskytovatele.

  4. Klikněte na ikonu nabídky Kebab na řádku sdílení.

  5. Klikněte na Odpojit sdílení.

  6. Klikněte na Odpojit.