Čtení dat sdílených prostřednictvím Delta Sharing z Databricks do Databricks (pro příjemce)

Tato stránka popisuje, jak číst data sdílená s vámi pomocí protokolu Delta Sharing Databricks-to-Databricks, kde Databricks spravuje zabezpečené připojení pro sdílení dat. Na rozdíl od otevřeného protokolu sdílení delta nevyžaduje protokol Databricks-to-Databricks soubor přihlašovacích údajů (zabezpečení založené na tokenech).

Sdílení Databricks-to-Databricks vyžaduje, abyste jako příjemce splnili oba následující požadavky:

• Máte přístup k pracovnímu prostoru Databricks, který je povolený pro katalog Unity.
• Poskytovatel používá protokol pro sdílení Databricks-to-Databricks Delta, nikoli otevřený protokol pro sdílení, který poskytuje soubor s přihlašovacími údaji.

Pokud není splněn některý z požadavků, přečtěte si Jak číst data sdílená prostřednictvím otevřeného sdílení Delta s tokeny nositele (pro příjemce).

Jak zpřístupním sdílená data svému týmu?

Pokud chcete číst data a poznámkové bloky, které s vámi někdo sdílí pomocí protokolu Databricks-to-Databricks, musíte být uživatelem v pracovním prostoru Databricks, který je povolený pro Katalog Unity. Člen vašeho týmu poskytne poskytovateli dat jedinečný identifikátor metastoru katalogu Unity a zprostředkovatel dat tento identifikátor použije k vytvoření zabezpečeného připojení ke sdílení s vaší organizací. Sdílená data pak budou k dispozici pro přístup ke čtení ve vašem pracovním prostoru. Aktualizace, které provádí poskytovatel dat na sdílených tabulkách, zobrazeních, svazcích a oddílech, se projeví v pracovním prostoru téměř v reálném čase.

Note

Změny sloupců, jako je přidání, přejmenování nebo odstranění, se nemusí v Průzkumníku katalogu zobrazovat až jednu minutu. Podobně se nové sdílené složky a aktualizace sdílených složek, včetně přidávání nových tabulek, ukládají do mezipaměti po dobu jedné minuty, než budou k dispozici k zobrazení a dotazování.

Čtení dat, která s vámi někdo sdílí:

1. Uživatel ve vašem týmu najde sdílenou složku – kontejner pro tabulky, zobrazení, svazky a poznámkové bloky, které s vámi někdo sdílí – a používá tuto sdílenou složku k vytvoření katalogu – kontejner nejvyšší úrovně pro všechna data v Katalogu Unity Databricks.
2. Uživatel ve vašem týmu udělí nebo odmítne přístup k katalogu a objektům v katalogu (schémata, tabulky, zobrazení a svazky) členům vašeho týmu.
3. Čtete data v tabulkách, zobrazeních a svazcích, ke kterým máte udělený přístup, jako jakýkoli datový asset v Databricks, ke kterému máte přístup jen pro čtení (SELECT nebo READ VOLUME).
4. Pokud máte USE CATALOG oprávnění ke katalogu, můžete zobrazit náhled a klonovat poznámkové bloky ve sdílené složce.

Požadovaná oprávnění

Abyste mohli vypsat a zobrazit podrobnosti o všech poskytovatelích a podílech poskytovatele, musíte být správcem metastoru nebo mít oprávnění USE PROVIDER. Jiní uživatelé mají přístup pouze k poskytovatelům a sdílením, které vlastní.

Pokud chcete vytvořit katalog ze sdílené složky zprostředkovatele, musíte být správcem metastoru, uživatelem, který má oprávnění CREATE CATALOG a USE PROVIDER pro metastore katalogu Unity, nebo uživatelem, který má oprávnění CREATE CATALOG a vlastnictví objektu zprostředkovatele.

Možnost udělit přístup jen pro čtení ke schématům (databázím), tabulkám, zobrazením a svazkům v katalogu vytvořenému ze sdílené složky se řídí typickou hierarchií oprávnění katalogu Unity. Možnost zobrazit poznámkové bloky v katalogu vytvořeném ze sdílení vyžaduje USE CATALOG oprávnění na katalog. Viz Správa oprávnění pro schémata, tabulky a svazky v katalogu Delta Sharing.

Zobrazit poskytovatele a sdílení

Pokud chcete začít číst data, která s vámi někdo sdílí, musíte znát název poskytovatele a sdílet objekty uložené v metastoru katalogu Unity, jakmile s vámi poskytovatel sdílí data.

Objekt poskytovatele představuje metastore katalogu Unity, cloudovou platformu a oblast organizace, která s vámi sdílí data.

Objekt sdílené složky představuje tabulky, svazky a zobrazení, které s vámi sdílel poskytovatel.

Zobrazit všechny poskytovatele, kteří s vámi sdíleli data

Pokud chcete zobrazit seznam dostupných poskytovatelů dat, můžete použít Průzkumníka katalogu, Rozhraní příkazového řádku katalogu Databricks Unity nebo SHOW PROVIDERS příkaz SQL v poznámkovém bloku Azure Databricks nebo v editoru dotazů SQL Databricks.

Požadovaná oprávnění: Musíte být správcem metastoru USE PROVIDER nebo mít oprávnění. Jiní uživatelé mají přístup pouze k poskytovatelům a sdíleným složkám zprostředkovatele, které vlastní.

Podrobnosti najdete v tématu Zobrazit poskytovatele.

Zobrazení podrobností o poskytovateli

Pokud chcete zobrazit podrobnosti o poskytovateli, můžete použít Průzkumníka katalogu, rozhraní příkazového řádku katalogu Databricks Unity nebo DESCRIBE PROVIDER příkaz SQL v poznámkovém bloku Azure Databricks nebo v editoru dotazů SQL Databricks.

Požadovaná oprávnění: Musíte být správcem metastoru USE PROVIDER , mít oprávnění nebo vlastnit objekt poskytovatele.

Podrobnosti najdete v Zobrazení podrobností o poskytovateli.

Zobrazení sdílených složek

Pokud chcete zobrazit sdílené složky, které s vámi sdílí poskytovatel, můžete použít Průzkumníka katalogu, rozhraní příkazového řádku katalogu Databricks Unity nebo SHOW SHARES IN PROVIDER příkaz SQL v poznámkovém bloku Azure Databricks nebo editoru dotazů SQL Databricks.

Požadovaná oprávnění: Musíte být správcem metastoru USE PROVIDER , mít oprávnění nebo vlastnit objekt poskytovatele.

Podrobnosti naleznete v Zobrazení sdílení, která s vámi poskytovatel sdílel.

Přístup k datům ve sdílené tabulce nebo svazku

Čtení dat ve sdílené tabulce nebo svazku:

1. Privilegovaný uživatel musí vytvořit katalog ze sdílené složky, která obsahuje tabulku nebo svazek. Může to být správce metastoru, uživatel, který má jak oprávnění CREATE CATALOG, tak i USE PROVIDER k metastoru katalogu Unity, nebo uživatel, který má jak CREATE CATALOG oprávnění, tak i vlastnictví objektu zprostředkovatele.
2. Tento uživatel nebo uživatel se stejnými oprávněními musí udělit přístup ke sdílené tabulce nebo svazku.
3. K tabulce nebo svazku můžete přistupovat stejně jako k jakémukoli jinému datovému assetu registrovanému v metastore katalogu Unity.

Vytvoření katalogu ze sdílení

Pokud chcete, aby data ve sdílené složce byla přístupná vašemu týmu, musíte vytvořit katalog ze sdílené složky nebo připojit sdílenou složku k existujícímu sdílenému katalogu. Pokud chcete vytvořit katalog ze sdílené složky, můžete použít Průzkumníka katalogu, rozhraní příkazového řádku katalogu Databricks Unity nebo příkazy SQL v poznámkovém bloku Azure Databricks nebo v editoru dotazů SQL Databricks. Pokud chcete sdílenou složku připojit k existujícímu sdílenému katalogu, můžete použít Průzkumníka katalogu.

Oprávnění potřebná k vytvoření katalogu: správce metastoru, uživatel, který má oprávnění CREATE CATALOG i USE PROVIDER oprávnění pro metastore katalogu Unity, nebo uživatel, který má CREATE CATALOG oprávnění i vlastnictví objektu poskytovatele.

Oprávnění požadovaná k připojení sdílené složky k existujícímu katalogu: Uživatel musí mít USE PROVIDER oprávnění nebo vlastnictví objektu zprostředkovatele a musí také vlastnit existující sdílený katalog nebo mít oprávnění k MANAGEUSE CATALOG existujícímu sdílenému katalogu.

Note

Pokud sdílená složka obsahuje zobrazení, musíte použít název katalogu, který se liší od názvu katalogu, který obsahuje zobrazení v metastoru poskytovatele.

Průzkumník katalogu

1. V pracovním prostoru Azure Databricks klikněte na Klikněte na Katalog pro otevření Průzkumníka katalogu.

2. V horní části podokna Katalog klikněte na a vyberte Delta sdílení.

   Případně na stránce Rychlý přístup klikněte na tlačítko Delta Sharing >.

3. Na kartě Sdílí se se mnou vyhledejte a vyberte poskytovatele.

4. Vyhledejte požadovanou sdílenou složku a klikněte na připojit k katalogu na řádku sdílené složky.

5. Vyberte Vytvořit nový katalog nebo Připojit k existujícímu katalogu a přidejte datový asset do existujícího katalogu.

6. Zadejte název nového katalogu nebo zvolte, ke kterému existujícímu katalogu chcete sdílenou složku přidat.

7. Klikněte na Vytvořit nebo připojit.

Nebo když otevřete Průzkumníka katalogu, můžete kliknutím na + > Vytvořit katalog v pravém horním rohu vytvořit sdílený katalog. Viz Vytváření katalogů.

SQL

V poznámkovém bloku nebo editoru dotazů SQL Databricks spusťte následující příkaz.

CREATE CATALOG [IF NOT EXISTS] <catalog-name>
USING SHARE <provider-name>.<share-name>;

CLI

databricks catalogs create <catalog-name> /
--provider-name <provider-name> /
--share-name <share-name>

Katalog vytvořený z Delta Sharing má typ katalogu Delta Sharing. Typ můžete zobrazit na stránce podrobností katalogu v Průzkumníku katalogu nebo spuštěním příkazu DESCRIBE CATALOG SQL v poznámkovém bloku nebo dotazu SQL Databricks. Všechny sdílené katalogy jsou uvedené v části Katalog > sdílené v levém podokně Průzkumník katalogu.

Katalog Delta Sharing je možné spravovat stejným způsobem jako běžné katalogy v metastoru katalogu Unity. Můžete zobrazit, aktualizovat a odstranit katalog Delta sdílení pomocí Průzkumníka katalogu, rozhraní příkazového řádku Databricks a pomocí SQL příkazů SHOW CATALOGS, DESCRIBE CATALOG, ALTER CATALOG a DROP CATALOG.

Struktura 3úrovňového názvového prostoru pod katalogem Delta Sharing, vytvořeným z podílu, je stejná jako struktura v běžném katalogu Unity Catalog: catalog.schema.table nebo catalog.schema.volume.

Data tabulek a svazků ve sdíleném katalogu jsou jen pro čtení, což znamená, že můžete provádět operace čtení, jako jsou:

• DESCRIBE, SHOWa SELECT pro tabulky.
• DESCRIBE VOLUME, LIST <volume-path>, SELECT * FROM <format>.'<volume_path>' a COPY INTO pro svazky.

Poznámkové bloky ve sdíleném katalogu může zobrazit náhled a klonovat každý uživatel s USE CATALOG na katalogu.

Modely ve sdíleném katalogu lze číst a načítat pro odvozování libovolným uživatelem s následujícími oprávněními: EXECUTE oprávnění k registrovanému modelu USE SCHEMA a USE CATALOG oprávnění ke schématu a katalogu obsahujícímu tento model.

Správa oprávnění pro schémata, tabulky a svazky v Delta Sharing katalogu

Ve výchozím nastavení je tvůrce katalogu vlastníkem všech datových objektů v katalogu Delta Sharing a může spravovat oprávnění pro kterýkoli z nich.

Oprávnění se dědí směrem dolů, přestože některé pracovní prostory mohou být stále na starším modelu zabezpečení, který dědičnost nezajišťoval. Viz model dědičnosti. Každý uživatel, kterému bylo uděleno SELECT oprávnění v katalogu, bude mít SELECT oprávnění pro všechna schémata a tabulky v katalogu, pokud se toto oprávnění neodvolá. Stejně tak bude každý uživatel, kterému bylo uděleno oprávnění READ VOLUME na katalog, mít oprávnění READ VOLUME ke všem svazkům v katalogu, pokud toto oprávnění není odvoláno. Nemůžete udělit oprávnění, která poskytují přístup k zápisu nebo aktualizaci do katalogu Delta Sharing nebo k objektům v katalogu Delta Sharing.

Vlastník katalogu může delegovat vlastnictví datových objektů jiným uživatelům nebo skupinám a tím udělit těmto uživatelům možnost spravovat oprávnění objektu a životní cykly.

Podrobné informace o správě oprávnění k datovým objektům pomocí katalogu Unity najdete v tématu Správa oprávnění v katalogu Unity.

Čtení dat ve sdílené tabulce

Data ve sdílené tabulce můžete číst pomocí libovolného nástroje, který máte k dispozici jako uživatel Azure Databricks: Průzkumník katalogu, poznámkové bloky, dotazy SQL, rozhraní příkazového řádku Databricks a rozhraní REST API Databricks. Musíte mít SELECT oprávnění k tabulce.

Čtení dat ve sdílené cizí tabulce nebo cizím schématu

Important

Tato funkce je v beta verzi. Správci pracovního prostoru můžou řídit přístup k této funkci ze stránky Previews . Podívejte se na Správa náhledů Azure Databricks.

Data ve sdílené cizí tabulce nebo cizím schématu můžete číst pomocí libovolného nástroje, které máte k dispozici jako uživatel Azure Databricks: Průzkumník katalogu, poznámkové bloky, dotazy SQL, rozhraní příkazového řádku Databricks a rozhraní REST API Databricks. Musíte mít SELECT oprávnění ke sdílené cizí tabulce nebo cizímu schématu.

Při přístupu ke sdílené cizí tabulce nebo cizímu schématu se účtují další náklady. Informace o tom, jak se počítají náklady na sdílení, najdete v tématu Jak vznikají a kontrolují se náklady na Delta Sharing?.

Čtení dat ve sdíleném svazku

Data ve sdíleném svazku můžete číst pomocí libovolného nástroje, které máte k dispozici jako uživatel Azure Databricks: Průzkumník katalogu, poznámkové bloky, dotazy SQL, rozhraní příkazového řádku Databricks a rozhraní REST API Databricks. Abyste měli přístup ke svazku, musíte mít READ VOLUME privilegium.

Čtení dat zabezpečených službou ABAC a použití zásad ABAC

Important

Tato funkce je ve verzi Public Preview.

Řízení přístupu na základě atributů (ABAC) je model zásad správného řízení dat, který poskytuje flexibilní, škálovatelné a centralizované řízení přístupu napříč Azure Databricks.

Správci účtů na straně příjemce musí zapnout řízení přístupu na základě atributů pro Delta Sharing v ukázkových verzích konzoly účtu, aby mohli číst sdílené tabulky zabezpečené zásadami ABAC. Tím zajistíte správnost výsledků dotazu. Jinak existuje riziko, že data nejsou správně řízena.

Vytvořte zásady ABAC pro sdílené tabulky, schémata a katalogy vytvořené ze sdílení. Materializovaná zobrazení jsou podporována s omezeními. Nemůžete vytvořit zásady ABAC pro sdílené streamované tabulky ani materializovaná zobrazení. Pokud chcete nakonfigurovat zásady ABAC, přečtěte si téma Vytvoření a správa zásad řízení přístupu na základě atributů (ABAC).

Načtení sdíleného modelu pro odvozování

Podrobnosti o načtení sdíleného modelu a jeho použití pro dávkové odvozování najdete v tématu Načtení verze modelu podle aliasu pro úlohy odvozování.

Dotazování na data historie tabulky

Pokud se historie sdílí společně s tabulkou, můžete dotazovat data tabulky podle verze nebo časového razítka. Vyžaduje Databricks Runtime 12.2 LTS nebo vyšší.

Například:

SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution VERSION AS OF 3;
SELECT * FROM vaccine.vaccine_us.vaccine_us_distribution TIMESTAMP AS OF "2023-01-01 00:00:00";

Kromě toho, pokud je u tabulky povolený datový kanál změn (CDF), můžete se na CDF dotazovat. Podporují se verze i časové razítko:

SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', 0, 3);
SELECT * FROM table_changes('vaccine.vaccine_us.vaccine_us_distribution', "2023-01-01 00:00:00", "2022-02-01 00:00:00");

Další informace o změně datového kanálu najdete v tématu Použití kanálu změn Delta Lake v Azure Databricks.

Dotazování tabulky pomocí strukturovaného streamování Apache Sparku

Pokud je tabulka sdílená s historií, můžete ji použít jako zdroj strukturovaného streamování Sparku. Vyžaduje Databricks Runtime 12.2 LTS nebo vyšší.

Podporované možnosti:

• ignoreDeletes: Ignorujte transakce, které odstraňují data.
• ignoreChanges: Opětovné zpracování aktualizací, pokud byly soubory přepsány ve zdrojové tabulce z důvodu operace změny dat, jako je UPDATE, MERGE INTO (DELETE v rámci oddílů) nebo OVERWRITE. Nezměněné řádky je možné přesto emitovat. Proto by vaši podřízení spotřebitelé měli mít možnost zpracovávat duplicity. Odstranění se nešíří dále dolů. ignoreChanges zahrnuje ignoreDeletes. Proto pokud použijete ignoreChanges, stream se nenaruší odstraněním nebo aktualizacemi zdrojové tabulky.
• startingVersion: Verze sdílené tabulky, od které se má začít. Všechny změny tabulky od této verze (včetně) budou čteny streamovacím zdrojem.
• startingTimestamp: Časové razítko, od které se má začít. Všechny změny tabulky provedené v nebo po daném časovém razítku (včetně) budou přečteny zdrojem streamování. Příklad: "2023-01-01 00:00:00.0"
• maxFilesPerTrigger: Počet nových souborů, které mají být zváženy v každé mikro šarži.
• maxBytesPerTrigger: Množství dat, která se zpracovávají v každé mikrodávce. Tato možnost nastaví "soft max", což znamená, že dávkové procesy zpracovávají přibližně toto množství dat a můžou zpracovávat více než limit, aby se dotaz streamování přesunul vpřed v případech, kdy je nejmenší vstupní jednotka větší než tento limit.
• readChangeFeed: Stream čte datový kanál změn sdílené tabulky.

Nepodporované možnosti:

• Trigger.availableNow

Ukázkové dotazy strukturovaného streamování

Scala

spark.readStream.format("deltaSharing")
.option("startingVersion", 0)
.option("ignoreChanges", true)
.option("maxFilesPerTrigger", 10)
.table("vaccine.vaccine_us.vaccine_us_distribution")

Python

spark.readStream.format("deltaSharing")\
.option("startingVersion", 0)\
.option("ignoreDeletes", true)\
.option("maxBytesPerTrigger", 10000)\
.table("vaccine.vaccine_us.vaccine_us_distribution")

Pokud je u tabulky povolen kanál změn (CDF), můžete streamovat čtení z CDF.

spark.readStream.format("deltaSharing")
.option("readChangeFeed", "true")
.table("vaccine.vaccine_us.vaccine_us_distribution")

Použití filtrů řádků a masek sloupců

Pokud chcete použít filtry řádků a masky sloupců u tabulek a cizích tabulek sdílených vaším poskytovatelem dat, přečtěte si téma Ruční použití filtrů řádků a masek sloupců. Masky sloupců nelze použít u streamovaných tabulek nebo materializovaných zobrazení.

Čtení tabulek se zapnutými vektory mazání nebo mapováním sloupců

Important

Tato funkce je ve verzi Public Preview.

Vektory odstranění jsou funkce optimalizace úložiště, kterou může váš poskytovatel povolit u sdílených tabulek Delta. Podívejte se na vektory odstranění v Databricks.

Azure Databricks podporuje také mapování sloupců pro tabulky Delta. Podívejte se na Přejmenování a odstranění sloupců pomocí mapování sloupců v Delta Lake.

Pokud váš poskytovatel nasdílel tabulku s povolenými vektory odstranění nebo mapováním sloupců, můžete v tabulce provádět dávkové čtení pomocí SQL Warehouse nebo clusteru s modulem Databricks Runtime 14.1 nebo novějším. Dotazy CDF a streamování vyžadují Databricks Runtime 14.2 nebo vyšší.

Dávkové dotazy můžete provádět v původní podobě, protože se mohou automaticky vyřešit responseFormat podle funkcí sdílené tabulky.

Pokud chcete číst datový kanál změn (CDF) nebo provádět streamované dotazy na sdílené tabulky s povolenými vektory odstranění nebo mapováním sloupců, musíte nastavit další možnost responseFormat=delta.

Následující příklady ukazují dávkové, CDF a streamovací dotazy:

import org.apache.spark.sql.SparkSession

// Batch query
spark.read.format("deltaSharing").table(<tableName>)

// CDF query
spark.read.format("deltaSharing")
  .option("readChangeFeed", "true")
  .option("responseFormat", "delta")
  .option("startingVersion", 1)
  .table(<tableName>)

// Streaming query
spark.readStream.format("deltaSharing").option("responseFormat", "delta").table(<tableName>)

Čtení spravovaných sdílených tabulek Iceberg

Important

Tato funkce je ve verzi Public Preview.

Čtení sdílených spravovaných tabulek Iceberg je stejné jako čtení sdílených tabulek, s těmito výjimkami:

Podpora při otevřeném sdílení:

Pokyny v tomto článku se zaměřují na čtení sdílených dat pomocí uživatelských rozhraní Azure Databricks, konkrétně syntaxe a rozhraní katalogu Unity. Vzhledem k omezení podpory pokročilých funkcí Delta pro konektory Delta Sharing se nepodporuje dotazování sdílených spravovaných tabulek Iceberg pomocí Pythonu, Tableau a Power BI.

Změnit datový kanál:

U spravovaných tabulek Iceberg se nepodporuje změnový datový tok.

Omezení Azure Databricks Iceberg:

Omezení platí pro tabulky Iceberg a spravované tabulky Iceberg. Viz omezení tabulek Iceberg.

Čtení sdílených zobrazení

Čtení sdílených zobrazení je stejné jako čtení sdílených tabulek s těmito výjimkami:

Omezení sdílených zobrazení:

• Sdílená zobrazení podporují pouze podmnožinu předdefinovaných funkcí a operátorů v Databricks. Viz Funkce podporované ve sdílených zobrazeních Databricks-to-Databricks.
• Příjemci nemohou v rámci sdílení Databricks s Databricks odeslat dotaz na více než 20 sdílených zobrazení. Sdílená zobrazení nesmí být z více než pěti různých sdílených složek zprostředkovatele.
• Pokud je poskytovatel ze stejného účtu nebo když používáte výpočetní prostředky bez serveru v jiném účtu, nemůžete dotazovat více závislých zobrazení od stejného poskytovatele v jednom dotazu. Pokud například view1 závisí na view2 na straně poskytovatele a obě zobrazení se s vámi sdílí, nemůžete odkazovat na view1 a view2 ve stejném dotazu.

Požadavky na pojmenování:

Název katalogu, který používáte pro sdílený katalog, který obsahuje zobrazení, nemůže být stejný jako žádný katalog zprostředkovatele, který obsahuje tabulku odkazovanou zobrazením. Pokud je například sdílené zobrazení obsaženo v test katalogu a jedna z tabulek poskytovatele, na kterou se toto zobrazení odkazuje, je obsažena v katalogu poskytovatele test, výsledkem dotazu bude chyba konfliktu oboru názvů. Viz Vytvoření katalogu ze sdílené složky.

Časový limit výsledku dotazu:

Pokud nemáte přímý přístup k podkladovým datům, Azure Databricks provádí při dotazování zobrazení materializaci za běhu. Pokud tato materializace trvá déle než 5 minut, vyprší časový limit dotazu. Přepněte na bezserverové výpočetní prostředky, abyste se tomuto omezení vyhnuli.

Historie a streamování:

Nelze dotazovat historii ani použít zobrazení jako zdroj streamování.

Zobrazit podporu při otevřeném sdílení:

Pokyny v tomto článku se zaměřují na čtení sdílených dat pomocí uživatelských rozhraní Azure Databricks, konkrétně syntaxe a rozhraní katalogu Unity. Sdílená zobrazení můžete dotazovat také pomocí nástrojů Apache Spark, Python a BI, jako jsou Tableau a Power BI.

Costs:

Informace o tom, jak se počítají náklady na sdílení, najdete v tématu Jak vznikají a kontrolují se náklady na Delta Sharing?.

Čtení sdílených streamovaných tabulek a materializovaných zobrazení

Čtení sdílených streamovaných tabulek a materializovaných zobrazení je stejné jako čtení sdílených tabulek s těmito výjimkami:

Podpora při otevřeném sdílení:

Pokyny v tomto článku se zaměřují na čtení sdílených dat pomocí uživatelských rozhraní Azure Databricks, konkrétně syntaxe a rozhraní katalogu Unity. Pomocí nástrojů Apache Spark, Pythonu a BI, jako jsou Tableau a Power BI, můžete také dotazovat sdílené tabulky streamování a materializovaná zobrazení.

Omezení SQL:

• Funkce current_recipient není podporována.
• Příkaz DESCRIBE EXTENDED není podporován.

Mapování sloupců:

Pokud při příjmu sdílené složky z jiného účtu Azure Databricks používáte klasický výpočet, musíte při dotazování materializovaného zobrazení nebo streamovaných tabulek s mapováním sloupců určit responseFormat podle níže uvedeného příkladu.

spark.read.option("responseFormat", "delta").table("catalog_name.schema_name.mv_name")

Pokud používáte klasické výpočetní prostředky při sdílení ve stejném účtu Azure Databricks nebo bezserverovém výpočetním prostředí v jakémkoli scénáři, můžete dotazovat bez omezení.

Costs:

Informace o tom, jak se počítají náklady na sdílení, najdete v tématu Jak vznikají a kontrolují se náklady na Delta Sharing?.

Materializované zobrazení konkrétních výjimek

History:

Nelze dotazovat historii.

Refresh:

Nelze získat přístup ke stavu aktualizace a plánu aktualizace materializovaného zobrazení.

Zobrazení a vytvoření tabulky streamování:

Ve sdílených materializovaných zobrazeních nelze vytvářet streamované tabulky.

Výjimky specifické pro tabulku streamování

History:

Historie dotazů je dostupná za následujících okolností sdílení Databricks-to-Databricks:

• Při sdílení s jiným účtem Azure Databricks používáte výpočetní prostředky bez serveru.

• Při sdílení ve stejném účtu Azure Databricks používáte bezserverové nebo klasické výpočetní prostředky.

Další informace o různých výpočetních prostředcích najdete v tématu Výpočty.

Refresh:

Nelze získat přístup ke stavu aktualizace a plánu aktualizace tabulky streamování.

Čtení sdílených uživatelsky definovaných funkcí Pythonu

Čtení uživatelsky definovaných funkcí v Pythonu je stejné jako čtení sdílených tabulek. Po vytvoření nového katalogu pro sdílenou složku nebo připojení sdíleného adresáře k existujícímu katalogu můžete získat přístup k UDF Pythonu a použít jej.

Přečíst sdílené FeatureSpecs

Sdílené FeatureSpecs čtení je stejné jako čtení sdílených tabulek. Po vytvoření nového katalogu pro sdílenou složku nebo připojení sdílené složky k existujícímu katalogu můžete nasadit FeatureSpec na váš vybraný obslužný koncový bod. Informace o vytvoření koncového bodu najdete v tématu Vytvoření koncového bodu.

Pokud váš poskytovatel aktualizuje FeatureSpec s novou závislostí, ale tuto závislost s vámi nesdílí, váš model selže. Obraťte se na poskytovatele dat a zkontrolujte nové závislosti.

Před zpřístupněním FeatureSpec musíte vytvořit online obchod a publikovat závislé tabulky v pracovním prostoru. Informace o tom, jak vytvořit online úložiště a publikovat tabulku, najdete v tématu Databricks Online Feature Stores.

Čtení sdílených poznámkových bloků

Pokud chcete zobrazit náhled a klonovat sdílené soubory poznámkových bloků, můžete použít Průzkumníka katalogu.

Omezení úložiště: Pokud vaše úložiště používá privátní koncové body, nemůžete číst sdílené poznámkové bloky.

Požadovaná oprávnění: Vlastník katalogu nebo uživatel s oprávněním USE CATALOG k katalogu vytvořenému ze sdílené složky.

1. V pracovním prostoru Azure Databricks klikněte na Katalog.

2. V levém podokně rozbalte nabídku Katalog , vyhledejte a vyberte katalog vytvořený ze sdílené složky.

3. Na kartě Ostatní zdroje uvidíte případné sdílené soubory poznámkového bloku.

4. Klikněte na název sdíleného souboru poznámkového bloku a zobrazte jeho náhled.

5. (Volitelné) Kliknutím na tlačítko Klonovat naimportujete sdílený soubor poznámkového bloku do pracovního prostoru.

   1. V dialogovém okně Clone to (Klonovat do ) volitelně zadejte nový název a pak vyberte složku pracovního prostoru, do které chcete naklonovat soubor poznámkového bloku.
   2. Klikněte na Klon.
   3. Jakmile je poznámkový blok naklonován, zobrazí se dialogové okno s informacemi, že byl úspěšně naklonován. Klikněte na zobrazit v editoru poznámkových bloků v dialogovém okně, abyste ho zobrazili v editoru poznámkových bloků.

   Viz poznámkové bloky Databricks.

Odpojit sdílenou složku

Odmontujte sdílení a odeberte datový zdroj z katalogu.

Požadovaná oprávnění: Uživatel s privilegii USE CATALOG a MANAGE na sdílený katalog.

1. V pracovním prostoru Azure Databricks klikněte na Klikněte na Katalog pro otevření Průzkumníka katalogu.

2. V horní části podokna Katalog klikněte na a vyberte Delta sdílení.

   Případně na stránce Rychlý přístup klikněte na tlačítko Delta Sharing >.

3. Na kartě Sdílí se se mnou vyhledejte a vyberte poskytovatele.

4. Klikněte na na řádku sdílení.

5. Klikněte na Odpojit sdílení.

6. Klikněte na Odpojit.