Importujte poskytovatele a čtěte sdílená data v Azure Databricks

Jako příjemce Azure Databricks můžete importovat soubor s přihlašovacími údaji od otevřeného poskytovatele a číst sdílené datové prostředky. Můžete se dotazovat na sdílená data v Průzkumníku katalogu nebo použít Python poznámkový blok.

Note

Pokud s vámi data sdílíte pomocí Databricks-to-Databricks OpenSharing, nepotřebujete pro přístup k datům soubor přihlašovacích údajů a tato stránka se na vás nevztahuje. Místo toho si přečtěte téma Čtení dat sdílených pomocí Databricks-to-Databricks OpenSharing (pro příjemce).

Requirements

Člen vašeho týmu si musí stáhnout soubor přihlašovacích údajů, který s vámi sdílí poskytovatel dat, a použít zabezpečený kanál ke sdílení tohoto souboru nebo umístění souboru s vámi. Viz Získání přístupu v modelu Open-to-Databricks.

Note

Poskytovatel určuje kontejner úložiště a možnosti přihlašovacích údajů (rozsah, vypršení platnosti, čtení a zápis). Pokud je poskytovatelem poskytovatel Azure Databricks, připojení otevřeného sdílení v pracovním prostoru se službou Secure Egress Gateway (SEG) automaticky zařadí bucket poskytovatele na seznam povolených položek pro odchozí přístup. U otevřených poskytovatelů jiných než Databricks se bucket automaticky nezařadí na seznam povolených. Před připojením ověřte poskytovatele.

Importujte poskytovatele a dotazujte se na sdílená data

Tato část popisuje, jak importovat zprostředkovatele a jak dotazovat sdílená data v Průzkumníku katalogu nebo v poznámkovém bloku Pythonu:

  • Pokud je pro katalog Unity povolený váš pracovní prostor Azure Databricks, použijte uživatelské rozhraní zprostředkovatele importu v Průzkumníku katalogu. Můžete provést následující kroky, aniž byste museli ukládat nebo zadávat soubor s přihlašovacími údaji:

    • Pomocí kliknutí na tlačítko můžete vytvářet katalogy ze sdílených složek.
    • Pomocí řízení přístupu k katalogu Unity udělte přístup ke sdíleným tabulkám.
    • Dotazování sdílených dat pomocí standardní syntaxe katalogu Unity
    • Použijte rotované přihlašovací údaje na existující objekt poskytovatele bez opětovného vytvoření katalogu. Viz Obměna přihlašovacích údajů pro otevřené příjemce.

  • Pokud váš pracovní prostor Azure Databricks není povolen pro službu Unity Catalog, postupujte místo toho podle pokynů v poznámkovém bloku Pythonu.

Průzkumník katalogu

Požadovaná oprávnění: Správce metastoru nebo uživatel s oprávněním CREATE PROVIDER pro metastore katalogu Unity. K vytváření katalogů ze sdílené složky potřebujete CREATE CATALOG oprávnění.

  1. V pracovním prostoru Azure Databricks klikněte na ikonu Data. Klikněte na Katalog pro otevření Průzkumníka katalogu.

  2. V horní části podokna Katalog klikněte na ikonu ozubeného kola. a vyberte OpenSharing. Případně v pravém horním rohu klikněte na Sdílet > OpenSharing.

  3. Na kartě Sdílené se mnou klikněte na Připojit sdílenou položku.

  4. Zadejte název zprostředkovatele. Název nesmí obsahovat mezery.

  5. Nahrajte soubor přihlašovacích údajů, který s vámi sdílel poskytovatel. Mnoho poskytovatelů má své vlastní sítě OpenSharing, od kterých můžete přijímat sdílené složky. Další informace naleznete v tématu Konfigurace specifické pro poskytovatele.

  6. (Volitelné) Zadejte komentář.

    Import souboru přihlašovacích údajů zprostředkovatele přímo od zprostředkovatele

  7. Klikněte na Importovat.

  8. Na kartě Sdílení kliknutím na Vytvořit katalog v řádku sdílení vytvoříte katalogy ze sdílených dat.

    Informace o použití SQL nebo rozhraní příkazového řádku Databricks k vytvoření katalogu ze sdílené složky najdete v tématu Vytvoření katalogu ze sdílené složky.

  9. Udělte přístup k katalogům. Podívejte se, jak zpřístupním sdílená data mému týmu? a spravuji oprávnění pro schémata, tabulky a svazky v katalogu OpenSharing.

  10. Přečtěte si sdílené datové objekty stejně jako jakýkoli datový objekt zaregistrovaný v katalogu Unity.

    Podrobnosti a příklady najdete v sekci Přístup k datům ve sdílené tabulce nebo svazku.

Python

Čtení sdílených dat pomocí poznámkového bloku v pracovním prostoru Azure Databricks, pokud váš pracovní prostor není povolený pro katalog Unity. Uložte soubor přihlašovacích údajů do Azure Databricks a pak ho použijte k ověření u zprostředkovatele dat a čtení sdílených dat.

Note

Tyto pokyny předpokládají, že pro katalog Unity není povolený váš pracovní prostor Azure Databricks. Pokud používáte katalog Unity, nemusíte při čtení ze sdílené složky odkazovat na soubor přihlašovacích údajů. Ze sdílených tabulek můžete číst stejně jako v libovolné tabulce zaregistrované v katalogu Unity. Databricks doporučuje místo pokynů uvedených zde použít uživatelské rozhraní zprostředkovatele importu v Průzkumníku katalogu.

Nejprve uložte soubor přihlašovacích údajů jako soubor pracovního prostoru Azure Databricks, aby uživatelé ve vašem týmu mohli přistupovat ke sdíleným datům.

  1. Pokud chcete importovat soubor přihlašovacích údajů v pracovním prostoru Azure Databricks, přečtěte si téma Import souboru.
  2. Dalším uživatelům můžete udělit oprávnění pro přístup k souboru kliknutím na ikonu nabídky Kebab. Vedle souboru a potom na Sdílet (Oprávnění). Zadejte identity Azure Databricks, které by měly mít k souboru přístup. Další informace o oprávněních k souborům najdete v tématu Seznamy ACL souborů.

Teď, když je soubor přihlašovacích údajů uložený, vytvořte poznámkový blok pro výpis a čtení sdílených tabulek.

  1. V pracovním prostoru Azure Databricks klikněte na Nový > poznámkový blok. Další informace o Azure Databricks noteboocích najdete v Databricks notebooks.

  2. delta-sharing Nainstalujte konektor a použijte Python nebo pandasApache Spark k výpisu a čtení sdílených tabulek. Jako cestu k profilu použijte cestu v pracovním prostoru k souboru s přihlašovacími údaji (například /Workspace/Users/user.name@email.com/config.share). Příklady kódu najdete v tématu Pandas: Čtení sdílených dat a Apache Spark: Čtení sdílených dat.

  3. Kromě příkazů Python a Apache Sparku můžete dotazovat sdílená data pomocí SQL. Vytvořte v pracovním prostoru místní tabulku ze sdílené tabulky a pak se dotazujte na místní tabulku. Sdílená data nejsou uložena ani v mezipaměti v místní tabulce. Pokaždé, když se dotazujete na místní tabulku, uvidíte aktuální stav sdílených dat.

    Proměnné nahraďte následujícím způsobem:

    • <local-table-name>: název místní tabulky.
    • <profile-path>: umístění souboru přihlašovacích údajů.
    • <share-name>: hodnota share= pro tabulku.
    • <schema-name>: hodnota schema= pro tabulku.
    • <table-name>: hodnota name= pro tabulku.
    %sql
DROP TABLE IF EXISTS <local-table-name>;

CREATE TABLE <local-table-name> USING deltaSharing LOCATION "<profile-path>#<share-name>.<schema-name>.<table-name>";

SELECT * FROM <local-table-name> LIMIT 10;

  4. Při spuštění příkazu se sdílená data dotazují přímo. Jako test se na tabulku dotazuje a vrátí se prvních 10 výsledků.

  5. Pokud je výstup prázdný nebo neobsahuje očekávaná data, obraťte se na poskytovatele dat.

Platí omezení konektoru OpenSharing Python. Viz omezení konektoru OpenSharing Python.

Limitations

Sdílení Open-to-Databricks je založené na protokolu OpenSharing. Následující podpora platí pro import otevřeného zprostředkovatele do Azure Databricks:

  • Pouze tabulky Delta, které podporují protokol Delta Sharing. Tabulky pouze typu Iceberg nejsou podporovány.
  • Podporuje se jak předem podepsaná adresa URL, tak přístup ke cloudovému tokenu (na základě adresáře ). Azure Databricks dává přednost přístupu ke cloudovým tokenům, když ho poskytovatel zpřístupní.
  • Podporují se pouze následující schémata úložiště cloudových tokenů: s3, s3a, s3n, abfss, wasbs, gsa r2.

Pokud chcete číst data, která nejsou delta, jako je Iceberg, CSV, Parquet nebo JSON z externího zdroje, použijte místo toho Lakehouse Federation. Viz Připojení k externím databázím a katalogům.

  • Last updated on