Kurz: Konfigurace zrcadlených databází Microsoft Fabric z Azure Databricks

Zrcadlení databáze v Microsoft Fabric je podniková cloudová technologie SaaS, která je založená na nule ETL. Tato příručka vám pomůže vytvořit zrcadlenou databázi z Azure Databricks, která vytvoří nepřetržitě replikovanou kopii dat Azure Databricks jen pro čtení ve OneLake.

Požadavky

  • Pracovní prostor Fabric.
  • Povolte externí přístup k datům v metastoru. Další informace najdete v tématu Povolení přístupu k externím datům v metastoru.
  • Vytvořte nebo použijte existující pracovní prostor Azure Databricks s aktivovaným katalogem Unity.
  • Mějte oprávnění EXTERNAL USE SCHEMA ke schématu v katalogu Unity Catalog, které obsahuje tabulky, ke kterým Fabric přistupuje.
  • Pomocí modelu oprávnění Fabric můžete nastavit řízení přístupu pro katalogy, schémata a tabulky v systému Fabric.

Vytvoření zrcadlené databáze z Azure Databricks

Pomocí těchto kroků vytvořte novou zrcadlenou databázi z katalogu Azure Databricks Unity.

  1. Přejděte do pracovního prostoru v Fabric.

  2. Vyberte Nová položka>Zrcadlený katalog Azure Databricks.

    Snímek obrazovky z portálu Fabric nové položky se zrcadlenou položkou Azure Databricks

  3. Vyberte existující připojení, pokud jste ho nakonfigurovali, nebo vytvořte nové připojení.

    Pokud chcete vytvořit připojení, musíte být buď uživatel, nebo správce pracovního prostoru Azure Databricks. K ověření do pracovního prostoru služby Azure Databricks můžete použít ověřování pomocí pracovního nebo školního účtu nebo instančního objektu služby.

    Note

    Volba ověřování, kterou tady provedete, se vztahuje na ověřování Databricks a autorizaci katalogu Unity. Potřebujete-li přistupovat k účtům Azure Data Lake Storage (ADLS) Gen2 za firewallem, postupujte podle kroků v části Povolení přístupu přes zabezpečení sítě pro váš účet Azure Data Lake Storage Gen2 dále v tomto článku. Pokud je ADLS Gen2 za bránou firewall, je pro přístup k úložišti přes bránu firewall vyžadována identita pracovního prostoru Fabric bez ohledu na metodu ověřování zvolenou pro připojení k Databricks.

  4. Po připojení k pracovnímu prostoru Azure Databricks na stránce Zvolit tabulky z katalogu Databricks vyberte katalog, schémata a tabulky, které chcete přidat a ke kterým chcete přistupovat z Fabric pomocí seznamu zahrnutí nebo vyloučení. Vyberte katalog a související schémata a tabulky, které chcete přidat do pracovního prostoru Fabric.

    Můžete zobrazit pouze katalogy, schémata a tabulky, ke kterým máte přístup. Další informace najdete v tématu Oprávnění katalogu Unity a zabezpečitelné objekty.

    Ve výchozím nastavení je povolená možnost Automaticky synchronizovat budoucí změny katalogu vybraného schématu . Další informace najdete v tématu Mirroring Azure Databricks > Synchronizace metadat.

  5. Pokračujte výběrem tlačítka Další.

  6. Na stránce Zkontrolovat a vytvořit zkontrolujte podrobnosti a volitelně změňte název zrcadlené položky databáze, který musí být v pracovním prostoru jedinečný. Ve výchozím nastavení je název zrcadlené položky názvem katalogu.

  7. Pokračujte výběrem možnosti Vytvořit.

  8. Vytvoří se položka katalogu Databricks a pro každou tabulku se také vytvoří odpovídající zkratka typu Databricks.

    Schémata, která nemají žádné tabulky, se nezobrazují.

  9. Náhled dat můžete zobrazit také při přístupu ke zástupce výběrem koncového bodu analýzy SQL. Otevřete položku koncového bodu analýzy SQL a spusťte stránku Průzkumníka a editoru dotazů. Zrcadlené tabulky Azure Databricks můžete dotazovat pomocí jazyka T-SQL v editoru SQL.

Vytvořte zástupce Lakehouse pro položku katalogu Databricks

Můžete také vytvořit zástupce ze služby Lakehouse k položce katalogu Databricks, abyste mohli nejprve používat data z Lakehouse a poté použít poznámkové bloky Spark.

  1. Nejprve vytvořte jezerní dům. Pokud už v tomto pracovním prostoru máte jezerní dům, můžete použít existující jezev.
    1. V navigační nabídce vyberte svůj pracovní prostor.
    2. Vyberte + New>Lakehouse.
    3. Do pole Název zadejte název jezera a vyberte Vytvořit.
  2. V zobrazení Průzkumníka lakehouse, v nabídce Získat data ve vašem lakehouse, v části Načíst data do lakehouse vyberte tlačítko Nová zkratka.
  3. Vyberte Microsoft OneLake. Vyberte katalog. Toto je datová položka, kterou jste vytvořili v předchozích krocích. Pak vyberte Další.
  4. Vyberte tabulky v rámci schématu a vyberte Další.
  5. Vyberte Vytvořit.
  6. Ve službě Lakehouse jsou teď k dispozici klávesové zkratky, které můžete použít s ostatními daty Lakehouse. Pomocí poznámkových bloků a Sparku můžete také provádět zpracování dat u těchto tabulek katalogu, které jste přidali z pracovního prostoru Azure Databricks.

Vytvoření sémantického modelu

Můžete vytvořit Power BI sémantický model založený na zrcadlené položce a ručně přidat nebo odebrat tabulky. Další informace o vytváření a správě sémantických modelů najdete v tématu Vytvoření sémantického modelu Power BI.

Nejlepších možností dosáhnete v prohlížeči Microsoft Edge pro sémantické úlohy modelování.

Správa sémantických relací modelu

Po vytvoření nového sémantického modelu založeného na zrcadlené databázi nakonfigurujte relace mezi tabulkami.

  1. V Průzkumníku v pracovním prostoru vyberte rozložení modelu.
  2. Jakmile vyberete Rozložení modelu, zobrazí se grafika tabulek, které jsou součástí sémantického modelu.
  3. Pokud chcete vytvořit relace mezi tabulkami, přetáhněte název sloupce z jedné tabulky do jiné tabulky. Zobrazí se automaticky otevírané okno, které identifikuje relaci a kardinalitu tabulek.

Povolení přístupu k zabezpečení sítě pro váš účet Azure Data Lake Storage Gen2

Pokud máte nakonfigurovanou bránu firewall služby Azure Storage, nakonfigurujte zabezpečení sítě pro svůj účet Azure Data Lake Storage (ADLS) Gen2. Tato část platí pro účty úložiště ADLS Gen2 chráněné firewallem služby Azure Storage. Úložiště pracovního prostoru Azure Databricks chráněné bránou firewall služby Azure Storage není podporováno.

Požadavky

  • Pokud brána firewall služby Azure Storage chrání ADLS Gen2, Fabric používá Workspace Identity pro přístup přes bránu firewall. I když na kartě Zabezpečení sítě vyberete pro ověřování ADLS možnost Instanční objekt služby, musíte ve firewallu účtu Azure Storage povolit identitu pracovního prostoru.

    • Identita pracovního prostoru se používá k přístupu k firewallu úložiště. Instanční objekt služby nebo OAuth se používá k ověřování pro Databricks a autorizaci pro katalog Unity.

    • Chcete-li povolit typ ověřování identity pracovního prostoru (doporučeno), přidružte pracovní prostor Fabric ke kapacitě F. Pokud chcete vytvořit identitu pracovního prostoru, přečtěte si téma Ověřování pomocí identity pracovního prostoru.

  • Katalog můžete přidružit jenom k jednomu účtu úložiště.

Povolení přístupu k zabezpečení sítě

  1. Při vytváření nového zrcadleného katalogu Azure Databricks vyberte v kroku Zvolit data kartu Zabezpečení sítě .

    Snímek obrazovky karty Zabezpečení sítě v Databricks.

  2. Vyberte existující připojení k účtu úložiště, pokud máte nějaké nakonfigurované. 

    • Pokud nemáte existující připojení ADLS, vytvořte nové připojení.  
    • Adresa URL koncového bodu úložiště je místo, kde jsou uložena data vybraného katalogu. Koncový bod by měl být konkrétní složkou, ve které jsou uložená data, a neměl by zadávat koncový bod, který má být na úrovni účtu úložiště. Zadejte například https://<storage account>.dfs.core.windows.net/container1/folder1 místo https://<storage account>.dfs.core.windows.net/.
    • Zadejte přihlašovací údaje pro připojení. Podporované typy ověřování jsou organizační účet, služební účet a identita pracovního prostoru (doporučeno).

    Note

    Pokud je služba ADLS Gen2 chráněná bránou firewall Azure Storage, Fabric používá identitu pracovního prostoru k procházení brány firewall bez ohledu na typ ověřování vybraný tady. Typ ověřování (instanční objekt služby nebo organizační účet) určuje ověřování Databricks a autorizaci Unity Catalog, zatímco Workspace Identity řídí důvěryhodný přístup přes bránu firewall úložiště. Identita pracovního prostoru musí být povolená v bráně firewall účtu Azure Storage i v případě, že pro připojení ADLS vyberete jiný typ ověřování.

  3. Na webu Azure Portal zadejte přístupová práva k účtu úložiště na základě typu ověřování, který jste vybrali v předchozím kroku. Na webu Azure Portal přejděte k účtu úložiště. Vyberte Řízení přístupu (IAM). Vyberte +Přidat a Přidat úlohu. Pro více informací se podívejte na Přiřazení rolí Azure prostřednictvím portálu Azure.

    Přiřaďte roli na základě rozsahu připojení:

    • Účet úložiště: Vybraná identita použitá k ověřování musí mít u účtu úložiště přiřazenou roli Čtenář dat objektů blob služby Storage.
    • Kontejner: Vybraná ověřovací identita musí mít na kontejneru roli Čtenář dat objektů blob služby Storage.
    • Složka v kontejneru (doporučeno): Vybraná identita ověřování vyžaduje oprávnění ke čtení (R) a provedení (E) na úrovni složky. Pokud jako typ ověřování používáte instanční objekt služby nebo identitu pracovního prostoru, udělte této identitě také oprávnění Execute pro kořenovou složku kontejneru a pro každou složku v hierarchii vedoucí k zadané složce.

    Další informace a postup udělení přístupu ADLS najdete v tématu Řízení přístupu ADLS.

  4. Povolte Trusted Workspace Access nakonfigurováním pravidla instance prostředku pro váš pracovní prostor Fabric v účtu úložiště. Podrobné pokyny najdete v článcích Trusted workspace access a Secure Fabric mirrored databases from Azure Databricks.

Po navázání připojení se vytvoří zástupce tabulek v katalogu Unity pro tabulky, jejichž název účtu úložiště odpovídá účtu úložiště zadanému v připojení ADLS. Pro tabulky, jejichž název účtu úložiště neodpovídá, se nevytvořili zástupci.

Důležité

Pokud plánujete použít připojení ADLS mimo scénáře položky katalogu Mirrored Azure Databricks, musíte také přiřadit roli Storage Blob Delegator na účtu úložiště.

Tip

Pokud se při použití instančního objektu služby k ověřování v Databricks s účtem ADLS Gen2 chráněným pomocí brány firewall zobrazí chyba autorizace 403, ověřte, že má Workspace Identity povolený přístup v bráně firewall účtu Azure Storage. I když je k ověřování vybraný instanční objekt služby, Fabric používá identitu pracovního prostoru k průchodu bránou firewall úložiště.

Povolte zabezpečení OneLake u položky Mirrored Databricks

Postupujte podle těchto kroků k namapování zásad katalogu Unity (UC) na zabezpečení Microsoft OneLake:

  1. Synchronizujte skupinu Entra a použijte oprávnění v katalogu Unity. V Azure Databricks použijte automatickou správu identit k synchronizaci skupiny Microsoft Entra ID a udělte jí potřebná oprávnění katalogu Unity (USE, BROWSE a SELECT) v příslušném katalogu a tabulkách.
  2. Přiřaďte roli přístupu k datům OneLake. V pracovním prostoru Fabric vytvořte roli přístupu k datům pro nově zrcadlená data. Přidejte do této role stejnou skupinu Entra a udělte jí přístup ke čtení zástupcům OneLake odpovídajícím tabulkám Azure Databricks. Chcete-li začít se zabezpečením na úrovni tabulek, vyberte na pásu karet tlačítko Spravovat zabezpečení OneLake. Ujistěte se, že se konfigurace přístupu synchronizují s tím, jak se vyvíjejí struktury a oprávnění katalogu. Další informace najdete v modelu řízení přístupu k datům OneLake (Preview).

Související obsah

  • Last updated on