Kurz: Konfigurácia zrkadlových databáz Microsoft Fabric zo služby Azure Databricks

Zrkadlenie databázy v Microsoft Fabric je podniková cloudová technológia SaaS s nulovým ETL. Táto príručka vám pomôže vytvoriť zrkadlenú databázu zo služby Azure Databricks, ktorá vytvorí nepretržite replikovanú kópiu údajov Azure Databricks iba na čítanie v službe OneLake.

Požiadavky

• Pracovný priestor služby Fabric.
• Povoľte prístup k externým dátam na metastore. Ďalšie informácie nájdete v téme Povolenie prístupu k externým údajom v metastore.
• Vytvorte alebo použite existujúci pracovný priestor Azure Databricks s povoleným katalógom Unity.
• Majte privilégium EXTERNAL USE SCHEMA na schéme v Unity Catalog, ktorá obsahuje tabuľky, ku ktorým Fabric prístup.
• Pomocou modelu povolení služby Fabric môžete nastaviť riadenie prístupu pre katalógy, schémy a tabuľky v službe Fabric.

Vytvorenie zrkadlenej databázy zo služby Azure Databricks

Ak chcete vytvoriť novú zrkadlenú databázu z katalógu Azure Databricks Unity, postupujte podľa týchto krokov.

1. Choďte do svojho pracovného priestoru v Fabric.

2. Vyberte Nový predmet>Zrkadlené Azure Databricks katalógu.

   

3. Vyberte existujúce pripojenie, ak ho máte nastavené, alebo vytvorte nové pripojenie.

   Ak chcete vytvoriť pripojenie, musíte byť používateľom alebo správcom pracovného priestoru Azure Databricks. Môžete sa autentifikovať do svojho Azure Databricks pracovného priestoru pomocou autentifikácie Organizačný účet alebo Service principal autentifikácie.

   Poznámka

   Voľba autentifikácie, ktorú tu urobíte, sa vzťahuje na autentifikáciu Databricks a autorizáciu Unity Catalog. Ak potrebujete pristupovať k Azure Data Lake Storage (ADLS) Gen2 účtom za firewallom, postupujte podľa krokov na Povoliť sieťový bezpečnostný prístup pre váš Azure Data Lake Storage Gen2 účet neskôr v tomto článku. Keď je ADLS Gen2 za firewallom, je potrebná identita Fabric Workspace pre prístup k úložnému firewallu, bez ohľadu na zvolenú autentifikovanú metódu pre pripojenie Databricks.

4. Po pripojení k pracovnému priestoru Azure Databricks na stránke Vyberte tabuľky z katalógu Databricks vyberte katalóg, schémy a tabuľky, ktoré chcete pridať a k ktorým chcete pristupovať z Fabric pomocou zoznamu zahrnutia alebo vylúčenia. Vyberte katalóg a súvisiace schémy a tabuľky, ktoré chcete pridať do pracovného priestoru služby Fabric.

   Vidíte len katalógy, schémy a tabuľky, ku ktorým máte prístup. Pre viac informácií pozri Unity Catalog privileges and sesecureable objects.

   Predvolene je možnosť Automaticky synchronizovať budúce zmeny katalógu pre vybranú schému zapnutá. Pre viac informácií pozri Mirroring Azure Databricks > Metadata sync.

5. Na pokračovanie zvoľte možnosť Ďalej.

6. Na stránke Skontrolovať a vytvoriť si prezrite detaily a voliteľne zmeňte názov zrkadlovej položky databázy, ktorá musí byť jedinečná vo vašom pracovnom priestore. V predvolenom nastavení je názov zrkadleného predmetu názvom katalógu.

7. Vyberte Vytvoriť pre pokračovanie.

8. Vytvorí sa položka katalógu Databricks a pre každú tabuľku sa vytvorí aj príslušná skratka typu Databricks.

   Schémy, ktoré nemajú žiadne tabuľky, sa nezobrazujú.

9. Ukážku údajov môžete zobraziť aj pri prístupe k odkazu výberom koncového bodu analýzy SQL. Otvorte položku koncového bodu analýzy SQL a spustite stránku Prieskumník a editor dotazov. Svoje zrkadlené Azure Databricks tabuľky môžete dotazovať pomocou T-SQL v SQL editore.

Vytvorenie odkazov na Lakehouse k položke katalógu Databricks

Môžete tiež vytvoriť odkazy z vášho Lakehouse k položke katalógu Databricks, aby ste mohli používať údaje Lakehouse a používať poznámkové bloky Spark.

1. Najprv vytvorte chatu pri jazere. Ak už v tomto pracovnom priestore máte dom pri jazere, môžete použiť existujúci dom pri jazere.
   1. Vyberte svoj pracovný priestor v navigačnej ponuke.
   2. Vyberte + Nový>dom pri jazere.
   3. Do poľa Názov zadajte názov svojho domu pri jazere a vyberte položku Vytvoriť.
2. V zobrazení Prieskumník vášho jazerného domu v ponuke Získať údaje v jazernom dome v časti Načítať údaje v jazernom dome vyberte tlačidlo odkazu Nový
3. Vyberte položku Microsoft OneLake. Vyberte katalóg. Toto je údajová položka, ktorú ste vytvorili v predchádzajúcich krokoch. Potom vyberte položku Ďalej.
4. Vyberte tabuľky v rámci schémy a vyberte položku Ďalej.
5. Vyberte položku Vytvoriť.
6. Skratky sú teraz k dispozícii vo vašom Lakehouse, ktoré môžete použiť s ostatnými údajmi Lakehouse. Poznámkové bloky a Spark môžete použiť aj na spracovanie údajov pre tieto katalógové tabuľky, ktoré ste pridali z pracovného priestoru Azure Databricks.

Vytvorenie sémantického modelu

Môžete vytvoriť Power BI sémantický model založený na zrkadlenom predmete a manuálne pridávať alebo odstraňovať tabuľky. Ďalšie informácie o vytváraní a spravovaní sémantických modelov nájdete v téme Vytvorenie sémantického modelu služby Power BI.

Pre najlepší zážitok použite prehliadač Microsoft Edge na úlohy sémantického modelovania.

Spravovanie vzťahov sémantického modelu

Keď vytvoríte nový sémantický model založený na zrkadlenej databáze, nastavte vzťahy medzi tabuľkami.

1. Vyberte položku Rozloženia modelu z Prieskumníka vo svojom pracovnom priestore.
2. Keď vyberiete rozloženie modelu, zobrazí sa vám grafika tabuliek, ktoré sú súčasťou sémantického modelu.
3. Ak chcete vytvoriť vzťahy medzi tabuľkami, presuňte názov stĺpca z jednej tabuľky do iného názvu stĺpca inej tabuľky. Zobrazí sa vyskakovacie okno, ktoré identifikuje vzťah a kardinálnosť pre tabuľky.

Povolenie prístupu k zabezpečeniu siete pre konto Azure Data Lake Storage Gen2

Nakonfigurujte sieťovú bezpečnosť pre svoj Azure Data Lake Storage (ADLS) Gen2 účet, keď máte nastavený Azure Storage firewall. Táto časť sa vzťahuje na ADLS Gen2 úložiská za Azure Storage firewallom. Úložisko pracovného priestoru Azure Databricks za firewallom Azure Storage nie je podporované.

Požiadavky

• Keď firewall Azure Storage chráni ADLS Gen2, Fabric používa Workspace Identity na prístup k firewallu. Aj keď vyberiete Service principal pre ADLS autentifikáciu v záložke Network Security, musíte povoliť Workspace Identity v Azure Storage account firewalle.

  • Workspace Identity sa používa na prístup k úložnému firewallu. Na autentifikáciu Databricks a autorizáciu Unity Catalog sa používa servisný princíp alebo OAuth.

  • Na povolenie typu autentifikácie identity pracovného priestoru (odporúčané) priradíte pracovný priestor Fabric s kapacitou F. Ak chcete vytvoriť identitu pracovného priestoru, pozrite si tému Overenie pomocou identity pracovného priestoru.

• Katalóg môžete priradiť len k jednému úložnému účtu.

Povolenie prístupu k zabezpečeniu siete

1. Pri vytváraní nového zrkadlového katalógu Azure Databricks vyberte v kroku Vybrať údaje kartu Zabezpečenie siete .

   

2. Vyberte existujúce pripojenie ku kontu úložiska, ak ho máte nakonfigurované. 

   • Ak nemáte existujúce pripojenie ADLS, vytvorte nové pripojenie.  
   • URL adresa koncového bodu úložiska je miesto, kde sú uložené údaje vybratého katalógu. Koncovým bodom by mal byť konkrétny priečinok, v ktorom sú údaje uložené, a nie špecifikovať koncový bod, ktorý má byť na úrovni konta úložiska. Napríklad poskytnite https://<storage account>.dfs.core.windows.net/container1/folder1 namiesto https://<storage account>.dfs.core.windows.net/.
   • Zadajte poverenia pripojenia. Podporované typy overovania sú Konto organizácie, Objekt služby a Identita pracovného priestoru (odporúča sa).

   Poznámka

   Keď je ADLS Gen2 chránený firewallom Azure Storage, Fabric používa Workspace Identity na prechod firewallom bez ohľadu na zvolený typ autentifikácie. Typ autentifikácie (Service principal alebo Organizačný účet) riadi autentifikáciu Databricks a autorizáciu Unity Catalog, zatiaľ čo Workspace Identity riadi dôveryhodný prístup cez úložný firewall. Workspace Identity musí byť povolená v firewalle Azure Storage účtu, aj keď zvolíte iný typ autentifikácie pre ADLS pripojenie.

3. Na portáli Azure zadajte prístupové práva ku kontu úložiska na základe typu overenia, ktorý ste vybrali v predchádzajúcom kroku. Prejdite do konta úložiska na portáli Azure. Vyberte položku Riadenie prístupu (IAM). Vyberte položku +Pridať a pridať priradenie roly. Ďalšie informácie nájdete v téme Priradenie rolí Azure pomocou portálu Azure.

   Priraďte rolu na základe rozsahu spojenia:

   • Úložný účet: Zvolená autentifikačná identita vyžaduje rolu Storage Blob Data Reader na úložnom účte.
   • Kontajner: Zvolená autentifikačná identita potrebuje rolu Storage Blob Data Reader na kontajneri.
   • Priečinok v kontajneri (odporúčané): Zvolená autentifikačná identita vyžaduje oprávnenia Read (R) a Execute (E) na úrovni priečinka. Ak používate Service Principal alebo Workspace Identity ako typ autentifikacie, dajte tej identite tiež oprávnenia Execute na koreňovom priečinku kontajnera a na každý priečinok v hierarchii vedúcej k danému priečinku.

   Ďalšie informácie a kroky na udelenie prístupu ADLS nájdete v téme Riadenie prístupu ADLS.

4. Povolte Trusted Workspace Access nastavením pravidla inštancie zdrojov pre váš Fabric workspace na úložnom účte. Podrobné kroky nájdete v Trusted workspace access a Secure Fabric mirrored databases from Azure Databricks.

Po nadviazaní spojenia sa vytvorí skratka do tabuliek Unity Catalog pre tabuľky, ktorých názov úložného účtu zodpovedá úložnému účtu špecifikovanému v ADLS pripojení. Skratky sa nevytvárajú pre tabuľky, ktorých názov úložného účtu nesedí.

Dôležité

Ak plánujete používať ADLS pripojenie mimo scenárov Mirrored Azure Databricks katalógových položiek, musíte tiež priradiť rolu Storage Blob Delegator na úložnom účte.

Tip

Ak dostanete chybu autorizácie 403 pri používaní Service Principal pre autentifikáciu Databricks s firewallom chráneným ADLS Gen2 účtom, overte, či je identita pracovného priestoru povolená v firewalle Azure Storage účtu. Aj keď je na autentifikáciu vybraný Service Principal, Fabric používa Workspace Identity na prechod úložným firewallom.

Povolenie zabezpečenia OneLake v položke Mirrored Databricks

Priraďte politiky katalógu Unity (UC) k zabezpečeniu Microsoft OneLake podľa týchto krokov:

1. Synchronizujte skupinu Entra a použite povolenia v katalógu Unity. V Azure Databricks použite Automatickú správu identity na synchronizáciu skupiny Microsoft Entra ID a udelenie jej potrebných Unity katalógových práv (POUŽIŤ, PREHĽADÁVAŤ a VYBERAŤ) na príslušnom katalógu a tabuľkách.
2. Priraďte rolu OneLake Data Access. V pracovnom priestore Fabric vytvorte rolu prístupu k údajom pre novo zrkadlené údaje. Pridajte rovnakú skupinu Entra do tejto roly a udeľte jej prístup na čítanie skratiek OneLake zodpovedajúcich tabuľkám Azure Databricks. Ak chcete začať so zabezpečením na úrovni stola, vyberte tlačidlo Spravovať bezpečnosť OneLake v páse. Uistite sa, že konfigurácie prístupu sú synchronizované podľa vývoja štruktúr katalógu a povolení. Ďalšie informácie nájdete v téme Model riadenia prístupu k údajom OneLake (Preview).

Súvisiaci obsah

• Zrkadlené databázy Secure Fabric zo služby Azure Databricks
• Blog: Zabezpečenie zrkadlených údajov Azure Databricks v službe Fabric so zabezpečením OneLake
• Obmedzenia v zrkadlených databázach Microsoft Fabric zo služby Azure Databricks
• Najčastejšie otázky týkajúce sa zrkadlených databáz zo služby Azure Databricks v službe Microsoft Fabric
• Zrkadlenie katalógu Azure Databricks Unity
• Riadenie externého prístupu k údajom v katalógu Unity