Opetusohjelma: Microsoft Fabric -peilattujen tietokantojen määrittäminen Azure Databricksistä

Tietokannan peilaus Microsoft Fabricissa on yritys, pilvipohjainen, nolla-ETL, SaaS-tekniikka. Tämän oppaan avulla voit luoda peilatun tietokannan Azure Databricksistä, joka luo vain luku -muotoisen, jatkuvasti replikoidun kopion Azure Databricks -tiedoistasi OneLakessa.

Prerequisites

• Fabric-työtila.
• Ota ulkoinen datan käyttö käyttöön metastoressa. Lisätietoja on kohdassa Ulkoisten tietojen käytön ottaminen käyttöön metasäilössä.
• Luo tai käytä aiemmin luotua Azure Databricks -työtilaa, jossa Unity Catalog on käytössä.
• Sinulla on EXTERNAL USE SCHEMA -oikeus Unity Catalogin skeemaan, joka sisältää Fabric käyttämät taulukot.
• Fabricin käyttöoikeusmallin avulla voit määrittää luetteloiden, rakenteiden ja taulukoiden käyttöoikeuksien hallintaa Fabricissa.

Peilatun tietokannan luominen Azure Databricksistä

Luo uusi peilattu tietokanta Azure Databricks Unity -luettelosta seuraavasti.

1. Mene työtilaasi Fabric.

2. Valitse New item>Mirrored Azure Databricks catalog.

   

3. Valitse olemassa oleva yhteys, jos sinulla on sellainen konfiguroituna, tai luo uusi yhteys.

   Jos haluat luoda yhteyden, sinun on oltava joko Azure Databricks -työtilan käyttäjä tai järjestelmänvalvoja. Voit todentaa Azure Databricks työtilasi käyttämällä Organizational account tai Service principal autentikointia.

   Note

   Tässä tekemäsi todennusvalinta koskee Databricksin tunnistautumista ja Unity Catalogin valtuutusta. Jos sinun täytyy päästä käsiksi Azure Data Lake Storage (ADLS) Gen2-tileihin palomuurin takana, seuraa myöhemmin tässä artikkelissa ohjeita Ota käyttöön verkkoturvallisuus Azure Data Lake Storage Gen2-tilillesi. Kun ADLS Gen2 on palomuurin takana, tallennuspalomuuriin vaaditaan Fabric Workspace Identity riippumatta Databricks-yhteyden tunnistautumismenetelmästä.

4. Kun olet yhdistänyt Azure Databricks-työtilaan, valitse Valitse taulut Databricksin katalogista-sivulta, valitse luettelo, skeemat ja taulukot, jotka haluat lisätä ja Fabric käyttäen sisällytys- tai poissulkemislistaa. Valitse luettelo ja siihen liittyvät rakenteet ja taulukot, jotka haluat lisätä Fabric-työtilaan.

   Näet vain ne katalogit, skeemat ja taulukot, joihin sinulla on pääsy. Lisätietoja löytyy Unity-luettelon oikeuksista ja turvattavista kohteista.

   Oletuksena Automaattisesti synkronoi tulevat katalogimuutokset valitulle skeemalle on käytössä. Lisätietoja löytyy osoitteesta Mirroring Azure Databricks > Metadata sync.

5. Jatka valitsemalla Seuraava .

6. Tarkista ja luo -sivulla tarkista yksityiskohdat ja halutessasi vaihda peilatun tietokantakohteen nimi, jonka on oltava ainutlaatuinen työtilassasi. Oletuksena peilatun kohteen nimi on katalogin nimi.

7. Jatka valitsemalla Luo .

8. Databricks-luettelokohde luodaan, ja kullekin taulukolle luodaan myös vastaava Databricks-tyyppinen pikakuvake.

   Malleja, joissa ei ole taulukoita, ei näytetä.

9. Voit myös nähdä tietojen esikatselun, kun käytät pikakomentoa valitsemalla SQL-analytiikan päätepisteen. Avaa SQL-analytiikan päätepistekohde käynnistääksesi Resurssienhallinnan ja kyselyeditorin sivun. Voit hakea peilattuja Azure Databricks -taulukoita käyttämällä T-SQL:ää SQL Editorissa.

Lakehouse-pikakuvakkeiden luominen Databricks-luettelokohteeseen

Voit myös luoda pikakuvakkeita Lakehousesta Databricks-luettelokohteeseen, jotta voit käyttää Lakehouse-tietojasi ja käyttää Spark-muistikirjoja.

1. Ensiksi luo järvitalo. Jos sinulla on jo lakehouse tässä työtilassa, voit käyttää olemassa olevaa lakehousea.
   1. Valitse työtilasi navigointivalikosta.
   2. Valitse + Uusi>Lakehouse.
   3. Anna lakehouselle nimi Nimi-kenttään ja valitse Luo.
2. Valitse lakehousen Resurssienhallinta-näkymänHae tiedot lakehousesta -valikon Lataa tiedot lakehouseen -kohdasta Uusi pikanäppäin .
3. Valitse Microsoft OneLake. Valitse luettelo. Tämä on tietokohde, jonka loit edellisissä vaiheissa. Valitse sitten Seuraava.
4. Valitse kaavion taulukot ja valitse Seuraava.
5. Valitse Luo.
6. Pikakuvakkeet ovat nyt käytettävissä Lakehousessasi, jota voit käyttää muiden Lakehouse-tietojesi kanssa. Muistikirjojen ja Sparkin avulla voit myös suorittaa tietojen käsittelyn näiden luettelotaulukoiden tiedoille, jotka olet lisännyt Azure Databricks -työtilasta.

Luo semanttinen malli

Voit luoda Power BI:n semanttisen mallin peilatun kohteesi perusteella ja lisätä tai poistaa taulukoita manuaalisesti. Lisätietoja semanttisten mallien luomisesta ja hallinnasta on artikkelissa Power BI:n semanttisen mallin luominen.

Parhaan käyttökokemuksen saamiseksi käytä Microsoft Edge -selainta semanttisiin mallinnustehtäviin.

Semanttisten mallien suhteiden hallinta

Kun olet luonut uuden semanttisen mallin peilatun tietokannan pohjalta, konfiguroi taulujen väliset suhteet.

1. Valitse Mallin asettelut työtilan Resurssienhallinnasta .
2. Kun valitset malliasettelun, sinulle näytetään kaavio taulukoista, jotka sisältyvät semanttiseen malliin.
3. Jos haluat luoda yhteyksiä taulukoiden välille, vedä sarakkeen nimi taulukosta toisen taulukon toiseen sarakkeen nimeen. Ilmestyy ponnahdusikkuna, joka tunnistaa taulukoiden suhteen ja kardinaaliteetin.

Ota verkon suojauksen käyttö käyttöön Azure Data Lake Storage Gen2 -tililläsi

Konfiguroi verkkoturvallisuus Azure Data Lake Storage (ADLS) Gen2-tilillesi, kun sinulla on Azure-tallennus palomuuri konfiguroituna. Tämä osio koskee ADLS Gen2 -tallennustilejä Azure-tallennus -palomuurin takana. Azure Databricks workspace -tallennus Azure-tallennus -palomuurin takana ei ole tuettu.

Prerequisites

• Kun Azure-tallennus -palomuuri suojaa ADLS Gen2:ta, Fabric käyttää Workspace Identityä päästäkseen palomuuriin. Vaikka valitsisit Service principal ADLS-todennukseen Network Security -välilehdellä, sinun täytyy sallia Workspace Identity Azure-tallennus-tilin palomuurissa.

  • Workspace Identityä käytetään tallennuspalomuurien käyttöön. Palvelupäätä eli OAuthia käytetään Databricksin todennukseen ja Unity Catalogin valtuutukseen.

  • Työtilan identiteetin tunnistautumisen (suositeltava) ottamiseksi käyttöön liitä Fabric-työtila F-kapasiteetilla. Jos haluat luoda työtilan käyttäjätiedot, katso Todentaminen työtilan käyttäjätiedoilla.

• Voit liittää luettelon vain yhteen tallennustiliin.

Ota verkon suojauksen käyttö käyttöön

1. Kun luot uuden peilatun Azure Databricks -luettelon, valitse Valitse tiedot -vaiheessa Verkon suojaus -välilehti.

   

2. Valitse aiemmin luotu yhteys tallennustiliin, jos sellainen on määritetty. 

   • Jos sinulla ei ole aiemmin luotua ADLS-yhteyttä, luo Uusi yhteys.  
   • Tallennuksen päätepisteen URL-osoite on paikka, johon valitun luettelon tiedot tallennetaan. Päätepisteen tulee olla tietty kansio, johon tiedot on tallennettu, sen sijaan, että määritettäisiin päätepiste tallennustilitasolla. Anna esimerkiksi https://<storage account>.dfs.core.windows.net/container1/folder1 mieluummin kuin https://<storage account>.dfs.core.windows.net/.
   • Anna yhteyden tunnistetiedot. Tuetut todennustyypit ovat organisaatiotili, palvelun päänimi ja työtilan käyttäjätiedot (suositus).

   Note

   Kun ADLS Gen2 on suojattu Azure-tallennus -palomuurilla, Fabric käyttää Workspace Identityä kulkeakseen palomuurin läpi riippumatta valitusta tunnistautumistyypistä. Todennustyyppi (Service principal tai organisaatiotili) ohjaa Databricksin todennuksia ja Unity Catalogin valtuuksia, kun taas Workspace Identity ohjaa luotettua pääsyä tallennuspalomuurin kautta. Workspace Identity on sallittava Azure-tallennus -tilin palomuurissa, vaikka valitsisit ADLS-yhteydelle eri todennustyypin.

3. Anna Azure-portaalissa tallennustilin käyttöoikeudet edellisessä vaiheessa valitsemasi todennustyypin perusteella. Siirry tallennustiliin Azure-portaalissa. Valitse Kulunvalvonta (IAM). Valitse +Lisää ja Lisää roolimääritys. Lisätietoja on artikkelissa Azure-roolien määrittäminen Azure-portaalin avulla.

   Määritä rooli yhteyden laajuuden perusteella:

   • Tallennustili: Valittu todennusidentiteetti tarvitsee tallennustilin Storage Blob Data Reader -roolin.
   • Kontti: Valittu autentikointi-identiteetti tarvitsee Storage Blob Data Reader -roolin kontissa.
   • Kansio kontin sisällä (suositeltava): Valittu autentikointi-identiteetti tarvitsee lukuoikeudet (R) ja Suoritus (E) kansiotasolla. Jos käytät Service Principalia tai Workspace Identiteettiä autentikointityyppinä, anna tälle identiteille myös Execute-oikeudet kontin juurikansioon ja jokaiselle hierarkian kansiolle, joka johtaa valittuun kansioon.

   Lisätietoja ja ohjeita ADLS-käyttöoikeuksien myöntämiseen on kohdassa ADLS-käyttöoikeuksien hallinta.

4. Ota Trusted Workspace Access käyttöön konfiguroimalla resurssiinstanssisääntö Fabric-työtilallesi tallennustilillä. Yksityiskohtaisia vaiheita varten katso Trusted workspace access ja Secure Fabric peilattuja tietokantoja Azure Databricks:sta.

Kun yhteys on muodostettu, luodaan pikakuvake Unity Catalog -tauluihin niille tauluille, joiden tallennustilin nimi vastaa ADLS-yhteydessä määriteltyä tallennustiliä. Oikoteitä ei luoda tauluille, joiden tallennustilin nimi ei täsmää.

Tärkeää

Jos aiot käyttää ADLS-yhteyttä Peilatun Azure Databricks katalogikohteen ulkopuolella, sinun täytyy myös määrittää Storage Blob Delegator -rooli tallennustilille.

Vinkki

Jos saat 403-valtuutusvirheen käyttäessäsi Service Principal for Databricks -todennusta palomuurisuojatulla ADLS Gen2 -tilillä, varmista, että Workspace Identity on sallittu Azure-tallennus -tilin palomuurissa. Vaikka Service Principal valittaisiin autentikointia varten, Fabric käyttää Workspace Identityä kulkeakseen tallennuspalomuurin läpi.

OneLake-suojauksen ottaminen käyttöön peilatussa Databricks-kohteessa

Yhdistä Unity Catalog (UC) -käytännöt Microsoft OneLake -suojaukseen seuraavasti:

1. Synkronoi Entra-ryhmä ja käytä käyttöoikeuksia Unity Catalogissa. Azure Databricks -ohjelmassa käytä Automatic Identity Management -toimintoa synkronoidaksesi Microsoft Entra ID -ryhmän ja antaaksesi sille tarvittavat Unity Catalog -oikeudet (USE, BROW ja SELECT) asianmukaisissa luetteloissa ja tauluissa.
2. Määritä OneLake-tietojen käyttöoikeusrooli. Luo Kangas-työtilassa tietojen käyttöoikeusrooli juuri peilatuille tiedoille. Lisää sama Entra-ryhmä tähän rooliin ja myönnä sille lukuoikeus Azure Databricks -taulukoita vastaaviin OneLake-pikakuvakkeisiin. Aloittaaksesi taulukkotason turvallisuudesta, valitse nauhasta Manage OneLake -turvallisuuspainike . Varmista, että pidät käyttöoikeusmääritykset synkronoituina luettelorakenteiden ja käyttöoikeuksien kehittyessä. Lisätietoja on OneLake-tietojen käyttöoikeuksien hallintamallissa (esikatselu).

Liittyvä sisältö

• Secure Fabric peilatut tietokannat Azure Databricksistä
• Blogi: Peilattujen Azure Databricks -tietojen suojaaminen Fabricissa OneLake-suojauksella
• Microsoft Fabric -peilattujen tietokantojen rajoitukset Azure Databricksistä
• Usein kysyttyjä kysymyksiä peilatuista tietokannoista Azure Databricksistä Microsoft Fabricissa
• Azure Databricks Unity -luettelon peilaus
• Hallitse Unity Catalogin tietojen ulkoista käyttöä