Självstudie: Konfigurera Microsoft Fabric-spegling från Azure Databricks Unity Catalog

Spegeling i Microsoft Fabric är en företags-, molnbaserad SaaS-teknik utan ETL. Denna guide hjälper dig att etablera en spegel från Azure Databricks Unity Catalog, vilket skapar en skrivskyddad kopia av dina Azure Databricks-data i OneLake som replikeras kontinuerligt.

Förutsättningar

  • En Fabric-arbetsyta.
  • Aktivera extern dataåtkomst i metaarkivet. Mer information finns i Aktivera extern dataåtkomst i metaarkivet.
  • Skapa eller använda en befintlig Azure Databricks-arbetsyta med Unity Catalog aktiverat.
  • Ha privilegiet EXTERNAL USE SCHEMA på schemat och SELECT privilegiet på resurserna i Unity-katalogen som Fabric får tillgång till.
  • Använd Infrastrukturresursers behörighetsmodell för att ange åtkomstkontroller för kataloger, scheman och tabeller i Infrastrukturresurser.
  • Slå på extern dataåtkomst till materialiserade vyer och strömningstabeller
    • För att möjliggöra pipeline-konfiguration, följ riktlinjerna i Aktivera extern dataåtkomst till strömningstabeller och materialiserade vyer.
    • För att möjliggöra en enskild materialiserad vy eller streaming table, lägg till denna tabellegenskap: 
      TBLPROPERTIES ('pipelines.externalMetadata.enabled' = 'true')
    • Tillämpa ändringen genom att köra eller starta om pipelinen. För fristående materialiserade vyer och strömningstabeller, kör definitionen om med egenskapen.

Skapa en spegling från Azure Databricks Unity Catalog

Följ dessa steg för att skapa en ny spegel från din Azure Databricks Unity-katalog.

  1. Gå till arbetsytan i Fabric.

  2. Välj Nyt objekt>Mirrored Azure Databricks katalog.

    Skärmbild från Fabric-portalen för ett nytt speglat Azure Databricks-objekt.

  3. Välj en befintlig anslutning om du har en konfigurerad eller skapa en ny anslutning.

    Om du vill skapa en anslutning måste du vara antingen användare eller administratör för Azure Databricks-arbetsytan. Du kan autentisera till din Azure Databricks arbetsyta med hjälp av Organizational account eller Service principal authentication.

    Note

    Det autentiseringsalternativ som du gör här gäller för Databricks-autentisering och Unity Catalog-auktorisering. Om du behöver komma åt Azure Data Lake Storage (ADLS) Gen2-konton bakom en brandvägg följer du stegen för att Aktivera nätverkssäkerhetsåtkomst för ditt Azure Data Lake Storage Gen2-konto senare i den här artikeln. När ADLS Gen2 finns bakom en brandvägg krävs Fabric arbetsyteidentitet för åtkomst till lagringsbrandväggen, oavsett vilken autentiseringsmetod som valts för Databricks-anslutningen.

  4. Efter att du har anslutit till en Azure Databricks-arbetsyta väljer du på sidan Välj tabeller från en Databricks-katalog den katalog, de scheman och de tillgångar (tabeller, materialiserade vyer och strömningstabeller) som du vill lägga till och komma åt från Fabric genom att använda inkluderings- eller exkluderingslistan. Välj katalogen och dess relaterade scheman och tillgångar som du vill lägga till i din Fabric-arbetsyta.

    Du kan bara se de kataloger, scheman och tabeller som du har åtkomst till. Mer information finns i Behörigheter för Unity-katalog och skyddsbara objekt.

    Som standard aktiveras alternativet Synkronisera framtida katalogändringar automatiskt för det valda schemat . Mer information finns i Mirroring Azure Databricks > Metadata sync.

  5. Klicka på Nästa när du vill fortsätta.

  6. På sidan Granska och skapa, granska detaljerna och ändra eventuellt namnet på spegelobjektet, som måste vara unikt i din arbetsyta. Som standard är namnet på det speglade objektet namnet på katalogen.

  7. Välj Skapa för att fortsätta.

  8. Ett Databricks-katalogobjekt skapas och för varje tillgång skapas även en motsvarande Databricks-typgenväg.

    Scheman som inte har några tabeller visas inte.

  9. Du kan också se en förhandsgranskning av data när du kommer åt en genväg genom att välja SQL-analysslutpunkten. Öppna SQL Analytics-slutpunktsobjektet för att starta sidan Utforskaren och Frågeredigeraren. Du kan söka dina speglade Azure Databricks Unity Catalog-tabeller genom att använda T-SQL i SQL Editor.

Skapa Lakehouse-genvägar till Databricks-katalogobjektet

Du kan också skapa genvägar från ditt Lakehouse till ditt Databricks-katalogobjekt för att använda dina Lakehouse-data samt Spark Notebooks.

  1. Börja med att skapa ett sjöhus. Om du redan har ett sjöhus på den här arbetsytan kan du använda ett befintligt sjöhus.
    1. Välj din arbetsyta i navigeringsmenyn.
    2. Välj + New>Lakehouse.
    3. Ange ett namn på ditt lakehouse i fältet Namn och välj Skapa.
  2. I Explorer-vyn för ditt lakehouse går du till menyn Hämta data i lakehouse under Läs in data i ditt sjöhus och väljer knappen Ny genväg .
  3. Välj Microsoft OneLake. Välj en katalog. Denna katalog är dataobjektet som du skapade i de föregående stegen. Välj sedan Nästa.
  4. Välj tabeller i schemat och välj Nästa.
  5. Välj Skapa.
  6. Genvägar är nu tillgängliga i Lakehouse som du kan använda med dina andra Lakehouse-data. Du kan också använda Notebooks och Spark för att utföra databearbetning på data för de katalogtabeller som du har lagt till från Din Azure Databricks-arbetsyta.

Skapa en semantisk modell

Du kan skapa en Power BI semantisk modell baserat på ditt speglade objekt och lägga till eller ta bort tabeller manuellt. Mer information om hur du skapar och hanterar semantiska modeller finns i Skapa en Power BI-semantisk modell.

Använd Microsoft Edge webbläsare för semantiska modelleringsuppgifter för bästa möjliga upplevelse.

Hantera dina semantiska modellrelationer

Efter att du skapat en ny semantisk modell baserad på ditt speglade objekt, konfigurera relationerna mellan tabellerna.

  1. Välj Modelllayouter från Utforskaren på din arbetsyta.
  2. När du väljer Modellayouter ser du en grafik över tabellerna som ingår i den semantiska modellen.
  3. Om du vill skapa relationer mellan tabeller drar du ett kolumnnamn från en tabell till ett annat kolumnnamn för en annan tabell. Ett popup-fönster visas för att identifiera relationen och kardinaliteten för tabellerna.

Aktivera nätverkssäkerhetsåtkomst för ditt Azure Data Lake Storage Gen2-konto

Konfigurera nätverkssäkerhet för ditt Azure Data Lake Storage(ADLS) Gen2-konto när du har en Azure Storage brandvägg konfigurerad. Det här avsnittet gäller för ADLS Gen2-lagringskonton bakom en Azure Storage brandvägg. Azure Databricks arbetsytelagring bakom en Azure Storage brandvägg stöds inte.

Förutsättningar

  • När en brandvägg för Azure Storage skyddar ADLS Gen2 använder Fabric Workspace Identity för att komma åt brandväggen. Även om du väljer Service principal för ADLS-autentisering i fliken Network Security måste du tillåta arbetsyteidentiteten i Azure Storage kontobrandväggen.

    • Arbetsplatsidentitet används för att få åtkomst till lagringsbrandväggen. Ett huvudnamn för tjänsten eller OAuth används för Databricks-autentisering och Unity Catalog-auktorisering.

    • Om du vill aktivera identitetsautentiseringstypen för arbetsytan (rekommenderas) associerar du Fabric arbetsytan med en F-kapacitet. Information om hur du skapar en arbetsyteidentitet finns i Autentisera med arbetsyteidentitet.

  • Du kan bara associera en katalog med ett enda lagringskonto.

Aktivera nätverkssäkerhetsåtkomst

  1. När du skapar en ny speglad Azure Databricks-katalog går du till steget Välj data och väljer fliken Nätverkssäkerhet .

    Skärmbild av fliken Nätverkssäkerhet i Databricks.

  2. Välj en befintlig anslutning till lagringskontot om du har en konfigurerad. 

    • Om du inte har någon befintlig ADLS-anslutning skapar du en ny anslutning.  
    • Url:en för lagringsslutpunkten är den där den valda katalogens data lagras. Slutpunkten bör vara den specifika mapp där datan lagras, snarare än att specificera slutpunkten på lagringskontonivå. Ange till exempel https://<storage account>.dfs.core.windows.net/container1/folder1 i stället för https://<storage account>.dfs.core.windows.net/.
    • Ange autentiseringsuppgifterna för anslutningen. De autentiseringstyper som stöds är Organisationskonto, Tjänstens huvudnamn och Arbetsyteidentitet (rekommenderas).

    Note

    När ADLS Gen2 skyddas av en Azure Storage brandvägg använder Fabric arbetsyteidentitet för att passera brandväggen oavsett vilken autentiseringstyp som valts här. Autentiseringstypen (tjänstens huvudnamn eller organisationskonto) styr Databricks-autentisering och Unity Catalog-auktorisering, medan Arbetsyteidentitet styr betrodd åtkomst via lagringsbrandväggen. Arbetsyteidentiteten måste tillåtas i brandväggen för Azure Storage-kontot även om du väljer en annan autentiseringstyp för ADLS-anslutningen.

  3. I Azure-portalen ger du åtkomstbehörighet till lagringskontot baserat på den autentiseringstyp som du valde i föregående steg. Gå till lagringskontot i Azure-portalen. Välj Åtkomstkontroll (IAM). Välj +Lägg till och Lägg till rolltilldelning. För mer information, se Tilldela Azure-roller med Azure-portalen.

    Tilldela en roll baserat på anslutningens omfång:

    • Lagringskonto: Den valda autentiseringsidentiteten behöver rollen Storage Blob Data Reader på lagringskontot.
    • Container: Den valda autentiseringsidentiteten behöver rollen Storage Blob Data Reader i containern.
    • Mapp i en container (rekommenderas): Den valda autentiseringsidentiteten behöver behörigheterna Läsa (R) och Kör (E) på mappnivå. Om du använder tjänstens huvudnamn eller arbetsyteidentitet som autentiseringstyp ger du även identiteten Kör behörigheter för rotmappen i containern och varje mapp i hierarkin som leder till den angivna mappen.

    Mer information och steg för att bevilja ADLS-åtkomst finns i ADLS-åtkomstkontroll.

  4. Aktivera Trusted Workspace Access genom att konfigurera en resursinstansregel för din Fabric arbetsyta på lagringskontot. Detaljerade anvisningar finns i Trusted workspace access och Secure Fabric mirrored databases from Azure Databricks.

När anslutningen har upprättats skapas en genväg till Unity Catalog-tabeller för de tabeller vars lagringskontonamn matchar lagringskontot som anges i ADLS-anslutningen. Genvägar skapas inte för tabeller vars lagringskontonamn inte matchar.

Viktigt!

Om du planerar att använda ADLS-anslutningen utanför scenarierna för speglade Azure Databricks katalogobjekt måste du också tilldela rollen Storage Blob Delegator för lagringskontot.

Tip

Om du får ett 403-auktoriseringsfel när du använder tjänstens huvudnamn för Databricks-autentisering med ett brandväggsskyddat ADLS Gen2-konto kontrollerar du att arbetsyteidentiteten tillåts i Azure Storage kontobrandväggen. Även när ett tjänsthuvudnamn har valts för autentisering använder Fabric arbetsyteidentiteten för att passera lagringsbrandväggen.

Aktivera OneLake-säkerhet för det speglade Databricks-objektet

Mappa Unity Catalog-principer (UC) till Microsoft OneLake-säkerhet genom att följa dessa steg:

  1. Synkronisera Microsoft Entra-gruppen och tillämpa behörigheter i Unity-katalogen. I Azure Databricks använder du Automatic Identity Management för att synkronisera en Microsoft Entra ID-grupp och ge den nödvändiga Unity Catalog-behörigheter (USE, BROWSE och SELECT) på den relevanta katalogen och de relevanta tabellerna.
  2. Tilldela en OneLake-dataåtkomstroll. I arbetsytan Fabric skapar du en dataåtkomstroll för de nyligen replikerade data. Lägg till samma Microsoft Entra-grupp i denna roll och ge den läsåtkomst till OneLake-genvägarna som motsvarar Azure Databricks-tabellerna. Kom igång med säkerhet på tabellnivå genom att välja knappen Hantera OneLake-säkerhet i menyfliksområdet. Se till att du håller åtkomstkonfigurationerna synkroniserade när katalogstrukturer och behörigheter utvecklas. Mer information finns i OneLake-dataåtkomstkontrollmodellen (förhandsversion).

Relaterat innehåll

  • Uppdaterades senast