Delen via

Zelfstudie: Gespiegelde Databases van Microsoft Fabric configureren vanuit Azure Databricks

Databasespiegeling in Microsoft Fabric is een zakelijke, cloudgebaseerde, zero-ETL- en SaaS-technologie. Deze handleiding helpt u bij het opzetten van een gespiegelde database van Azure Databricks, waarmee een alleen-lezen, continu gerepliceerde kopie van uw Azure Databricks-gegevens in OneLake wordt gemaakt.

Vereiste voorwaarden

  • U moet externe gegevenstoegang inschakelen in de metastore. Zie Externe gegevenstoegang inschakelen in de metastore voor meer informatie.
  • Maak of gebruik een bestaande Azure Databricks-werkruimte waarvoor Unity Catalog is ingeschakeld.
  • U moet de EXTERNAL USE SCHEMA bevoegdheid hebben voor het schema in Unity Catalog die de tabellen bevat die toegankelijk zijn vanuit Fabric.
  • U moet het machtigingsmodel van Fabric gebruiken om toegangsbeheer in te stellen voor catalogi, schema's en tabellen in Fabric.
  • Azure Databricks-werkruimten kunnen zich niet achter een privé-eindpunt bevinden.

Een gespiegelde database maken vanuit Azure Databricks

Volg deze stappen om een nieuwe gespiegelde database te maken vanuit uw Azure Databricks Unity-catalogus.

  1. Navigeer naar https://powerbi.com.

  2. Selecteer + Nieuw en vervolgens gespiegelde Azure Databricks-catalogus.

    Schermopname van de Fabric-portal van een nieuw gespiegeld Azure Databricks-item.

  3. Selecteer een bestaande verbinding als u er een hebt geconfigureerd.

    • Als u geen bestaande verbinding hebt, maakt u een nieuwe verbinding en voert u alle details in. U kunt zich verifiëren bij uw Azure Databricks-werkruimte met behulp van 'Organisatieaccount' of 'Service-principal'. Als u een verbinding wilt maken, moet u een gebruiker of beheerder van de Azure Databricks-werkruimte zijn.
    • Als u toegang wilt krijgen tot Azure Data Lake Storage Gen2-accounts achter een firewall, moet u de stappen volgen om netwerkbeveiligingstoegang in te schakelen voor uw Azure Data Lake Storage Gen2-account verderop in dit artikel.

  4. Zodra u verbinding hebt gemaakt met een Azure Databricks-werkruimte, kunt u op de pagina Tabellen kiezen op een Databricks-cataloguspagina de catalogus, schema's en tabellen selecteren via de opname-/uitsluitingslijst die u wilt toevoegen en openen vanuit Microsoft Fabric. Kies de catalogus en de bijbehorende schema's en tabellen die u wilt toevoegen aan uw Fabric-werkruimte.

    • U kunt alleen de catalogi/schema's/tabellen zien waartoe u toegang hebt op basis van de bevoegdheden die aan hen worden verleend volgens het bevoegdheidsmodel dat wordt beschreven in unity-catalogusbevoegdheden en beveiligbare objecten.
    • Standaard is toekomstige cataloguswijzigingen voor het geselecteerde schema automatisch synchroniseren ingeschakeld. Zie Mirroring Azure Databricks Unity Catalog voor meer informatie.
    • Wanneer u uw selecties hebt gemaakt, selecteert u Volgende.

  5. De naam van het item is standaard de naam van de catalogus die u aan Fabric wilt toevoegen. Op de pagina Controleren en maken kunt u de details bekijken en eventueel de naam van het gespiegelde database-item wijzigen. Deze moet uniek zijn in uw werkruimte. Klik op Creëren.

  6. Er wordt een Databricks-catalogusitem gemaakt en voor elke tabel wordt ook een bijbehorende snelkoppeling voor het Databricks-type gemaakt.

    • Schema's zonder tabellen worden niet weergegeven.

  7. U kunt ook een voorbeeld van de gegevens bekijken wanneer u een snelkoppeling opent door het SQL Analytics-eindpunt te selecteren. Open het eindpuntitem van SQL Analytics om de pagina Explorer en queryeditor te starten. U kunt een query uitvoeren op uw gespiegelde Azure Databricks-tabellen met T-SQL in de SQL-editor.

Lakehouse-snelkoppelingen maken naar het Databricks-catalogusitem

U kunt ook snelkoppelingen maken van uw Lakehouse naar uw Databricks-catalogusitem om uw Lakehouse-gegevens te gebruiken en Spark Notebooks te gebruiken.

  1. Eerst maken we een lakehouse. Als u al een lakehouse in deze werkruimte hebt, kunt u een bestaand lakehouse gebruiken.
    1. Selecteer uw werkruimte in het navigatiemenu.
    2. Selecteer + New>Lakehouse.
    3. Geef een naam op voor uw lakehouse in het veld Naam en selecteer Maken.
  2. Selecteer in de verkennerweergave van uw lakehouse, in het menu Gegevens ophalen in uw lakehouse , onder Gegevens laden in uw lakehouse, de knop Nieuwe snelkoppeling .
  3. Selecteer Microsoft OneLake. Selecteer een catalogus. Dit is het gegevensitem dat u in de vorige stappen hebt gemaakt. Klik daarna op Volgende.
  4. Selecteer tabellen in het schema en selecteer Volgende.
  5. Klik op Creëren.
  6. Snelkoppelingen zijn nu beschikbaar in uw Lakehouse voor gebruik met uw andere Lakehouse-gegevens. U kunt notebooks en Spark ook gebruiken om gegevensverwerking uit te voeren op de gegevens voor deze catalogustabellen die u hebt toegevoegd vanuit uw Azure Databricks-werkruimte.

Een semantisch model maken

U kunt een semantisch Power BI-model maken op basis van uw gespiegelde item en tabellen handmatig toevoegen/verwijderen. Zie Een semantisch Power BI-model maken voor meer informatie over het maken en beheren van semantische modellen.

Voor de beste ervaring is het raadzaam om Microsoft Edge Browser te gebruiken voor Semantische modelleringstaken.

Uw semantische modelrelaties beheren

Nadat u een nieuw semantisch model hebt gemaakt op basis van uw gespiegelde database,

  1. Selecteer Modelindelingen in de Verkenner in uw werkruimte.
  2. Zodra modelindelingen zijn geselecteerd, ziet u een afbeelding van de tabellen die zijn opgenomen als onderdeel van het Semantische model.
  3. Als u relaties tussen tabellen wilt maken, sleept u een kolomnaam van de ene tabel naar de andere kolomnaam van een andere tabel. Er wordt een pop-up weergegeven om de relatie en kardinaliteit voor de tabellen te identificeren.

Netwerkbeveiligingstoegang inschakelen voor uw Azure Data Lake Storage Gen2-account

In deze sectie wordt u begeleid bij het configureren van netwerkbeveiliging voor uw Azure Data Lake Storage Gen2-account (ADLS) Gen2 wanneer een Azure Storage-firewall is geconfigureerd. 

Vereiste voorwaarden

  • Maak of gebruik een bestaande Azure Databricks-werkruimte waarvoor Unity Catalog is ingeschakeld.
  • Als u het verificatietype voor de werkruimte-id (aanbevolen) wilt inschakelen, moet de infrastructuurwerkruimte zijn gekoppeld aan een F-capaciteit. Zie Verifiëren met werkruimte-id om een werkruimte-id te maken.
  • Deze sectie is bedoeld voor het bereiken van een Azure Data Lake Storage Gen2-opslagaccount (ADLS) Gen2 achter een Azure Storage-firewall. Azure Databricks-werkruimteopslag achter een Azure Storage-firewall wordt niet ondersteund.
  • Een catalogus moet zijn gekoppeld aan één opslagaccount.

Netwerkbeveiligingstoegang inschakelen

  1. Wanneer u een nieuwe gespiegelde Azure Databricks-catalogus maakt, selecteert u in de stap Gegevens kiezen het tabblad Netwerkbeveiliging .

    Schermopname van het tabblad Netwerkbeveiliging in Databricks.

  2. Selecteer een bestaande verbinding met het opslagaccount als u er een hebt geconfigureerd. 

    • Als u geen bestaande ADLS-verbinding hebt, maakt u een nieuwe verbinding.  
    • De URL van het opslageindpunt is waar de gegevens van de geselecteerde catalogus worden opgeslagen. Het eindpunt moet de specifieke map zijn waarin de gegevens worden opgeslagen, in plaats van het eindpunt op te geven op het niveau van het opslagaccount. Geef bijvoorbeeld https://<storage account>.dfs.core.windows.net/container1/folder1 in plaats https://<storage account>.dfs.core.windows.net/van .
    • Geef de verbindingsreferenties op. De ondersteunde verificatietypen zijn organisatieaccount, service-principal en werkruimte-id (aanbevolen).

  3. Geef in Azure Portal toegangsrechten op voor het opslagaccount op basis van het verificatietype dat u in de vorige stap hebt gekozen. Navigeer naar het opslagaccount in Azure Portal. Selecteer Toegangsbeheer (IAM). Selecteer +Toevoegen en Roltoewijzing toevoegen. Zie Azure-rollen toewijzen met behulp van Azure Portal voor meer informatie.

    • Als u het opslagaccount hebt opgegeven als onderdeel van de verbinding, moet het gekozen verificatieobject de rol Opslagblobgegevenslezer hebben voor het opslagaccount. 
    • Als u een specifieke container hebt opgegeven als onderdeel van de verbinding, moet het gekozen verificatieobject de rol Opslagblobgegevenslezer hebben voor de container.  
    • Als u een specifieke map hebt opgegeven binnen een container (aanbevolen), moet het gekozen verificatieobject de lees-waarde (R) en Uitvoeren (E) op mapniveau hebben. Als u service-principal of werkruimte-id als verificatietype gebruikt, moet u die service-principal of werkruimte-identiteit uitvoeren machtigingen geven voor de hoofdmap van de container en voor elke map in de hiërarchie van mappen die leiden naar de map die u hebt opgegeven. 

    Zie ADLS-toegangsbeheer voor meer informatie en stappen voor het verlenen van ADLS-toegang.

  4. Schakel Toegang tot vertrouwde werkruimten in om op een veilige manier toegang te krijgen tot Azure Data Lake Storage (ADLS) Gen2-accounts met firewalls. Voor toegang tot vertrouwde werkruimten moet u rechtstreeks verbinding maken met het ADLS-opslagaccount dat onafhankelijk van de Azure Databricks-werkruimteverbinding kan worden gebruikt. Zie Secure Fabric gespiegelde databases van Azure Databricks voor meer informatie.

  5. Er wordt een snelkoppeling naar Unity Catalog-tabellen gemaakt voor de tabellen waarvan de naam van het opslagaccount overeenkomt met het opslagaccount dat is opgegeven in de ADLS-verbinding. Voor tabellen waarvan de naam van het opslagaccount niet overeenkomt met het opslagaccount dat is opgegeven in de ADLS-verbinding, worden er geen snelkoppelingen voor deze tabellen gemaakt. 

Belangrijk

Als u van plan bent om de ADLS-verbinding buiten de scenario's voor gespiegelde Azure Databricks-catalogusitems te gebruiken, moet u ook de rol Storage Blob Delegator voor het opslagaccount geven.

OneLake-beveiliging inschakelen voor het gespiegelde Databricks-item

Wijs UC-beleid (Unity Catalog) toe aan Microsoft OneLake-beveiliging door de volgende stappen uit te voeren:

  1. Synchroniseer de Entra-groep en pas machtigingen toe in Unity Catalog. Gebruik in Azure Databricks Automatic Identity Management om een Microsoft Entra ID-groep te synchroniseren en deze de benodigde Unity Catalog-bevoegdheden te verlenen, bijvoorbeeld USE, BROWSE, SELECT in de relevante catalogus/tabellen.
  2. Wijs een OneLake Data Access-rol toe. Maak in de werkruimte Fabric een rol voor gegevenstoegang voor de zojuist gespiegelde gegevens. Voeg dezelfde Entra-groep toe aan deze rol en verwijs deze leestoegang tot de OneLake-snelkoppelingen die overeenkomen met de Azure Databricks-tabellen. U kunt meteen aan de slag met beveiliging op tabelniveau via de knop OneLake-beveiliging beheren op het lint. Zorg ervoor dat u de toegangsconfiguraties gesynchroniseerd houdt terwijl catalogusstructuren en machtigingen zich ontwikkelen. Zie het OneLake-model voor gegevenstoegangsbeheer (preview) voor meer informatie.

Verwante inhoud

  • Last updated on