Gegevens opnemen in Fabric met behulp van de kopieeractiviteit van Azure Data Factory
De Microsoft Fabric Lakehouse-connector in Azure Data Factory (ADF) en Azure Synapse Analytics maakt zowel lees- als schrijfbewerkingen mogelijk naar Microsoft Fabric Lakehouse (zowel voor tabellen als bestanden). Deze connector biedt u de mogelijkheid om uw bestaande ADF- en Synapse-pijplijnen en toewijzingsgegevensstromen te gebruiken om te communiceren met Fabric Lakehouses. Dit artikel helpt u Microsoft Fabric te configureren om service-principalverificatie toe te staan en demonstreert vervolgens de Lakehouse Connector voor zowel het lezen als schrijven naar de Fabric Lakehouse.
Zie Wat is een lakehouse voor meer informatie over Microsoft Fabric Lakehouse?
Azure Data Factory Lakehouse-connector
Een nieuwe gekoppelde Lakehouse-serviceconnector en twee nieuwe gegevenssets zijn nu beschikbaar voor klanten die willen beginnen met lezen en schrijven naar Microsoft Fabric Lakehouse. Raadpleeg Gegevens kopiëren en transformeren in Microsoft Fabric Lakehouse Files (preview)voor een volledige handleiding over de Lakehouse-connector.
Authenticatie
Gekoppelde Azure Data Factory-service
De Microsoft Fabric Lakehouse-connector vereist een service-principal (SPN)/app-registratie voor verificatie. Als u wilt beginnen, moet u een nieuwe SPN maken of een bestaande SPN gebruiken. Met Microsoft Fabric kan SPN toegang krijgen tot specifieke beveiligingsgroepen of voor de hele organisatie. Als een specifieke beveiligingsgroep de optie is die uw organisatie gebruikt, moet de SPN die wordt gebruikt in de Lakehouse-connector behoren tot een beveiligingsgroep die wordt toegevoegd aan de acceptatielijst.
Notitie
Power BI API-machtigingen (gedelegeerd) zijn niet nodig
Toegang tot Power BI-API's
Vanuit de Power BI-beheerportal moet de Power BI-tenantbeheerder Service-principals toestaan power BI-API's te gebruiken. De beveiligingsgroep moet worden opgegeven onder de Service-principals toestaan om Power BI-API's te gebruiken instelling, of u kunt het inschakelen voor de hele organisatie.
Raadpleeg voor een volledige handleiding het document Insluiten van Power BI-inhoud in een ingesloten analysetoepassing met een service-principal en een toepassingsgeheim.
Notitie
Wanneer u de beveiligingsgroep toewijst aan de werkruimte, kan er een vertraging optreden voordat de service-principal toegang krijgt tot de werkruimte vanwege in de cache opslaan van machtigingen in Azure. Als u directe toegang nodig hebt, kunt u PowerShell gebruiken om een vernieuwing van de machtigingen van de gebruiker af te dwingen. Hiervoor opent u PowerShell als administrator en voert u vervolgens de volgende opdrachten uit:
Install-Module -Name MicrosoftPowerBIMgmt
Connect-PowerBIServiceAccount -Tenant '<TENANT ID>' -ServicePrincipal -Credential (Get-Credential)
Get-PowerBIWorkspace
Invoke-PowerBIRestMethod -URL 'https://api.powerbi.com/v1.0/myorg/RefreshUserPermissions' -Method Post -Body ''
Get-PowerBIWorkspace
Toegang tot werkruimte
Zodra de beveiligingsgroep is toegevoegd, moet de beveiligingsgroep of de service-principal ook worden toegevoegd aan elke werkruimte als lid, inzender of beheerder. Raadpleeg Gebruikers toegang geven tot werkruimten voor meer informatie.
Demo: Verificatie instellen
Service-principal voor app-registratie
Een bestaande service-principal voor app-registratie (SPN) maken of gebruiken. Volg de stappen in Een toepassing registreren bij Microsoft Entra ID en een service-principalmaken.
Notitie
U hoeft geen omleidings-URI toe te wijzen.
Beveiligingsgroep
Maak een nieuwe Microsoft Entra-beveiligingsgroep of gebruik een bestaande groep en voeg vervolgens de SPN eraan toe. Volg de stappen in Een basisgroep maken en voeg leden toe om een Microsoft Entra-beveiligingsgroep te maken.
Power BI-beheerportal
Ga in de Power BI-beheerportalnaar instellingen voor ontwikkelaars en selecteer Service-principals toestaan power BI-API's te gebruikenen schakel deze vervolgens in. Voeg vervolgens de beveiligingsgroep uit de vorige stap toe. Zie Tenantinstellingenvoor meer informatie over de tenantinstellingen van de Power BI-beheerportal.
Notitie
Zorg ervoor dat de instelling waarmee gebruikers toegang krijgen tot gegevens die in OneLake zijn opgeslagen met apps die extern zijn aan Fabric is ingeschakeld. Verwijs naar om apps die buiten Fabric draaien toegang te geven tot gegevens via OneLake.
Werkruimte
Voeg de SPN of de servicegroep toe aan de werkruimte met lid-, inzenderof beheerderstoegang.
Azure Data Factory: gekoppelde service
Maak vanuit Azure Data Factory-een nieuwe Microsoft Fabric Lakehouse gekoppelde service.
Notitie
Als u de werkruimte en Lakehouse-id's wilt vinden, gaat u naar uw Fabric Lakehouse en identificeert u deze via de URL. Bijvoorbeeld: https://.../groups/<Werkruimte-ID>>/lakehouses/<Lakehouse-ID>
Azure Data Factory: gegevensset
Maak een gegevensset die verwijst naar de gekoppelde Microsoft Fabric Lakehouse-service.
Notitie
Selecteer Geen voor de optie Schema importeren als de tabel nog niet bestaat en u handmatig een nieuwe tabelnaam opgeeft.
Demo: Schrijven naar een Fabric Lakehouse-tabel met een ADF-pijplijn
Bron
Maak een nieuwe pijplijn en voeg een kopieeractiviteit toe aan het pijplijncanvas. Selecteer op het tabblad Bron van de kopieeractiviteit een brongegevensset die u wilt verplaatsen naar een Lakehouse-tabel. In dit voorbeeld verwijzen we naar een .csv-bestand van een Azure Data Lake Storage Gen2-account (ADLS).
Zinken
Navigeer naar het tabblad Sink van de kopieeractiviteit en selecteer de gegevensset Fabric Lakehouse die eerder is gemaakt.
De pijplijn uitvoeren
Voer de pijplijn uit om de .csv gegevens naar de Fabric Lakehouse-tabel te verplaatsen.
Demonstratie: Lezen uit een tabel van Fabric Lakehouse met een ADF-pijplijn
In de bovenstaande sectie hebben we gedemonstreerd hoe u ADF kunt gebruiken om naar een Fabric Lakehouse-tabel te schrijven. Laten we nu lezen uit een Fabric Lakehouse-tabel en schrijven naar een Parquet-bestand in Azure Data Lake Storage (ADLS) Gen2 met een vergelijkbare pijplijn.
Bron
Maak een nieuwe pijplijn en voeg een kopieeractiviteit toe aan het pijplijncanvas. Selecteer op het tabblad Bron van de kopieeractiviteit de Fabric Lakehouse-gegevensset die eerder is gemaakt.
Wastafel
Navigeer naar het tabblad Sink van de kopieeractiviteit en selecteer de doelgegevensset. In dit voorbeeld is de bestemming Azure Data Lake Storage (Gen2), als een Parquet-bestand.
De pijplijn uitvoeren
Voer de pijplijn uit om de gegevens uit de Fabric Lakehouse-tabel te verplaatsen naar het Parquet-bestand in ADLS Gen2.
Het Parquet-bestand controleren in ADLS Gen2
De gegevens uit de Fabric Lakehouse-tabel zijn nu beschikbaar in ADLS Gen2 als een Parquet-bestand.
Samenvatting
In deze sectie hebben we de vereisten voor de Lakehouse Connector verkend met behulp van service-principal authenticatie voor een Microsoft Fabric Lakehouse. Vervolgens hebben we een voorbeeld doorgenomen voor zowel het lezen als schrijven naar de Lakehouse vanuit een Azure Data Factory-pijplijn. Deze connector en mogelijkheden zijn ook beschikbaar in Azure Data Factory-toewijzingsgegevensstromen, Azure Synapse Analytics en Azure Synapse Analytics-toewijzingsgegevensstromen.