Erfassen von Daten in Fabric mithilfe der Kopieraktivität in Azure Data Factory
Der Lakehouse-Connector von Microsoft Fabric in Azure Data Factory (ADF) und Azure Synapse Analytics ermöglicht sowohl Lese- als auch Schreibvorgänge in Microsoft Fabric Lakehouse (sowohl für Tabellen als auch für Dateien). Dieser Connector bietet Ihnen die Möglichkeit, Ihre vorhandenen ADF- und Synapse-Pipelines und Zuordnungsdatenflüsse für die Interaktion mit Fabric Lakehouses zu verwenden. In diesem Artikel können Sie Microsoft Fabric so konfigurieren, dass die Dienstprinzipalauthentifizierung zulässig ist, und anschließend wird der Lakehouse-Connector zum Lesen und Schreiben in Fabric Lakehouse veranschaulicht.
Weitere Informationen zu Microsoft Fabric Lakehouse finden Sie unter Was ist ein Lakehouse?.
Lakehouse-Connector für Azure Data Factory
Ein neuer mit Lakehouse verknüpfter Serviceconnector und zwei neue Datasets sind jetzt für Kunden verfügbar, die mit dem Lesen von und Schreiben in Microsoft Fabric Lakehouse beginnen möchten. Eine vollständige Anleitung zum Lakehouse-Connector finden Sie unter Kopieren und Transformieren von Daten in Microsoft Fabric Lakehouse-Dateien (Vorschau)
Authentifizierung
Verknüpfter Dienste in Azure Data Factory
Der Microsoft Fabric Lakehouse-Connector erfordert eine Dienstprinzipal (SPN)/App-Registrierung für die Authentifizierung. Um loszulegen, müssen Sie eine vorhandene Web-API verwenden oder eine neue erstellen. Microsoft Fabric ermöglicht SPN-Zugriff auf bestimmte Sicherheitsgruppen oder für die gesamte Organisation. Wenn es sich bei einer bestimmten Sicherheitsgruppe um die von Ihrer Organisation verwendete Option handelt, muss der im Lakehouse-Connector verwendete SPN zu einer Sicherheitsgruppe gehören, die der Zulassungsliste hinzugefügt wird.
Hinweis
Power BI-API Berechtigungen (delegiert) sind nicht erforderlich.
Zugriff auf Power BI-Apps
Im Power BI-Verwaltungsportal muss für den Power BI-Mandantenadministrator die Option Dienstprinzipalen die Verwendung schreibgeschützter Power BI-Administrator-APIs gestatten aktiviert sein. Die Sicherheitsgruppe muss unter der Einstellung Dienstprinzipalen die Verwendung von Power BI-APIs gestatten angegeben werden, oder Sie können die Option für die gesamte Organisation aktivieren.
Eine vollständige Anleitung finden Sie unter Einbetten von Power BI-Inhalten in eine Embedded Analytics-Anwendung mit Dienstprinzipal und einem Anwendungsgeheimnis.
Hinweis
Beim Zuweisen der Sicherheitsgruppe zum Arbeitsbereich kann es aufgrund der Zwischenspeicherung von Berechtigungen in Azure zu einer Verzögerung kommen, während dem Dienstprinzipal Zugriff auf den Arbeitsbereich gewährt wird. Wenn Sie sofortigen Zugriff benötigen, können Sie PowerShell verwenden, um eine Aktualisierung der Berechtigungen des Benutzers zu erzwingen. Öffnen Sie hierfür PowerShell als Administrator, und führen Sie dann die folgenden Befehle aus:
Install-Module -Name MicrosoftPowerBIMgmt
Connect-PowerBIServiceAccount -Tenant '<TENANT ID>' -ServicePrincipal -Credential (Get-Credential)
Get-PowerBIWorkspace
Invoke-PowerBIRestMethod -URL 'https://api.powerbi.com/v1.0/myorg/RefreshUserPermissions' -Method Post -Body ''
Get-PowerBIWorkspace
Arbeitsbereichszugriff
Nachdem die Sicherheitsgruppe hinzugefügt wurde, muss auch die Sicherheitsgruppe oder der Dienstprinzipal jedem Arbeitsbereich als Mitglied, Mitwirkender oder Administrator hinzugefügt werden. Weitere Informationen finden Sie unter Gewähren Sie Benutzern Zugriff auf Arbeitsbereiche.
Demo: Einrichten der Authentifizierung
Dienstprinzipal für die App-Registrierung
Erstellen oder verwenden Sie einen vorhandenen Dienstprinzipal für die App-Registrierung Befolgen Sie die Schritte in Registrieren einer Anwendung bei Microsoft Entra ID und Erstellen eines Dienstprinzipals.
Hinweis
Sie müssen keinen Umleitungs-URI zuweisen.
Sicherheitsgruppe
Erstellen Sie eine neue Microsoft Entra-Sicherheitsgruppe, oder verwenden Sie eine vorhandene, und fügen Sie dann den SPN hinzu. Unter Erstellen einer Basisgruppe und Hinzufügen von Mitgliedern erfahren Sie, wie Sie eine Microsoft Entra-Sicherheitsgruppe erstellen.
Power BI-Verwaltungsportal
Navigieren Sie im Power BI-Verwaltungsportal zu den Entwicklereinstellungen, und wählen Sie Dienstprinzipalen die Verwendung von Power BI-APIs gestatten aus, und aktivieren Sie die Option. Fügen Sie dann die Sicherheitsgruppe aus dem vorherigen Schritt hinzu. Weitere Informationen zu den Mandanteneinstellungen des Power BI-Verwaltungsportals finden Sie unter Mandanteneinstellungen.
Hinweis
Bitte stellen Sie sicher, dass die Einstellung Benutzer können auf Daten zugreifen, die in OneLake gespeichert sind, mit Apps außerhalb von Fabric aktiviert ist. Weitere Informationen finden Sie unter Zulassen, dass Apps, die außerhalb von Fabric ausgeführt werden, über OneLake auf Daten zugreifen können.
Arbeitsbereich
Fügen Sie den SPN oder die Dienstgruppe dem Arbeitsbereich mit Zugriff Mitglied, Mitwirkender oder Administrator aus.
Azure Data Factory: Verknüpfter Dienst
Erstellen Sie in Azure Data Factory einen neuen verknüpften Microsoft Fabric Lakehouse-Dienst.
Hinweis
Um den Arbeitsbereich und die Lakehouse-IDs zu finden, navigieren Sie zu Ihrem Fabric Lakehouse, und identifizieren Sie ihn über die URL. Beispiel: https://.../groups/<Workspace ID>>/lakehouses/<Lakehouse-ID>
Azure Data Factory: Dataset
Erstellen Sie ein Dataset, das auf den verknüpften Microsoft Fabric Lakehouse-Dienst verweist.
Hinweis
Wählen Sie für die Option Importschema den Wert Keines aus, wenn die Tabelle nicht vorhanden ist und Sie manuell einen neuen Tabellennamen angeben.
Demo: Schreiben in eine Fabric Lakehouse-Tabelle mit einer ADF-Pipeline
Quelle
Erstellen Sie eine neue Pipeline, und fügen Sie dem Pipeline-Canvas eine Kopieraktivität hinzu. Wählen Sie auf der Registerkarte Quelle der Kopieraktivität ein Quelldataset aus, das Sie in eine Lakehouse-Tabelle verschieben möchten. In diesem Beispiel verweisen wir von einem AdLS-Gen2-Konto (Azure Data Lake Storage) auf eine CSV-Datei.
Senke
Navigieren Sie zu der Registerkarte Senke der Kopieraktivität, und wählen Sie das Fabric Lakehouse-Dataset aus, das zuvor erstellt wurde.
Führen Sie die Pipeline aus.
Führen Sie die Pipeline aus, um die .CSV-Daten in die Fabric Lakehouse-Tabelle zu verschieben.
Demo: Lesen aus einer Fabric Lakehouse-Tabelle mit einer ADF-Pipeline
Im obigen Abschnitt haben wir gezeigt, wie ADF zum Schreiben in eine Fabric Lakehouse-Tabelle verwendet wird. Jetzt wollen wir einen Lesevorgang aus einer Fabric Lakehouse-Tabelle durchführen und in eine Parquet-Datei in Azure Data Lake Storage (ADLS) Gen2 mit einer ähnlichen Pipeline schreiben.
Quelle
Erstellen Sie eine neue Pipeline, und fügen Sie dem Pipeline-Canvas eine Kopieraktivität hinzu. Wählen Sie auf der Registerkarte Quelle der Kopieraktivität das Fabric Lakehouse-Dataset aus, das zuvor erstellt wurde.
Senke
Navigieren Sie zur Registerkarte Senke der Kopieraktivität, und wählen Sie das Ziel-Dataset aus. In diesem Beispiel ist das Ziel Azure Data Lake Storage (Gen2), als Parquet-Datei.
Führen Sie die Pipeline aus.
Führen Sie die Pipeline aus, um die Daten aus der Fabric Lakehouse-Tabelle in die Parquet-Datei in ADLS Gen2 zu verschieben.
Prüfen der Parquet-Datei in ADLS Gen2
Die Daten aus der Fabric Lakehouse-Tabelle sind jetzt in ADLS Gen2 als Parquet-Datei verfügbar.
Zusammenfassung
In diesem Abschnitt haben wir die Anforderungen für den Lakehouse-Connector mithilfe der Dienstprinzipalauthentifizierung für ein Microsoft Fabric Lakehouse untersucht und dann ein Beispiel zum Lesen und Schreiben in das Lakehouse von einer Azure Data Factory-Pipeline durchlaufen. Dieser Connector und diese Funktionen sind auch in Azure Data Factory-Zuordnungsdatenflüssen, Azure Synapse Analytics und Azure Synapse Analytics-Zuordnungsdatenflüssen verfügbar.