Tutorial: Integrieren von SSIS in Fabric Data Warehouse

Gilt für:SQL Server SSIS Integration Runtime in Azure Data Factory

Der Schwerpunkt dieses Dokuments liegt auf den bewährten Methoden zur Nutzung vorhandener SSIS-Pakete für die Arbeit mit Data Warehouse in der Fabric-Plattform.

Einführung

Microsoft Fabric ist eine umfassende Analyseplattform, die jeden Aspekt des Datenbestands einer Organisation abdeckt. Einer der Hauptbestandteile ist Fabric Data Warehouse, das als vereinfachte SaaS-Lösung für ein vollständig transaktionales Warehouse dient. Es speichert Daten in OneLake mit einem offenen Format namens Delta Parquet. Damit wird sichergestellt, dass Daten von anderen Oberflächen in Fabric und von anderen Clientanwendungen, die sich über SQL-Treiber verbinden, abgerufen werden können.

Als Analyseplattform unterstützt Microsoft Fabric die Authentifizierung für Benutzer und Dienstprinzipale (SPNs) ausschließlich über Microsoft Entra-ID. Diese bewusste Wahl sorgt für eine zentrale und identitätsbasierte Sicherheit, die an modernen Sicherheitspraktiken ausgerichtet ist. Daher werden die SQL-Authentifizierung und andere Authentifizierungsmethoden in Fabric Data Warehouse im Rahmen des Fabric-Ökosystems nicht unterstützt.

Integration in Fabric Data Warehouse

Microsoft SQL Server Integration Services (SSIS) ist eine Komponente der Microsoft SQL Server-Datenbank, die eine ETL-Lösung darstellt. SSIS wird von vielen Unternehmenskunden genutzt, um ETL lokal durchzuführen.

Zwei wichtige Änderungen sind im SSIS-Paket für die nahtlose Arbeit mit Fabric Data Warehouse erforderlich, wie nachfolgend beschrieben.

Authentifizierung

Wenn Sie die SQL-Authentifizierung oder Windows-Authentifizierung nutzen, müssen Sie sie neu konfigurieren, damit der Microsoft Entra ID-Benutzer oder der Dienstprinzipalname (Service Principal Name, SPN) verwendet wird. Beachten Sie, dass bei Verwendung eines Benutzerkontos die mehrstufige Authentifizierung (MFA) deaktiviert sein muss, da SSIS Popupaufforderungen nicht unterstützt. Außerdem werden entsprechende Treiber benötigt, wie unten erwähnt:

So verwenden Sie den OLEDB-Verbindungs-Manager:

• Installieren Sie die Version von OLE DB-Treiber für SQL Server, die Microsoft Entra ID unterstützt.
• Legen Sie die Authentifizierung auf ActiveDirectoryServicePrincipal oder ActiveDirectoryPassword fest.
• OLEDB funktioniert nur für SQL-Aufgabe ausführen, nicht für OLE DB-Ziel.

So verwenden Sie den ADO.NET-Verbindungs-Manager:

• Verwenden Sie den Microsoft OLE DB-Anbieter für SQL Server für den .NET Framework-Datenanbieter für OLE DB.
• Legen Sie die Authentifizierung auf ActiveDirectoryServicePrincipal oder ActiveDirectoryPassword fest.

Dateierfassung

Fabric Data Warehouse empfiehlt die Verwendung des systemeigenen T-SQL-Befehls "COPY INTO" zur effizienten Dateneinfügung in das Lager. Daher sollten DFT-Vorgänge, die derzeit auf Fast Insert Mode- oder BCP IN-Skripts basieren, durch die Anweisung COPY INTO ersetzt werden, indem SQL-Aufgabe ausführen genutzt wird.

SSIS schreiben Daten in Data Warehouse in Fabric

Es ist ein gängiges ETL-Szenario, dass Daten aus verschiedenen Quellen wie Transaktionsdatenbanken, Netzwerk-Dateifreigaben, lokalen Systemen/Netzwerken usw. gelesen, umgewandelt und in ein bestimmtes Data Warehouse wie SQL Server, einen dedizierten Synapse-Pool oder einen anderen SQL-kompatiblen Datenspeicher zurückgeschrieben werden (wie unten im Diagramm dargestellt)..

Um dasselbe SSIS-Paket zum Schreiben in Fabric Data Warehouse zu erstellen, müssen Sie zunächst Microsoft Entra ID als Grundlage für die Authentifizierung einstellen, sofern es noch nicht verwendet wird. Stellen Sie zweitens die Daten vorübergehend in einem ADLS Gen2 bereit. Übergeben Sie anschließend den Pfad an den Befehl „COPY INTO“ in SQL-Aufgabe ausführen.

Eine Komponente vom Typ Flexibles Dateiziel ermöglicht es einem SSIS-Paket, Daten in Azure Data Lake Storage Gen2 (ADLS Gen2) zu schreiben. Fügen Sie im Datenflusstask nach dem Laden und der Transformation ein flexibles Dateiziel hinzu. Dort können Sie den Namen und den Speicherort der Zieldatei in ADLS Gen2 definieren.

Daten in Azure Data Lake Storage (ADLS) Gen2 können mithilfe der COPY-Anweisung direkt über SQL-Aufgabe ausführen in das Warehouse eingelesen werden.

Zum Beispiel:

COPY INTO <table_name>
FROM 'https://<Your_storage_account>.dfs.core.windows.net/<folder>/'
WITH (
    FILE_TYPE = 'CSV',
    CREDENTIAL=(IDENTITY= 'Storage Account Key', SECRET= '<Your_account_key>'),
    FIELDQUOTE = '"',
    FIELDTERMINATOR=',',
    ROWTERMINATOR='0x0A',
    ENCODING = 'UTF8'
)

Ausführlichere Anweisungen finden Sie unter Erfassen von Daten in Ihr Warehouse mithilfe der COPY-Anweisung.

Bekannte Einschränkungen

Fabric Data Warehouse unterstützt eine Teilmenge von T-SQL-Datentypen. Nicht alle T-SQL-Befehle werden derzeit unterstützt. Pakete schlagen unter Umständen aufgrund nicht unterstützter Features fehl. Weitere Informationen finden Sie unter Datentypen im Warehouse und T-SQL-Oberfläche.

References

T-SQL-Oberfläche – Microsoft Fabric | Microsoft Learn

Optionen zum Abrufen von Daten in das Lakehouse – Microsoft Fabric | Microsoft Learn

Erfassen von Daten im Warehouse – Microsoft Fabric | Microsoft Learn