Tutoriel : Intégration de SSIS à Fabric Data Warehouse

S’applique à :SQL Server SSIS Integration Runtime dans Azure Data Factory

Ce document se focalise sur les meilleures pratiques d’utilisation des packages SSIS existants pour travailler avec l’entrepôt de données dans la plateforme Fabric.

Introduction

Microsoft Fabric est une plateforme d’analytique complète qui couvre tous les aspects du patrimoine de données d’une organisation. L’une de ses expériences principales est Fabric Data Warehouse, qui sert de solution SaaS simplifiée pour un entrepôt transactionnel complet. Ce dernier stocke les données dans OneLake à l’aide d’un format ouvert appelé Delta Parquet, ce qui garantit que les données sont accessibles par d’autres expériences au sein de Fabric et d’autres applications clientes qui se connectent à l’aide de pilotes SQL.

Microsoft Fabric, en tant que plateforme d’analytique, prend exclusivement en charge l’authentification via l’ID Microsoft Entra pour les utilisateurs et les principaux de service (SPN). Ce choix délibéré garantit une sécurité centralisée et basée sur l’identité, s’alignant sur les pratiques de sécurité modernes. Par conséquent, l’authentification SQL et d’autres méthodes d’authentification ne sont pas prises en charge dans Fabric Data Warehouse au sein de l’écosystème Fabric.

Intégration à Fabric Data Warehouse

Microsoft SQL Server Integration Services (SSIS) est un composant de la base de données Microsoft SQL Server, qui est une solution ETL. SSIS est largement utilisé par les clients de grandes entreprises pour effectuer les tâches ETL localement avec de nombreux clients.

Deux modifications clés, décrites ci-après, sont requises dans le package SSIS pour assurer le bon fonctionnement avec Fabric Data Warehouse.

Authentification

Si vous utilisez l’authentification SQL ou Windows, reconfigurez-la pour utiliser l’utilisateur Microsoft Entra ID ou le nom de principal du service (SPN). N’oubliez pas que si vous utilisez un compte d’utilisateur, l’authentification multifacteur (MFA) doit être désactivée, car SSIS ne prend pas en charge les invites contextuelles. Il nécessite également besoin les pilotes respectifs, comme indiqué ci-dessous :

Pour utiliser le gestionnaire de connexions OLEDB :

• Installez une version d’OLE DB Driver pour SQL Server prenant en charge Microsoft Entra ID
• Définissez l’authentification sur ActiveDirectoryServicePrincipal ou ActiveDirectoryPassword.
• OLEDB fonctionne uniquement pour Exécuter une tâche SQL, et ne fonctionne pas pour Destination OLE DB.

Pour utiliser le gestionnaire de connexions ADO.NET :

• Utilisez le fournisseur Microsoft OLE DB pour SQL Server pour le Fournisseur de données .NET Framework pour OLE DB.
• Définissez l’authentification sur ActiveDirectoryServicePrincipal ou ActiveDirectoryPassword.

Ingestion de fichiers

L’entrepôt de données Fabric recommande d’utiliser la commande T-SQL native « COPY INTO » pour une insertion efficace des données dans l’entrepôt. Par conséquent, toutes les opérations DFT qui s’appuient actuellement sur le mode d’insertion rapide ou les scripts BCP IN doivent être remplacées par l’instruction COPY INTO en utilisant la Tâche d’exécution de requêtes SQL.

SSIS écrivant des données dans un entrepôt de données dans Fabric

Il s’agit d’un scénario ETL courant où les données sont lues à partir de différentes sources, comme des bases de données transactionnelles, des partages de fichiers réseau, une machine locale/du réseau, etc., effectuent des étapes de transformation et réécriture dans un entrepôt de données désigné, comme un serveur SQL, un pool dédié Synapse ou tout autre magasin de données compatible SQL (comme illustré ci-dessous dans le diagramme).

Pour que le même package SSIS écrive dans Fabric Data Warehouse, commencez par mettre à jour l’authentification sur le Microsoft Entra ID, s’il n’est pas déjà utilisé. Deuxièmement, stockez temporairement les données dans ADLS Gen2. Passez ensuite le chemin d’accès à la commande COPY INTO dans Exécuter une tâche SQL.

Le composant Destination de fichier flexible permet à un package SSIS d’écrire des données dans Azure Data Lake Storage Gen2 (ADLS Gen2). Dans la tâche de flux de données, après le chargement et la transformation, ajoutez une Destination de fichier flexible, dans laquelle vous pouvez définir le nom et l’emplacement du fichier de destination dans ADLS Gen2.

Les données envoyées à Azure Data Lake Storage (ADLS) Gen2 peuvent être ingérées dans Warehouse à l’aide de l’instruction COPY directement via Exécuter une tâche SQL.

Par exemple :

COPY INTO <table_name>
FROM 'https://<Your_storage_account>.dfs.core.windows.net/<folder>/'
WITH (
    FILE_TYPE = 'CSV',
    CREDENTIAL=(IDENTITY= 'Storage Account Key', SECRET= '<Your_account_key>'),
    FIELDQUOTE = '"',
    FIELDTERMINATOR=',',
    ROWTERMINATOR='0x0A',
    ENCODING = 'UTF8'
)

Les instructions détaillées font référence à Ingérer des données dans votre entrepôt à l’aide de l’instruction COPY.

Limitations connues

Fabric Data Warehouse prend en charge un sous-ensemble de types de données T-SQL, et toutes les commandes T-SQL ne sont actuellement pas prises en charge. Vos packages pourraient échouer en raison de fonctionnalités non prises en charge. Pour plus d’informations, consultez Types de données dans l’entrepôt et Surface d’exposition T-SQL.

Références

Surface d’exposition T-SQL - Microsoft Fabric | Microsoft Learn

Options pour obtenir des données dans Lakehouse - Microsoft Fabric | Microsoft Learn

Ingérer des données dans l’entrepôt - Microsoft Fabric | Microsoft Learn