Tutorial: Integración de SSIS con Fabric Data Warehouse

Se aplica a:SQL Server SSIS Integration Runtime en Azure Data Factory

Este documento se centra en los procedimientos recomendados para usar paquetes SSIS existentes para trabajar con el almacenamiento de datos en la plataforma Fabric.

Introducción

Microsoft Fabric es una plataforma de análisis completa que cubre todos los aspectos del patrimonio de datos de una organización. Una de sus experiencias clave es Fabric Data Warehouse, que sirve como una solución SaaS simplificada para un almacenamiento totalmente transaccional. Almacena datos en OneLake con un formato abierto denominado Delta Parquet, lo que garantiza que otras experiencias dentro de Fabric y otras aplicaciones cliente que se conectan mediante controladores SQL pueden acceder a ellos.

Microsoft Fabric, como plataforma de análisis, admite exclusivamente la autenticación a través de Microsoft Entra ID para usuarios y entidades de servicio (SPN). Esta elección deliberada garantiza la seguridad centralizada y basada en identidades, en consonancia con las prácticas de seguridad modernas. Por lo tanto, la autenticación de SQL y otros métodos de autenticación no se admiten en Fabric Data Warehouse dentro del ecosistema de Fabric.

Integración con Fabric Data Warehouse

Microsoft SQL Server Integration Services (SSIS) es un componente de la base de datos de Microsoft SQL Server que es una solución ETL. Los clientes de empresa usan ampliamente SSIS para realizar ETL localmente por muchos clientes.

Se requieren dos modificaciones clave en el paquete SSIS para trabajar sin problemas con Fabric Data Warehouse, que se describe de la manera siguiente.

Autenticación

Si usa la autenticación de SQL o la autenticación de Windows, vuelva a configurarla para usar el usuario de Microsoft Entra ID o el nombre de entidad de seguridad de servicio (SPN). Tenga en cuenta que si usa una cuenta de usuario, se debe deshabilitar la autenticación multifactor (MFA), ya que SSIS no admite mensajes emergentes. También necesita controladores respectivos como se mencionó a continuación:

Para usar el Administrador de conexiones OLEDB:

• Instalación de la versión de OLE DB Driver for SQL Server que admite Microsoft Entra ID
• Establezca Autenticación en ActiveDirectoryServicePrincipal o ActiveDirectoryPassword.
• OLEDB solo funciona para la tarea Ejecutar SQL, no funciona para el destino de OLE DB.

Para usar el Administrador de conexiones de ADO.NET:

• Use el proveedor Microsoft OLE DB para SQL Server para el proveedor de datos .NET Framework para OLE DB.
• Establezca Autenticación en ActiveDirectoryServicePrincipal o ActiveDirectoryPassword.

Ingesta de archivos

Fabric Data Warehouse recomienda usar el comando nativo de T-SQL "COPY INTO" para una inserción de datos eficaz en el almacenamiento. Por lo tanto, cualquier operación DFT que actualmente dependa del modo de inserción rápida o de los scripts BCP IN debe sustituirse por la sentencia COPY INTO utilizando la Tarea Ejecutar SQL.

Escritura de datos en Almacenamiento de datos en Fabric

Es un escenario ETL común donde los datos son leídos desde diferentes fuentes como bases de datos transaccionales, archivos compartidos en red, local/red, etc., se realizan pasos de transformación y se escriben de vuelta a un DW designado como un servidor SQL, synapse dedicated pool o cualquier otro almacén de datos compatible con SQL (como se muestra abajo en el diagrama).

Para que el mismo paquete SSIS escriba en Fabric Data Warehouse, primero actualice la autenticación a Microsoft Entra ID si aún no se ha usado. En segundo lugar, preconfigure temporalmente los datos en una instancia de ADLS Gen2. A continuación, pase la ruta de acceso al comando COPY INTO en Ejecutar tarea SQL.

El componente Destino de archivo flexible permite que un paquete SSIS escriba datos en Azure Data Lake Storage Gen2 (ADLS Gen2). Dentro de la tarea Flujo de datos, después de cargar y transformar, agregue un destino de archivo flexible, en el que puede definir el nombre de archivo de destino y la ubicación en ADLS Gen2.

Los datos almacenados en Azure Data Lake Storage (ADLS) Gen2 se pueden ingerir en Warehouse mediante la instrucción COPY directamente mediante la tarea Ejecutar SQL.

Por ejemplo:

COPY INTO <table_name>
FROM 'https://<Your_storage_account>.dfs.core.windows.net/<folder>/'
WITH (
    FILE_TYPE = 'CSV',
    CREDENTIAL=(IDENTITY= 'Storage Account Key', SECRET= '<Your_account_key>'),
    FIELDQUOTE = '"',
    FIELDTERMINATOR=',',
    ROWTERMINATOR='0x0A',
    ENCODING = 'UTF8'
)

Instrucciones más detalladas consulte Ingesta de datos en el almacén mediante la instrucción COPY.

Restricciones conocidas

Fabric Data Warehouse admite un subconjunto de tipos de datos T-SQL y no todos los comandos de T-SQL se admiten actualmente. Es posible que se produzca un error en los paquetes debido a características no admitidas. Para más detalles, consulte Tipos de datos en almacén y área expuesta de T-SQL.

Referencias

Área expuesta de T-SQL: Microsoft Fabric | Microsoft Learn

Opciones para introducir datos en el almacén de lago - Microsoft Fabric | Microsoft Learn

Ingesta de datos en el almacén- Microsoft Fabric | Microsoft Learn