Compartir a través de

Ingesta de datos en Fabric mediante la actividad de copia de Azure Data Factory

  • Artículo

El conector de Microsoft Fabric Lakehouse en Azure Data Factory (ADF) y Azure Synapse Analytics habilita operaciones de lectura y escritura en Microsoft Fabric Lakehouse (tanto para tablas como para archivos). Este conector ofrece la capacidad de usar los flujos de datos de asignación y las canalizaciones de ADF y Synapse existentes para interactuar con almacenes de lago de Fabric. Este artículo le ayuda a configurar Microsoft Fabric para permitir la autenticación de la entidad de servicio y, a continuación, muestra el conector del almacén de lago para leer y escribir en el almacén de lago de Fabric.

Para obtener más información sobre Microsoft Fabric Lakehouse, consulte ¿Qué es un almacén de lago?

Conector de Lakehouse de Azure Data Factory

Ahora están disponibles un nuevo conector de servicio vinculado de Lakehouse y dos nuevos conjuntos de datos para los clientes que quieren empezar a leer y escribir en Microsoft Fabric Lakehouse. Para obtener una guía completa sobre el conector de Lakehouse, consulte Copia y transformación de datos en archivos de Microsoft Fabric Lakehouse (versión preliminar).

Autenticación

Servicio vinculado de Azure Data Factory

El conector de Microsoft Fabric Lakehouse requiere un registro de aplicaciones o una entidad de servicio (SPN) para la autenticación. Para comenzar, debe crear una nueva SPN o usar una existente. Microsoft Fabric permite el acceso de SPN a grupos de seguridad específicos o a toda la organización. Si un grupo de seguridad específico es la opción que usa la organización, la SPN usada en el conector de Lakehouse debe pertenecer a un grupo de seguridad que se agregue a la lista de permitidos.

Nota:

No se necesitan permisos (delegados) de API de Power BI

Acceso a API de Power BI

En el portal de administración de Power BI, el administrador de inquilinos de Power BI debe habilitar la opción Permitir que las entidades de servicio usen API de Power BI. El grupo de seguridad debe especificarse en la configuración Concesión de permisos a las entidades de servicio para utilizar las API de Power BI o puede habilitarlo para toda la organización.

Para obtener una guía completa, consulte Inserción de contenido de Power BI en una aplicación de análisis integrados con una entidad de servicio y un secreto de aplicación.

Nota:

Al asignar el grupo de seguridad al área de trabajo, puede haber un retraso para que la entidad de servicio tenga acceso al área de trabajo debido al almacenamiento en caché de permisos en Azure. Si necesita acceso inmediato, puede usar PowerShell para forzar una actualización de los permisos del usuario. Para ello, abra Windows PowerShell como administrador y ejecute los siguientes comandos:

Install-Module -Name MicrosoftPowerBIMgmt
Connect-PowerBIServiceAccount -Tenant '<TENANT ID>' -ServicePrincipal -Credential (Get-Credential)
Get-PowerBIWorkspace
Invoke-PowerBIRestMethod -URL 'https://api.powerbi.com/v1.0/myorg/RefreshUserPermissions' -Method Post -Body ''
Get-PowerBIWorkspace

Acceso al área de trabajo

Una vez agregado el grupo de seguridad, el grupo de seguridad o la entidad de servicio también se deben agregar a cada área de trabajo como miembro, colaborador o administrador. Consulte Concesión de acceso a los usuarios a las áreas de trabajo para obtener más detalles.

Demostración: configuración de la autenticación

Entidad de servicio de registro de aplicaciones

Cree una entidad de servicio (SPN) de registro de aplicaciones o use una existente. Siga los pasos sobre cómo registrar una aplicación con Microsoft Entra ID y crear una entidad de servicio.

Nota:

No es necesario asignar un identificador URI de redireccionamiento.

Captura de pantalla en la que se muestran los detalles de una nueva entidad de servicio.

Grupo de seguridad

Cree un nuevo grupo de seguridad de Microsoft Entra o use uno existente y, a continuación, agréguele la SPN. Siga los pasos que se indican en Creación de un grupo básico e incorporación de miembros para crear un grupo de seguridad de Microsoft Entra.

Captura de pantalla que muestra dónde agregar miembros a un grupo de seguridad.

Portal de administración de Power BI

En el portal de administración de Power BI, vaya a Configuración del desarrollador y seleccione Permitir que las entidades de servicio usen API de Power BI y, a continuación, habilite esta opción. A continuación, agregue el grupo de seguridad del paso anterior. Para más información sobre la configuración de inquilinos del portal de administración de Power BI, consulte Configuración de inquilinos.

Captura de pantalla que muestra el portal de administración de Power BI con la opción Permitir entidades de servicio a los usuarios de APIs de Power BI expandida y habilitada.

Nota:

Asegúrate de que esté habilitada la configuración Los usuarios pueden acceder a los datos almacenados en OneLake con aplicaciones externas a Fabric. Consulta Permitir que las aplicaciones que se ejecutan fuera de Fabric accedan a los datos a través de OneLake.

Área de trabajo

Agregue la SPN o el grupo de servicios al área de trabajo con acceso de miembro, colaborador o administrador.

Azure Data Factory: servicio vinculado

En Azure Data Factory, cree un nuevo servicio vinculado de Microsoft Fabric Lakehouse.

Nota:

Para buscar el área de trabajo y los identificadores de Lakehouse, vaya a Fabric Lakehouse e identifíquelos desde la dirección URL. Por ejemplo: https://.../groups/<Workspace ID>>/lakehouses/<Lakehouse ID>

Azure Data Factory: conjunto de datos

Cree un conjunto de datos que haga referencia al servicio vinculado de Microsoft Fabric Lakehouse.

Nota:

Seleccione Ninguno en la opción Importar esquema si la tabla aún no existe y está especificando manualmente un nuevo nombre de tabla.

Captura de pantalla que muestra el cuadro de diálogo Nuevo conjunto de datos con el tipo de conjunto de datos Tabla de Microsoft Fabric Lakehouse seleccionado.

Captura de pantalla que muestra el cuadro de diálogo Establecer propiedades del conjunto de datos con la opción Importar esquema establecida en Ninguno.

Demostración: escritura en una tabla de Fabric Lakehouse con una canalización de ADF

Source

Cree una canalización y agregue una actividad de copia al lienzo de la canalización. En la pestaña Origen de la actividad de copia, seleccione un conjunto de datos de origen que quiera mover a una tabla de Lakehouse. En este ejemplo, hacemos referencia a un archivo .csv desde una cuenta de Azure Data Lake Storage (ADLS) Gen2.

Captura de pantalla que muestra la configuración de la pestaña Configuraciones de origen de la actividad de copia un .csv seleccionado para el conjunto de datos de origen.

Sink

Vaya a la pestaña Receptor de la actividad de copia y seleccione el conjunto de datos de Fabric Lakehouse que se creó anteriormente.

Captura de pantalla que muestra la selección del conjunto de datos de Fabric Lakehouse creado anteriormente.

Ejecución de la canalización

Ejecute la canalización para mover los datos de .csv a la tabla de Fabric Lakehouse.

Captura de pantalla en la que se muestra el resultado de ejecutar la canalización.

Demostración: lectura en una tabla de Fabric Lakehouse con una canalización de ADF

En la sección anterior, se ha mostrado cómo usar ADF para escribir en una tabla de Fabric Lakehouse. Ahora, vamos a leer en una tabla de Fabric Lakehouse y escribir en un archivo Parquet en Azure Data Lake Storage (ADLS) Gen2 con una canalización similar.

Source

Cree una canalización y agregue una actividad de copia al lienzo de la canalización. En la pestaña Origen de la actividad de copia, seleccione el conjunto de datos de Fabric Lakehouse que se creó anteriormente.

Captura de pantalla que muestra la selección y vista previa del origen de datos de Lakehouse creado anteriormente.

Sink

Vaya a la pestaña Receptor de la actividad de copia y seleccione el conjunto de datos de destino. En este ejemplo, el destino es Azure Data Lake Storage (Gen2), como un archivo Parquet.

Captura de pantalla que muestra la selección de un receptor de ADLS Gen2.

Ejecución de la canalización

Ejecute la canalización para mover los datos de la tabla de Fabric Lakehouse al archivo Parquet en ADLS Gen2.

Captura de pantalla que muestra el resultado de ejecutar la canalización para importar datos en ADLS Gen2 desde Fabric Lakehouse.

Inspección del archivo Parquet en ADLS Gen2

Los datos de la tabla de Fabric Lakehouse ahora están disponibles en ADLS Gen2 como un archivo Parquet.

Captura de pantalla del archivo Parquet generado por la canalización.

Resumen

En esta sección, hemos explorado los requisitos del conector de Lakehouse mediante la autenticación de entidad de servicio en una instancia de Microsoft Fabric Lakehouse y, a continuación, se le guiará por un ejemplo para leer y escribir en Lakehouse desde una canalización de Azure Data Factory. Este conector y funcionalidades también están disponibles en flujos de datos de asignación de Azure Data Factory, Azure Synapse Analytics y flujos de datos de asignación de Azure Synapse Analytics.

Contenido relacionado

documentación sobre Azure Data Factory