Creación de un entorno de ejecución de integración autohospedado compartido en Azure Data Factory

SE APLICA A: Azure Data Factory Azure Synapse Analytics

Sugerencia

Data Factory en Microsoft Fabric es la próxima generación de Azure Data Factory, con una arquitectura más sencilla, inteligencia artificial integrada y nuevas características. Si no está familiarizado con la integración de datos, comience con Fabric Data Factory. Las cargas de trabajo de ADF existentes pueden actualizarse a Fabric para acceder a nuevas funcionalidades en ciencia de datos, análisis en tiempo real e informes.

• Iniciar una prueba gratuita de Fabric.
• Actualización de Azure Data Factory a Data Factory en Microsoft Fabric

En esta guía se muestra cómo crear un entorno de ejecución de integración autohospedado compartido en Azure Data Factory. A continuación, puede usar el tiempo de ejecución de integración autohospedado compartido en otra factoría de datos.

Nota:

A medida que comparte el entorno de ejecución de integración autohospedado entre más factorías de datos, el aumento de la carga de trabajo a veces puede provocar tiempos de cola más largos. Si los tiempos de cola se vuelven excesivos, puede aumentar la capacidad de su nodo o expandir la infraestructura añadiendo nodos adicionales. Puede agregar hasta 4 nodos.

Creación de un entorno de ejecución de integración autohospedado compartido en Azure Data Factory

Puede volver a usar una infraestructura de entorno de ejecución de integración autohospedado existente que ya ha configurado en una factoría de datos. Esto le permite crear un entorno de ejecución de integración autohospedado vinculado en una factoría de datos diferente haciendo referencia a otro IR autohospedado compartido existente.

Para ver una demostración y una introducción de esta característica, vea el siguiente vídeo de 12 minutos de duración:

Terminología

• Entorno de ejecución de integración compartido: un IR autohospedado original que se ejecuta en una infraestructura física.
• IR vinculado: un IR que referencia a otro IR compartido. El IR vinculado es un IR lógico que usa la infraestructura de otro IR autohospedado compartido.

Creación de un entorno de ejecución de integración autohospedado compartido mediante la interfaz de usuario de Azure Data Factory

Para crear un entorno de ejecución de integración (IR) autohospedado compartido mediante la interfaz de usuario de Azure Data Factory, puede seguir estos pasos:

1. En el entorno de ejecución de integración autohospedado que se va a compartir, seleccione Conceder permiso a otra factoría de datos y, en la página "Configuración de Integration Runtime", seleccione la factoría de datos en la que desee crear el entorno de ejecución de integración vinculado.

   

2. Anote y copie el "Identificador de recurso" anterior del entorno de ejecución de integración autohospedado que se va a compartir.

3. En la factoría de datos en la que se concedieron los permisos, cree un nuevo IR autohospedado (vinculado) y escriba el identificador de recurso.

   

   

   

Creación de un entorno de ejecución de integración autohospedado compartido mediante Azure PowerShell

Para crear un entorno de ejecución de integración autohospedado compartido mediante Azure PowerShell, puede seguir estos pasos:

1. Creación de una factoría de datos.
2. Cree un entorno de ejecución de integración autohospedado.
3. Comparta el entorno de ejecución de integración autohospedado con otras factorías de datos.
4. Cree un entorno de ejecución de integración vinculado.
5. Revoque el uso compartido.

Requisitos previos

Nota:

Se recomienda usar el módulo Az de PowerShell de Azure para interactuar con Azure. Para empezar, consulte Install Azure PowerShell. Para obtener información sobre cómo migrar al módulo Az PowerShell, consulte Migrate Azure PowerShell de AzureRM a Az.

• Suscripción de Azure. Si no tiene una suscripción de Azure, crear una cuenta gratuita antes de comenzar.

• Azure PowerShell. Siga las instrucciones de Install Azure PowerShell en Windows con PowerShellGet. Ejecute un script con PowerShell para crear un entorno de ejecución de integración autohospedado que se pueda compartir con otras factorías de datos.

Nota:

Para obtener una lista de Azure regiones en las que Data Factory está disponible actualmente, seleccione las regiones que le interesen en Products disponibles por región.

Crear una factoría de datos

1. Inicie el entorno de scripting integrado (ISE) de Windows PowerShell.

2. Cree las variables. Copie y pegue el siguiente script: Reemplace las variables, como SubscriptionName y ResourceGroupName, con valores reales:

   # If input contains a PSH special character, e.g. "$", precede it with the escape character "`" like "`$". 
   $SubscriptionName = "[Azure subscription name]" 
   $ResourceGroupName = "[Azure resource group name]" 
   $DataFactoryLocation = "EastUS" 
   
   # Shared Self-hosted integration runtime information. This is a Data Factory compute resource for running any activities 
   # Data factory name. Must be globally unique 
   $SharedDataFactoryName = "[Shared Data factory name]" 
   $SharedIntegrationRuntimeName = "[Shared Integration Runtime Name]" 
   $SharedIntegrationRuntimeDescription = "[Description for Shared Integration Runtime]"
   
   # Linked integration runtime information. This is a Data Factory compute resource for running any activities
   # Data factory name. Must be globally unique
   $LinkedDataFactoryName = "[Linked Data factory name]"
   $LinkedIntegrationRuntimeName = "[Linked Integration Runtime Name]"
   $LinkedIntegrationRuntimeDescription = "[Description for Linked Integration Runtime]"
   

3. Inicie sesión y seleccione una suscripción. Agregue el código siguiente al script para iniciar sesión y seleccione la suscripción de Azure:

   Connect-AzAccount
   Select-AzSubscription -SubscriptionName $SubscriptionName
   

4. Cree un grupo de recursos y una factoría de datos.

   Nota:

   Este paso es opcional. Si ya tiene una factoría de datos, omita este paso.

   Cree un grupo de recursos Azure mediante el comando New-AzResourceGroup. Un grupo de recursos es un contenedor lógico en el que los recursos de Azure se implementan y gestionan conjuntamente. En el ejemplo siguiente se crea un grupo de recursos denominado myResourceGroup en la ubicación Europa Occidental.

   New-AzResourceGroup -Location $DataFactoryLocation -Name $ResourceGroupName
   

   Ejecute el comando siguiente para crear una factoría de datos:

   Set-AzDataFactoryV2 -ResourceGroupName $ResourceGroupName `
                            -Location $DataFactoryLocation `
                            -Name $SharedDataFactoryName
   

Creación de una instancia de Integration Runtime autohospedada

Nota:

Este paso es opcional. Si ya tiene el entorno de ejecución de integración autohospedado que quiere compartir con otras factorías de datos, omita este paso.

Ejecute el siguiente comando para crear un entorno de ejecución de integración autohospedado:

$SharedIR = Set-AzDataFactoryV2IntegrationRuntime `
    -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $SharedDataFactoryName `
    -Name $SharedIntegrationRuntimeName `
    -Type SelfHosted `
    -Description $SharedIntegrationRuntimeDescription

Obtención de la clave de autenticación del entorno de ejecución de integración y registro de un nodo

Ejecute el siguiente comando para obtener la clave de autenticación para el entorno de ejecución de integración autohospedado:

Get-AzDataFactoryV2IntegrationRuntimeKey `
    -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $SharedDataFactoryName `
    -Name $SharedIntegrationRuntimeName

La respuesta contiene la clave de autenticación para este entorno de ejecución de integración autohospedado. Esta clave se usa al registrar el nodo del entorno de ejecución de integración.

Instalación y registro del entorno de ejecución de integración autohospedado

1. Descargue el instalador para el entorno de ejecución de integración autohospedado desde Azure Data Factory Integration Runtime.

2. Ejecute el programa de instalación para instalar la integración autohospedada en un equipo local.

3. Registre la nueva integración autohospedada con la clave de autenticación que obtuvo en el paso anterior.

Uso compartido del entorno de ejecución de integración autohospedado con otra factoría de datos

Creación de otra factoría de datos

Nota:

Este paso es opcional. Si ya dispone de la factoría de datos con la que quiere compartir contenido, omita este paso. Pero para agregar o quitar asignaciones de roles a otra fábrica de datos, debe tener Microsoft.Authorization/roleAssignments/write y Microsoft.Authorization/roleAssignments/delete permisos, como Administrador de acceso de usuarios o Propietario.

$factory = Set-AzDataFactoryV2 -ResourceGroupName $ResourceGroupName `
    -Location $DataFactoryLocation `
    -Name $LinkedDataFactoryName

Concesión de permisos

Conceda permiso a la factoría de datos que necesite obtener acceso al entorno de ejecución de integración autohospedado que creó y registró.

Importante

¡No omita este paso!

New-AzRoleAssignment `
    -ObjectId $factory.Identity.PrincipalId ` #MSI of the Data Factory with which it needs to be shared
    -RoleDefinitionName 'Contributor' `
    -Scope $SharedIR.Id

Creación de un entorno de ejecución de integración autohospedado vinculado

Ejecute el siguiente comando para crear un entorno de ejecución de integración autohospedado vinculado:

Set-AzDataFactoryV2IntegrationRuntime `
    -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $LinkedDataFactoryName `
    -Name $LinkedIntegrationRuntimeName `
    -Type SelfHosted `
    -SharedIntegrationRuntimeResourceId $SharedIR.Id `
    -Description $LinkedIntegrationRuntimeDescription

Ahora puede usar este entorno de ejecución de integración vinculado en cualquier servicio vinculado. El entorno de ejecución de integración vinculado usa el entorno de ejecución de integración compartido para ejecutar actividades.

Revocar el uso compartido de un runtime de integración de una fábrica de datos

Para revocar el acceso de una factoría de datos a un entorno de ejecución de integración compartido, ejecute el comando siguiente:

Remove-AzRoleAssignment `
    -ObjectId $factory.Identity.PrincipalId `
    -RoleDefinitionName 'Contributor' `
    -Scope $SharedIR.Id

Para quitar el entorno de ejecución de integración vinculado existente, puede ejecutar el comando siguiente en el entorno de ejecución de integración compartido:

Remove-AzDataFactoryV2IntegrationRuntime `
    -ResourceGroupName $ResourceGroupName `
    -DataFactoryName $SharedDataFactoryName `
    -Name $SharedIntegrationRuntimeName `
    -LinkedDataFactoryName $LinkedDataFactoryName

Supervisión

IR compartido

IR vinculado

Limitaciones conocidas del uso compartido del IR autohospedado

• La factoría de datos en la que se creará un IR vinculado debe tener una identidad administrada. De forma predeterminada, las factorías de datos creadas en el portal de Azure o los cmdlets de PowerShell tienen una identidad administrada creada implícitamente. Pero cuando se crea una factoría de datos a través de una plantilla o SDK de Azure Resource Manager, debe establecer la propiedad Identity explícitamente. Esta configuración garantiza que Resource Manager cree una factoría de datos que contenga una identidad administrada.

• Data Factory .NET SDK que admite esta característica debe ser la versión 1.1.0 o posterior.

• Para conceder permiso, necesitará el rol propietario o el rol propietario heredado en la factoría de datos en la que exista el IR compartido.

• La característica de uso compartido solo funciona para factorías de datos dentro del mismo inquilino de Microsoft Entra.

• Para Microsoft Entra ID guest users, la funcionalidad de búsqueda en la interfaz de usuario, que enumera todas las factorías de datos mediante una palabra clave de búsqueda, no funciona. Sin embargo, siempre que el usuario invitado sea el propietario de la factoría de datos, puede compartir el IR sin la funcionalidad de búsqueda. En el caso de la identidad administrada de la factoría de datos que necesita compartir el IR, introduzca dicha identidad administrada en el cuadro Assignar permisos y seleccione Agregar en la interfaz de usuario de Data Factory.

  Nota:

  Esta característica solo está disponible en la versión 2 de Data Factory.

Contenido relacionado

• Revise los conceptos de integration runtime en Azure Data Factory.

• Aprenda a crear un entorno de ejecución de integración autohospedado en el portal de Azure.