Sobre la compatibilidad con lenguajes en Azure Data Factory

  • 5 minutos

Aunque la mayoría de los usuarios de Azure Data Factory realizan tareas de desarrollo con la interfaz de usuario, Azure Data Factory está disponible en diversos kits de desarrollo de software (SDK) para cualquier persona que quiera desarrollar mediante programación. Cuando se usa un SDK, un usuario trabaja directamente con el servicio Azure Data Factory, y todas las actualizaciones se aplican inmediatamente en la fábrica.

Hay bibliotecas de Azure Data Factory para Python que permiten administrar el servicio.

Puede instalar el paquete siguiente:

pip install azure-mgmt-datafactory

Desde allí, puede realizar una serie de actividades, como crear una instancia de Azure Data Factory en su suscripción de la región Este de EE. UU., tal como se muestra en el código siguiente.

from azure.common.credentials import ServicePrincipalCredentials
from azure.mgmt.resource import ResourceManagementClient
from azure.mgmt.datafactory import DataFactoryManagementClient
from azure.mgmt.datafactory.models import *
import time

#Create a data factory
subscription_id = '<Specify your Azure Subscription ID>'
credentials = ServicePrincipalCredentials(client_id='<Active Directory application/client ID>', secret='<client secret>', tenant='<Active Directory tenant ID>')
adf_client = DataFactoryManagementClient(credentials, subscription_id)

rg_params = {'location':'eastus'}
df_params = {'location':'eastus'}  

df_resource = Factory(location='eastus')
df = adf_client.factories.create_or_update(rg_name, df_name, df_resource)
print_item(df)
while df.provisioning_state != 'Succeeded':
    df = adf_client.factories.get(rg_name, df_name)
    time.sleep(1)

Además de Python, también puede interactuar mediante programación con Azure Data Factory y otros lenguajes y SDK, que se enumeran a continuación:

  • .NET
  • API de REST
  • PowerShell
  • Plantillas del Administrador de recursos de Azure
  • Scripts de flujos de datos

El script de flujo de datos (DFS) son los metadatos subyacentes, similares a un lenguaje de codificación, que se usan para ejecutar las transformaciones que se incluyen en un flujo de datos de asignación. Cada transformación se representa mediante una serie de propiedades que proporcionan la información necesaria para ejecutar el trabajo correctamente. El script se puede ver y editar en ADF haciendo clic en el botón "Script" de la cinta de opciones superior de la interfaz de usuario del explorador.