Sincronizar un repositorio de GitHub en el Administrador de orquestación de flujo de trabajo
SE APLICA A:
Azure Data Factory 
Azure Synapse Analytics
Sugerencia
Pruebe Data Factory en Microsoft Fabric, una solución de análisis todo en uno para empresas. Microsoft Fabric abarca todo, desde el movimiento de datos hasta la ciencia de datos, el análisis en tiempo real, la inteligencia empresarial y los informes. ¡Obtenga más información sobre cómo iniciar una nueva evaluación gratuita!
Nota:
Esta característica está en versión preliminar pública. El Administrador de orquestación de flujo de trabajo cuenta con la tecnología de Apache Airflow.
En este artículo, aprenderá a sincronizar el repositorio de GitHub en el Administrador de orquestación de flujo de trabajo de Azure Data Factory de dos maneras diferentes:
- Mediante Habilitar la sincronización de Git en la interfaz de usuario del Administrador de orquestación de flujo de trabajo.
- Mediante el uso de la API de REST.
Requisitos previos
- Suscripción de Azure: Si no tiene una suscripción a Azure, cree una cuenta gratuita de Azure antes de empezar. Cree o seleccione una instancia de Data Factory existente en una región donde se admita la versión preliminar del Administrador de orquestación de flujo de trabajo.
- Repositorio de GitHub: necesita acceso a un repositorio de GitHub.
Uso de la interfaz de usuario del Administrador de orquestación de flujo de trabajo
Para sincronizar el repositorio de GitHub mediante la interfaz de usuario del Administrador de orquestación de flujo de trabajo:
Compruebe que el repositorio contiene las carpetas y los archivos necesarios:
dags/: para gráficos acíclicos dirigidos por Apache Airflow (dags) (obligatorio).
Plugins/: para integrar características externas en Airflow.
Al crear un entorno de ejecución de integración del Administrador de orquestación de flujo de trabajo, seleccione Habilitar la sincronización de Git en el cuadro de diálogo Configuración del entorno de Airflow.
Seleccione uno de los siguientes tipos de servicios de Git admitidos:
- GitHub
- ADO
- GitLab
- BitBucket
Seleccione un tipo de credencial:
Ninguno (en el caso de un repositorio público): al seleccionar esta opción, asegúrese de que la visibilidad del repositorio sea pública. A continuación, rellene los detalles:
- Dirección URL del repositorio de Git (obligatoria): dirección URL de clonación del repositorio de GitHub deseado.
- Rama de Git (obligatoria): rama actual donde se encuentra el repositorio de Git deseado.
Token de acceso personal de Git: después de seleccionar esta opción para un token de acceso personal (PAT), rellene los campos restantes en función del tipo de servicio de Git seleccionado:
- Token de acceso personal de GitHub
- Token de acceso personal de ADO
- Token de acceso personal de GitLab
- Token de acceso personal de BitBucket
SPN (nombre de entidad de seguridad de servicio): solo ADO admite este tipo de credencial. Cuando haya seleccionado esta opción, rellene los campos restantes en función del tipo de servicio de Git seleccionado:
- Dirección URL del repositorio de Git (obligatoria): dirección URL de clonación al repositorio de Git que se va a sincronizar.
- Rama de Git (obligatoria): rama del repositorio que se va a sincronizar.
- Id. de aplicación de la entidad de servicio (obligatorio): identificador de la aplicación de entidad de servicio con acceso al repositorio de ADO que se va a sincronizar.
- Secreto de la entidad de servicio (obligatorio): secreto generado manualmente en la entidad de servicio cuyo valor se va a usar para autenticar el repositorio de ADO y acceder a él.
- Id. de inquilino de la entidad de servicio (obligatorio): el identificador de inquilino de la entidad de servicio.
Rellene el resto de los campos con la información necesaria.
Seleccione Crear.
Uso de la API de REST
Para sincronizar el repositorio de GitHub mediante la API de REST:
Método: PUT
URL:
https://management.azure.com/subscriptions/<subscriptionid>/resourcegroups/<resourceGroupName>/providers/Microsoft.DataFactory/factories/<datafactoryName>/integrationruntimes/<airflowEnvName>?api-version=2018-06-01Parámetros de URI:
Nombre En Obligatorio Type Descripción Id. de suscripción path True cadena Identificador de suscripción. Nombre del grupo de recursos path True cadena Nombre del grupo de recursos (patrón Regex: ^[-\w\._\(\)]+$)dataFactoryName path True cadena Nombre del Azure Data Factory (patrón Regex: ^[A-Za-z0-9]+(?:-[A-Za-z0-9]+)*$airflowEnvName path True string Nombre del entorno del Administrador de orquestación de flujo de trabajo Versión de API Query True cadena Versión de API Cuerpo de la solicitud (configuración de Airflow)::
Nombre Escribir Descripción name cadena Nombre del entorno de Airflow properties propertyType Propiedades de configuración para el entorno Tipo de propiedad:
Nombre Escribir Descripción Tipo cadena Tipo de recurso (Airflow en este escenario) typeProperties typeProperty Flujo de aire Propiedad Type:
Nombre Escribir Descripción computeProperties computeProperty Configuración del tipo de proceso usado para el entorno airflowProperties airflowProperty Configuración de las propiedades de Airflow para el entorno Propiedad Compute:
Nombre Escribir Descripción ubicación string La ubicación del entorno de ejecución de integración de Airflow tiene como valor predeterminado la región de la factoría de datos. Para crear un entorno de ejecución de integración en otra región, cree una nueva factoría de datos en la región necesaria. computeSize cadena Tamaño del nodo de proceso en el que desea que se ejecute el entorno de Airflow. Algunos ejemplos son Grande o Pequeño. Se asignan inicialmente tres nodos. extraNodes integer Cada nodo adicional agrega tres trabajos más. Propiedad Airflow:
Nombre Escribir Descripción airflowVersion string Versión compatible de Apache Airflow. Por ejemplo, 2.4.3. airflowRequirements Matriz<cadena> Bibliotecas de Python que desea usar. Por ejemplo: ["flask-bcrypy=0.7.1"]. Puede ser una lista delimitada por comas. airflowEnvironmentVariables Objeto (par clave-valor) Variables de entorno que desea usar. Por ejemplo: { “SAMPLE_ENV_NAME”: “test” }. gitSyncProperties gitSyncProperty Propiedades de configuración de Git. enableAADIntegration boolean Permite que Microsoft Entra ID inicie sesión en el Administrador de orquestación de flujo de trabajo. userName cadena o null Nombre de usuario para Autenticación básica. password cadena o null Contraseña para Autenticación básica. Propiedad de sincronización de Git:
Nombre Escribir Descripción gitServiceType string El servicio Git en el que se encuentra el repositorio deseado. Los valores son GitHub, ADO, GitLab o BitBucket. gitCredentialType cadena Tipo de credencial de Git. Los valores son PAT (token de acceso personal), SPN (solo compatible con ADO) o Ninguno. repo string Vínculo del repositorio. branch string Rama que se va a usar en el repositorio. username string Nombre de usuario de GitHub. Credential: string Valor del PAT. tenantId string Id. del inquilino de la entidad de servicio (solo compatible con ADO). Respuestas:
Nombre status code Tipo Descripción Aceptado 200 Factory OK (CORRECTO) No autorizado 401 Error en la nube Matriz con más detalles de error
Ejemplos
Consulte los siguientes ejemplos.
Solicitud de ejemplo:
HTTP
PUT https://management.azure.com/subscriptions/222f1459-6ebd-4896-82ab-652d5f6883cf/resourcegroups/abnarain-rg/providers/Microsoft.DataFactory/factories/ambika-df/integrationruntimes/sample-2?api-version=2018-06-01
Cuerpo de ejemplo:
{
"name": "sample-2",
"properties": {
"type": "Airflow",
"typeProperties": {
"computeProperties": {
"location": "East US",
"computeSize": "Large",
"extraNodes": 0
},
"airflowProperties": {
"airflowVersion": "2.4.3",
"airflowEnvironmentVariables": {
"AIRFLOW__TEST__TEST": "test"
},
"airflowRequirements": [
"apache-airflow-providers-microsoft-azure"
],
"enableAADIntegration": true,
"userName": null,
"password": null,
"airflowEntityReferences": []
}
}
}
}
Respuesta de ejemplo:
Status code: 200 OK
Cuerpo de la respuesta:
{
"id": "/subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourceGroups/your-rg/providers/Microsoft.DataFactory/factories/your-df/integrationruntimes/sample-2",
"name": "sample-2",
"type": "Microsoft.DataFactory/factories/integrationruntimes",
"properties": {
"type": "Airflow",
"typeProperties": {
"computeProperties": {
"location": "East US",
"computeSize": "Large",
"extraNodes": 0
},
"airflowProperties": {
"airflowVersion": "2.4.3",
"pythonVersion": "3.8",
"airflowEnvironmentVariables": {
"AIRFLOW__TEST__TEST": "test"
},
"airflowWebUrl": "https://e57f7409041692.eastus.airflow.svc.datafactory.azure.com/login/",
"airflowRequirements": [
"apache-airflow-providers-microsoft-azure"
],
"airflowEntityReferences": [],
"packageProviderPath": "plugins",
"enableAADIntegration": true,
"enableTriggerers": false
}
},
"state": "Initial"
},
"etag": "3402279e-0000-0100-0000-64ecb1cb0000"
}
Estos son algunos ejemplos de carga de API:
Propiedades de sincronización de Git para Github con PAT:
"gitSyncProperties": { "gitServiceType": "Github", "gitCredentialType": "PAT", "repo": <repo url>, "branch": <repo branch to sync>, "username": <username>, "credential": <personal access token> }Propiedades de sincronización de Git para ADO con PAT:
"gitSyncProperties": { "gitServiceType": "ADO", "gitCredentialType": "PAT", "repo": <repo url>, "branch": <repo branch to sync>, "username": <username>, "credential": <personal access token> }Propiedades de sincronización de Git para ADO con una entidad de servicio:
"gitSyncProperties": { "gitServiceType": "ADO", "gitCredentialType": "SPN", "repo": <repo url>, "branch": <repo branch to sync>, "username": < service principal app id >, "credential": <service principal secret value> "tenantId": <service principal tenant id> }Propiedades de sincronización de Git para un repositorio público de GitHub:
"gitSyncProperties": { "gitServiceType": "Github", "gitCredentialType": "None", "repo": <repo url>, "branch": <repo branch to sync> }
Importación de un paquete privado con sincronización de Git
Este proceso opcional solo se aplica cuando se usan paquetes privados.
Este proceso supone que el paquete privado se sincronizó automáticamente a través de la sincronización de Git. Agregue el paquete como requisito en la interfaz de usuario del Administrador de orquestación de flujo de trabajo junto con el prefijo de ruta de acceso /opt/airflow/git/\<repoName\>/, si se conecta a un repositorio de ADO. Use /opt/airflow/git/\<repoName\>.git/ para todos los demás servicios de Git.
Por ejemplo, si el paquete privado está en /dags/test/private.whl en un repositorio de GitHub, debe agregar el requisito /opt/airflow/git/\<repoName\>.git/dags/test/private.whl en el entorno del Administrador de orquestación de flujo de trabajo.
