Supervisión de las canalizaciones de Azure Data Factory
Una vez que haya creado y publicado una canalización en Azure Data Factory, puede asociarla a un desencadenador o iniciar manualmente una ejecución a petición. Puede supervisar todas las ejecuciones de la canalización de forma nativa en la experiencia de usuario de Azure Data Factory. Para abrir la experiencia de supervisión, seleccione el icono de Monitor & Manage (Supervisar y administrar) de la hoja de la factoría de datos de Azure Portal. Si ya está en la experiencia del usuario de Azure Data Factory, haga clic en el icono Supervisar de la barra lateral izquierda.
La supervisión de la canalización se ejecuta
La vista de supervisión predeterminada es una lista de ejecuciones de la canalización desencadenadas en el período de tiempo seleccionado. Puede cambiar el intervalo de tiempo y filtrar por estado, nombre de canalización o anotación. Mantenga el puntero sobre la ejecución de canalización específica para ver acciones específicas de la ejecución, como volver a ejecutar y el informe de consumo.
La cuadrícula de ejecución de la canalización contiene las columnas siguientes:
| Nombre de la columna | Descripción |
|---|---|
| Nombre de la canalización | Nombre de la canalización |
| Hora de inicio de la ejecución | Fecha y hora de inicio de la ejecución de la canalización (MM/DD/AAAA, HH: MM: SS a.m./p.m.) |
| Hora de finalización de la ejecución | Fecha y hora de finalización de la ejecución de la canalización (MM/DD/AAAA, HH:MM:SS a. m./p. m.) |
| Duration | Duración de ejecución (HH) |
| Desencadenado por | El nombre del desencadenador que inició la canalización |
| Status | Error, Correcto, En curso, Cancelado o En cola |
| Anotaciones | Etiquetas filtrables asociadas a una canalización |
| Parámetros | Parámetros para la ejecución de la canalización (nombre/pares de valor) |
| Error | Si se ha producido un error en la canalización, el error de ejecución |
| Ejecutar identificador | Identificador de la ejecución de canalización |
Debe seleccionar manualmente el botón Actualizar para actualizar la lista de ejecuciones de actividad y de la canalización. La actualización automática no se admite actualmente.
Para ver los resultados de una ejecución de depuración, seleccione la pestaña Depurar.
Supervisión de las ejecuciones de actividad
Para obtener una vista detallada de las ejecuciones de actividades individuales de una ejecución de canalización específica, haga clic en el nombre de la canalización.
La vista de lista muestra ejecuciones de actividad correspondiente a cada ejecución de canalización. Mantenga el puntero sobre la ejecución de actividad específica para obtener información específica sobre la ejecución, como la entrada JSON, la salida JSON y las experiencias detalladas de supervisión específicas de la actividad. Las actividades como los flujos de datos, las copias y Azure Databricks tienen una vista dedicada que se puede consultar haciendo clic en el icono de los anteojos.
| Nombre de la columna | Descripción |
|---|---|
| Nombre de actividad | Nombre de la actividad dentro de la canalización |
| Tipo de actividad | Tipo de la actividad, como Copy, ExecuteDataFlow o AzureMLExecutePipeline |
| Acciones | Iconos que le permiten ver información de entrada JSON, información de salida JSON o experiencias de supervisión específicas de la actividad detalladas |
| Hora de inicio de la ejecución | Fecha y hora de inicio de la ejecución de actividad (MM/DD/AAAA, HH: MM: SS a.m./p.m.) |
| Duration | Duración de ejecución (HH) |
| Status | Error, Correcto, En curso o Cancelado |
| Integration Runtime | Instancia de Integration Runtime donde se ejecutó la actividad |
| Propiedades de usuario | Propiedades definidas por el usuario de la actividad |
| Error | Si se ha producido un error en la actividad, el error de ejecución |
| Ejecutar identificador | Identificador de la ejecución de la actividad |
Si se produce un error en una actividad, puede ver el mensaje de error detallado al hacer clic en el icono de la columna Error.
Vista de Gantt
Un diagrama de Gantt es una vista que le permite ver el historial de ejecución en un intervalo de tiempo. Al cambiar a una vista de Gantt, notará que todas las ejecuciones de canalización agrupadas por nombre se muestran como barras en relación con cuánto tiempo tardaron en ejecutarse. También puede agruparlas por las anotaciones o etiquetas que haya creado en la canalización. La vista de Gantt también está disponible en el nivel de ejecución de actividad.
La longitud de la barra le informará de la duración de la canalización. Asimismo, puede seleccionar la barra para ver más detalles.
Supervisión de sesiones de depuración de flujos de datos
Los flujos de datos de asignación le permiten crear lógica de transformación de datos sin código que se ejecuta a escala. Al crear la lógica, puede activar una sesión de depuración para trabajar de forma interactiva con los datos mediante un clúster de Spark en vivo.
Puede supervisar las sesiones de depuración del flujo de datos activas en una factoría en la experiencia Supervisar.
Paneles de supervisión
Para ver una presentación visual general de las ejecuciones de desencadenadores, actividades y canalizaciones, vaya al panel Paneles. Aquí puede ver el número de operaciones correctas y con errores durante un período especificado.
Supervisión mediante Azure Monitor
Azure Monitor ofrece métricas y registros de las infraestructuras a nivel básico para la mayoría de los servicios de Azure. Un recurso emite registros de diagnóstico de Azure que proporcionan datos exhaustivos y frecuentes acerca del funcionamiento de ese recurso. Azure Data Factory (ADF) puede escribir registros de diagnóstico en Azure Monitor.
Data Factory solo almacena los datos de ejecución de canalización durante 45 días. Use Azure Monitor si desea conservar los datos durante más tiempo. Con Monitor, puede enrutar los registros de diagnóstico a varios destinos diferentes.
- Storage Account (Cuenta de almacenamiento): Guarde los registro de diagnóstico en una cuenta de almacenamiento para auditarlos o para inspeccionarlos manualmente. Puede usar la configuración de diagnóstico para especificar el tiempo de retención en días.
- Centro de eventos: Transmita los registros a Azure Event Hubs. Los registros se convierten en la entrada de un servicio del asociado o una solución de análisis personalizada como Power BI.
- Log Analytics: Analice los registros con Log Analytics. La integración de Data Factory con Azure Monitor es útil en los escenarios siguientes:
- Quiere escribir consultas complejas en un amplio conjunto de métricas que se publican mediante Data Factory en Monitor. Puede crear alertas personalizadas sobre estas consultas mediante Monitor.
- Quiere realizar la supervisión entre fábricas de datos. Puede enrutar datos desde varias factorías de datos a una única área de trabajo de Monitor.
Puede usar también una cuenta de almacenamiento o un espacio de nombres de centro de eventos que no esté en la misma suscripción que el recurso que emite los registros. El usuario que configura los ajustes debe tener el control de acceso basado en roles de Azure (Azure RBAC) adecuado a ambas suscripciones.
Configuración de las opciones de diagnóstico y el área de trabajo
Cree o agregue la configuración de diagnóstico de su factoría de datos.
En el portal, vaya a Monitor. Seleccione Configuración>Configuración de diagnóstico.
Seleccione la factoría de datos para la que quiere establecer una configuración de diagnóstico.
Si no existe ninguna configuración en la factoría de datos seleccionada, se le pedirá que cree una. Seleccione Activar diagnósticos.
Si hay una configuración existente en la factoría de datos, verá una lista de configuraciones ya establecidas en la factoría de datos. Seleccione Agregar configuración de diagnóstico.
Asigne un nombre de la configuración, seleccione Enviar a Log Analytics y, después, seleccione un área de trabajo en Área de trabajo de Log Analytics.
En el modo Azure-Diagnostics, los registros de diagnóstico fluyen a la tabla AzureDiagnostics.
En el modo Resource-Specific, los registros de diagnóstico de Azure Data Factory fluyen a las tablas siguientes:
- ADFActivityRun
- ADFPipelineRun
- ADFTriggerRun
- ADFSSISIntegrationRuntimeLogs
- ADFSSISPackageEventMessageContext
- ADFSSISPackageEventMessages
- ADFSSISPackageExecutableStatistics
- ADFSSISPackageExecutionComponentPhases
- ADFSSISPackageExecutionDataStatistics
Puede seleccionar varios registros pertinentes para las cargas de trabajo que se van a enviar a las tablas de Log Analytics. Por ejemplo, si no usa SQL Server Integration Services (SSIS), no es necesario seleccionar ningún registro de SSIS. Si desea registrar las operaciones de inicio, detención y mantenimiento de SSIS Integration Runtime (IR), puede seleccionar registros de SSIS IR. Si invoca ejecuciones de paquetes SSIS a través de T-SQL en SQL Server Management Studio (SSMS), el Agente SQL Server u otras herramientas designadas, puede seleccionar los registros de paquetes SSIS. Si invoca ejecuciones de paquetes SSIS mediante actividades Ejecutar paquete SSIS en las canalizaciones de ADF, puede seleccionar todos los registros.
Si selecciona AllMetrics, habrá varias métricas de Azure Data Factory para que las supervise o genere alertas. Por ejemplo, las métricas de ejecuciones de actividades, canalizaciones y desencadenadores de Azure Data Factory, así como las operaciones de SSIS IR y las ejecuciones de paquetes SSIS.
> [!NOTE]
> Because an Azure log table can't have more than 500 columns, Select _Resource-Specific mode_.
- Seleccione Guardar.
Transcurridos unos instantes, el nuevo valor de configuración aparece en la lista de configuraciones para esta factoría de datos. Los registros de diagnóstico se transmiten en esa área de trabajo en cuanto se generan nuevos datos de evento. Pueden pasar hasta 15 minutos entre el momento en que se emite un evento y cuando aparece en Log Analytics.