Supervisar un tiempo de ejecución de integración dentro de una red virtual administrada
SE APLICA A:
Azure Data Factory Azure Synapse Analytics
Sugerencia
Pruebe Data Factory en Microsoft Fabric, una solución de análisis todo en uno para empresas. Microsoft Fabric abarca todo, desde el movimiento de datos hasta la ciencia de datos, el análisis en tiempo real, la inteligencia empresarial y los informes. Obtenga información sobre cómo iniciar una nueva evaluación gratuita.
Puede utilizar una red virtual administrada de Azure Data Factory para conectar de forma segura sus fuentes de datos a una red virtual que administre el servicio Data Factory. Con esta funcionalidad, puede establecer un entorno privado y aislado para los procesos de orquestación e integración de datos.
Cuando utiliza una red virtual administrada, combina las capacidades de integración y orquestación de datos de Data Factory con la seguridad y flexibilidad de las redes virtuales de Azure. Le permite crear canalizaciones de integración de datos sólidas, escalables y seguras que se conectan sin problemas a los recursos de red, ya sean locales o en la nube.
Un problema común de la informática administrada es la falta de visibilidad del rendimiento y la salud, especialmente en un entorno de red virtual administrada. Sin una supervisión adecuada, la identificación y resolución de problemas se convierte en un reto y puede dar lugar a posibles retrasos, errores y degradación del rendimiento.
Mediante el uso de la supervisión mejorada en Data Factory, puede obtener información valiosa sobre sus procesos de integración de datos. Esta información puede mejorar la eficiencia, el uso de recursos y el rendimiento general. Con la supervisión proactiva y las alertas oportunas, puede abordar los problemas, optimizar los flujos de trabajo y garantizar la ejecución sin problemas de sus canalizaciones de integración de datos dentro del entorno de red virtual administrado.
Nuevas métricas
La introducción de nuevas métricas mejora la visibilidad y las capacidades de supervisión dentro de los entornos de red virtual administrada.
Azure Data Factory proporciona tres tipos distintos grupos de proceso:
- Proceso para una actividad de copia
- Proceso para una actividad de canalización, como una búsqueda
- Proceso para una actividad externa, como un cuaderno Azure Databricks.
Estos grupos de procesos informáticos ofrecen flexibilidad y escalabilidad para adaptarse a diversas cargas de trabajo y asignar recursos de forma óptima. Cada uno está adaptado para manejar requisitos específicos de ejecución de actividades.
Para ayudar a garantizar una supervisión coherente y completa en todos los grupos de procesos informáticos, hemos implementado los mismos conjuntos de métricas de supervisión:
- Uso de la capacidad
- Porcentaje de capacidad disponible
- Longitud de la cola en espera
Independientemente del tipo de grupo de proceso que esté utilizando, puede acceder y analizar un conjunto estandarizado de métricas para obtener información sobre el rendimiento y el estado de sus actividades de integración de datos.
Nota
Estas métricas son válidas solo cuando se habilita el tiempo de vida (TTL) en un tiempo de ejecución de integración dentro de una red virtual administrada.
| Métrica | Unidad | Descripción |
|---|---|---|
| Copia del uso de la capacidad de Integration Runtime de MVNet | Percent | El porcentaje máximo de utilización de unidades de integración de datos (DIU) para actividades de copia TTL en un entorno de ejecución de integración de una red virtual administrada dentro de una ventana de 1 minuto. |
| Copia del porcentaje de capacidad disponible de Integration Runtime de MVNet | Percent | El porcentaje máximo de DIU disponibles para actividades de copia TTL en un entorno de ejecución de integración de red virtual administrada dentro de una ventana de 1 minuto. |
| Copia de la longitud de la cola en espera de Integration Runtime de MVNet | Count | La longitud de la cola de espera de las actividades de copia TTL en el entorno de ejecución de integración de una red virtual administrada dentro de una ventana de 1 minuto. |
| Uso de capacidad de canalización de Integration Runtime de MVNet | Percent | El porcentaje máximo de utilización de DIU para actividades de canalización en un entorno de ejecución de integración de red virtual administrada dentro de una ventana de 1 minuto. |
| Porcentaje de capacidad disponible de canalización de Integration Runtime de MVNet | Percent | El porcentaje máximo de DIU disponibles para actividades de canalización en el entorno de ejecución de integración de una red virtual administrada dentro de una ventana de 1 minuto. |
| Longitud de la cola de espera de canalización de Integration Runtime de MVNet | Count | La longitud de la cola de espera de las actividades de canalización en el entorno de ejecución de integración de una red virtual administrada dentro de una ventana de 1 minuto. |
| Uso de capacidad externa de Integration Runtime de MVNet | Percent | El porcentaje máximo de utilización de DIU para actividades externas en el entorno de ejecución de integración de una red virtual administrada dentro de una ventana de 1 minuto. |
| Porcentaje de capacidad disponible externa de Integration Runtime de MVNet | Percent | El porcentaje máximo de DIU disponibles para actividades externas en el entorno de ejecución de integración de una red virtual administrada dentro de una ventana de 1 minuto. |
| Longitud de la cola de espera externa de Integration Runtime de MVNet | Count | La longitud de la cola de espera de las actividades externas en el entorno de ejecución de integración de una red virtual administrada dentro de una ventana de 1 minuto. |
Para obtener más información sobre estas métricas, consulte Métricas admitidas para Microsoft.DataFactory/factorys.
Uso de métricas para la optimización del rendimiento
Mediante el uso de las métricas, puede realizar un seguimiento y evaluar sin problemas el rendimiento y la solidez de su entorno de ejecución de integración dentro de una red virtual administrada. También puede descubrir áreas potenciales de mejora continua mediante la optimización de la configuración informática y el flujo de trabajo para maximizar la eficiencia.
Para proporcionar más claridad sobre la aplicación práctica de estas métricas, a continuación se presentan algunos escenarios de ejemplo.
Equilibrada
Si observa que la utilización de la capacidad está por debajo del 100% y el porcentaje de capacidad disponible es alto, los recursos de proceso que reservó se están utilizando de forma eficiente.
Si la longitud de la cola de espera se mantiene constantemente baja o experimenta picos cortos ocasionales, le aconsejamos que ponga en cola otras actividades hasta que la utilización de la capacidad alcance el 100 por cien. Este enfoque ayuda a garantizar una utilización óptima de los recursos y a mantener un flujo de trabajo fluido con retrasos mínimos.
Orientado al rendimiento
Si observa que la utilización de la capacidad es sistemáticamente baja y la longitud de la cola de espera se mantiene sistemáticamente baja o experimenta picos cortos ocasionales, los recursos de proceso que reservó son superiores a la demanda de actividades.
En estos casos, independientemente de si el porcentaje de capacidad disponible es alto o bajo, le recomendamos que reduzca los recursos de procesos asignados para reducir sus costes. Al adaptar los recursos de proceso a los requisitos de la carga de trabajo, puede optimizar la utilización de los recursos y ahorrar costes sin comprometer la eficacia de sus operaciones.
Orientado a los costes
Si observa que todas las métricas (incluida la utilización de la capacidad, el porcentaje de capacidad disponible y la longitud de la cola de espera) son altas, es probable que los recursos de proceso que reservó sean insuficientes para sus actividades.
En este caso, le recomendamos que aumente los recursos de proceso asignados para reducir el tiempo de espera. Al aumentar la capacidad de proceso, se garantiza que las actividades dispongan de recursos suficientes para ejecutarse de forma eficiente, lo que minimiza los retrasos provocados por una cola abarrotada.
Ejecución intermitente de la actividad
Si observa que el porcentaje de capacidad disponible fluctúa entre bajo y alto dentro de un período de tiempo específico, es probable que se deba a la ejecución intermitente de las actividades, donde el período de vida (TTL) configurado es más corto que el intervalo entre las actividades. Esto puede tener un impacto significativo en el rendimiento del flujo de trabajo. Para solucionar este problema, hay dos soluciones posibles. En primer lugar, puede poner en cola más actividades para mantener una carga de trabajo coherente y usar los recursos de proceso disponibles de forma más eficaz. Al mantener el proceso constantemente activo, puede evitar el tiempo de preparación y lograr un mejor rendimiento. Como alternativa, puede considerar la posibilidad de ampliar el período de TTL para alinearse con el intervalo entre las actividades. Esto garantiza que los recursos de proceso permanezcan disponibles durante más tiempo, lo que reduce la frecuencia de los períodos de preparación y optimiza la rentabilidad.
Al implementar cualquiera de estas soluciones, puede mejorar el rendimiento del flujo de trabajo, minimizar las implicaciones en los costes y garantizar una ejecución más fluida de las actividades intermitentes.
Contenido relacionado
Consulte el siguiente artículo para obtener más información sobre las redes virtuales administradas y los puntos de conexión privados administrados: Red virtual administrada de Azure Data Factory.