Planeamiento para administrar los costos de Azure Data Factory

SE APLICA A: Azure Data Factory Azure Synapse Analytics

Sugerencia

Pruebe Data Factory en Microsoft Fabric, una solución de análisis todo en uno para empresas. Microsoft Fabric abarca todo, desde el movimiento de datos hasta la ciencia de datos, el análisis en tiempo real, la inteligencia empresarial y los informes. ¡Obtenga más información sobre cómo iniciar una nueva evaluación gratuita!

En este artículo se describe cómo planear y administrar los costos de Azure Data Factory.

En primer lugar, al principio del proyecto de ETL se usa una combinación de las calculadoras de precios de Azure y de precios y consumo por canalización para planear los costos de Azure Data Factory antes de agregar recursos para que el servicio calcule los costos. Después, a medida que agregue recursos de Azure, revise los costos estimados. Después de comenzar a usar los recursos de Azure Data Factory, use las características de Cost Management para establecer presupuestos y supervisar los costos. También puede revisar los costos previstos e identificar las tendencias de gasto para identificar las áreas en las que debería tomar medidas. Los costos de Azure Data Factory son solo una parte de los costos mensuales de la factura de Azure. Tenga en cuenta que en este artículo solo se explica cómo planear y administrar los costos de la factoría de datos. Se le facturarán todos los servicios y recursos de Azure que use en la suscripción de Azure, incluidos los servicios de terceros.

Requisitos previos

El análisis de costos de Cost Management admite la mayoría de los tipos de cuenta de Azure, pero no todos. Para ver la lista completa de tipos de cuenta compatibles, consulte Understand Cost Management data (Información sobre los datos de Cost Management). Para ver los datos de costos, se necesita al menos acceso de lectura en la cuenta de Azure. Para más información acerca de cómo asignar acceso a los datos de Azure Cost Management, consulte Asignación de acceso a los datos.

Cálculo de costos antes de usar Azure Data Factory

Use la calculadora de precios de ADF para obtener una cotización del costo por ejecutar la carga de trabajo ETL en Azure Data Factory. Para usar la calculadora, debe especificar detalles como el número de ejecuciones de actividad, el número de horas por unidad de integración de datos, el tipo de proceso que se usará para Data Flow, el número de núcleos, el recuento de instancias y la duración de la ejecución, entre otros.

Una de las preguntas más frecuentes sobre la calculadora de precios es qué valores se deben usar como entradas. Durante la fase de prueba de concepto, puede realizar ejecuciones de prueba con conjuntos de datos de ejemplo para comprender el consumo de varios medidores de ADF. Después, en función del consumo para el conjunto de datos de ejemplo, puede realizar una proyección del consumo de todo el conjunto de datos y de la programación de las operaciones.

Nota:

Los precios usados en el ejemplo siguientes son hipotéticos y no pretenden reflejar precios reales.

Por ejemplo, supongamos que necesita trasladar 1 TB de datos diariamente de AWS S3 a Azure Data Lake Gen2. Puede realizar una prueba de concepto en la que se mueven 100 GB de datos para medir el rendimiento de la ingesta de datos y comprender el consumo de facturación correspondiente.

Este es un ejemplo sobre los detalles de ejecución de una actividad de copia (su consumo real variará en función de la forma de su conjunto de datos específico, las velocidades de red, los límites de salida de la cuenta de S3, los límites de entrada en ADLS Gen2 y otros factores).

Gracias a la supervisión del consumo de en el nivel de ejecución de canalización, puede ver las cantidades de consumo de las mediciones de movimiento de datos correspondientes:

Por lo tanto, el número total de horas por DIU necesarias para mover 1 TB al día durante todo el mes es:

1,2667 (horas por DIU) * (1 TB/100 GB) * 30 (días en un mes) = 380 DIU por hora

Ahora puede introducir 30 ejecuciones de actividad y 380 horas por DIU a la calculadora de precios de ADF para obtener una estimación de la factura mensual:

Modelo de facturación completa de Azure Data Factory

Azure Data Factory se ejecuta en la infraestructura de Azure que genera los costos al implementar recursos nuevos. Es importante entender que podrían generarse otros costos de infraestructura adicionales.

Cómo se le cobra por Azure Data Factory

Azure Data Factory es un servicio de integración de datos elástico y sin servidor diseñado para el escalado en la nube. Esto significa que no es necesario planear ningún proceso de tamaño fijo para las cargas máximas; en su lugar, se especifica la cantidad de recursos que se asignarán a petición por operación, lo que permite diseñar los procesos ETL de una manera mucho más escalable. Además, el plan de ADF se factura según el consumo, por lo que solo paga por lo que usa.

Al crear o usar recursos de Azure Data Factory, es posible que se le cobre por los siguientes medidores:

• Ejecuciones de actividad de orquestación: se le cobra según el número de ejecuciones de actividad que se hayan orquestado.
• Horas de unidad de integración de datos (DIU): para las actividades de copia que se ejecutan en Azure Integration Runtime, se le cobra según el número de DIU usadas y la duración de la ejecución.
• Horas de núcleo virtual: para la ejecución y depuración del flujo de datos, se le cobra según el tipo de proceso, el número de núcleos virtuales y la duración de la ejecución.

Al final del ciclo de facturación, se suman los cargos de cada medidor. La factura muestra una sección para todos los costos de Azure Data Factory. Hay un elemento de línea independiente para cada medidor.

Otros costos que pueden generarse con Azure Data Factory

Al crear recursos para Azure Data Factory (ADF), también se crean recursos para otros servicios de Azure. Entre ellas, las siguientes:

• Ejecución de la actividad de canalización
• Ejecución de la actividad de canalización externa
• Creación, edición, recuperación y supervisión de artefactos de factoría de datos
• Duración de SSIS Integration Runtime (IR) en función del tipo de instancia y la duración

Nota:

Puede asignar la misma etiqueta a ADF y otros recursos de Azure, y colocarlos en la misma categoría para ver su facturación consolidada. Todos los entornos de ejecución de integración de SSIS heredarán la etiqueta de ADF. Si cambia la etiqueta de ADF, debe detener y reiniciar todos los entornos de ejecución de integración de SSIS que contiene para que hereden la nueva etiqueta. Consulte la sección Reconfiguración de un entorno de ejecución de integración de SSIS.

Uso del pago por adelantado de Azure con Azure Data Factory

Puede pagar los cargos de Azure Data Factory con el crédito del pago por adelantado de Azure. Sin embargo, no puede usar los créditos del pago por adelantado de Azure para pagar los gastos de productos y servicios de terceros, como los de Azure Marketplace.

Supervisión de costos

Los costes de Azure Data Factory se pueden supervisar en los niveles de fábrica, canalización, ejecución de canalización y ejecución de actividad.

Supervisión de los costos en el nivel de fábrica con Análisis de costos

A medida que se usan recursos de Azure con Data Factory, se incurre en costos. Los costos de unidad de uso de recursos de Azure varían según el intervalo de tiempo (segundos, minutos, horas y días) o el uso de unidades (bytes, megabytes, etc.). En cuanto se inicia el uso de Data Factory, se generan costos, que puede ver en el análisis de costos.

Al usar el análisis de costos, puede ver los costos de Data Factory de diferentes intervalos de tiempo en gráficos y tablas. Algunos ejemplos son: por día, mes actual y anterior y año. También puede ver los costos comparados con los presupuestos y los costos previstos. Con el tiempo, cambiar a vistas más largas puede ayudarle a identificar las tendencias de gasto y comprobar dónde este se ha sobrepasado. Si ha creado presupuestos, también podrá ver fácilmente dónde se han excedido.

Para ver los costos de Data Factory en el análisis de costos:

1. Inicie sesión en Azure Portal.
2. Abra el ámbito en Azure Portal y seleccione Análisis de costos en el menú. Por ejemplo, vaya a Suscripciones, seleccione una suscripción de la lista y, a continuación, seleccione Análisis de costos en el menú. Seleccione Ámbito para cambiar a otro ámbito del análisis de costos.
3. De forma predeterminada, el costo de los servicios se muestra en el primer gráfico de anillos. Seleccione el área del gráfico con la etiqueta "Azure Data Factory v2".

Los costos mensuales reales se muestran cuando se abre inicialmente el análisis de costos. Este es un ejemplo con todos los costos mensuales de uso.

• Para restringir los costos de un único servicio, como Data Factory, seleccione Agregar filtro y, a continuación, seleccione Nombre del servicio. A continuación, seleccione Azure Data Factory v2.

Este es un ejemplo que muestra solo los costos de Data Factory.

En el ejemplo anterior, hemos visto el costo actual del servicio. También se muestran los costos por regiones de Azure (ubicaciones) y los costos de Data Factory por grupo de recursos. A partir de aquí, puede explorar los costos por su cuenta.

Supervisión de los costos en el nivel de canalización con Análisis de costos

En ciertos casos, puede que quiera obtener un desglose pormenorizados del costo de las operaciones de nuestra fábrica como, por ejemplo, para realizar la devolución de cargos. Al integrar la plataforma de análisis de costos de Facturación de Azure, Data Factory puede separar los cargos de facturación de cada canalización. Al optar por recibir informes de facturación detallados de Azure Data Factory para una fábrica, puede comprender mejor cuánto cuesta cada canalización de la fábrica mencionada anteriormente.

Debe seleccionar cada fábrica para la que quiera recibir una facturación detallada. Para activar la característica de facturación detallada por canalización,

1. Vaya al portal de Azure Data Factory
2. En la pestaña Administrar, seleccione Configuración de fábrica en la sección General
3. Seleccione Mostrar informe de facturación por canalización.
4. Publicación del cambio

Nota:

La configuración de la facturación de canalización detallada no se incluye en las plantillas de ARM exportadas desde la fábrica. Esto significa que la integración y entrega continuas (CI/CD) no sobrescribirán los comportamientos de facturación de la fábrica. Esto le permite establecer diferentes comportamientos de facturación para fábricas de desarrollo, pruebas y producción.

Una vez habilitada la característica, cada canalización tendrá una entrada independiente en nuestro informe de facturación: en él se muestra exactamente cuánto cuesta cada canalización, en el intervalo de tiempo seleccionado. También le permite identificar las tendencias de gasto y observar gastos extra, si es que hay alguno.

Con las herramientas de grafos de Análisis de costos, obtendrá gráficos y líneas de tendencias similares, tal como se mostró anteriormente, pero en este caso para canalizaciones individuales. También se obtiene la vista de resumen por nombre de fábrica, ya que el nombre de fábrica se incluye en el informe de facturación, lo que permite realizar un filtrado adecuado cuando sea necesario.

El cambio solo afecta a cómo se emiten las facturas en el futuro y no cambia los cargos anteriores. Hay que darle un poco de tiempo al cambio para que se rellene en el informe de facturación: normalmente, el cambio tarda un día en reflejarse.

Advertencia

Al participar en la configuración por facturación, habrá una entrada para cada canalización de la factoría. Sobre todo, tenga en cuenta si tiene una cantidad excesiva de canalizaciones en la fábrica, ya que estas pueden ampliar y complicar significativamente el informe de facturación.

Limitaciones

A continuación, se muestran las limitaciones conocidas de las características de facturación por canalización. Estos medidores de facturación no se archivarán en la canalización en la que se basan, sino que se archivarán en un elemento de línea de reserva para la fábrica.

• Cargos de operaciones de Data Factory, como lectura y escritura y supervisión
• Cargos por nodos de SQL Server Integration Services (SSIS) de Azure Data Factory
• Si tiene la opción Tiempo de vida (TTL) configurada para Azure Integration Runtime (Azure IR), las actividades de Data Flow que se ejecutan en estos entornos de ejecución de integración no se archivan en canalizaciones individuales.

Supervisión del consumo en el nivel de ejecución de canalización en Azure Data Factory

En función de los tipos de actividades que tenga en la canalización, la cantidad de datos que se mueven y transforman, y la complejidad de la transformación, la ejecución de una canalización activará distintos medidores de facturación en Azure Data Factory.

Puede ver la cantidad de consumo de medidores distintos para ejecuciones de canalización individuales en la experiencia de usuario de Azure Data Factory. Para abrir la experiencia de supervisión, seleccione el icono Supervisar y administrar de la hoja de la factoría de datos de Azure Portal. Si ya está en ADF UX, seleccione el icono Supervisar de la barra lateral izquierda. La vista de supervisión predeterminada es una lista de ejecuciones de la canalización.

Al hacer clic en el botón Consumo situado junto al nombre de la canalización, se mostrará una ventana emergente con el consumo de la ejecución de canalización agregada de todas las actividades de la canalización.

La vista del consumo de la ejecución de canalización muestra el la cantidad de cada medidor de ADF que consumió la ejecución de canalización específica, pero no muestra el precio real que se cobrará, ya que la cantidad facturada depende del tipo de cuenta de Azure y del tipo de moneda que se usará. Para ver la lista completa de tipos de cuenta compatibles, consulte Understand Cost Management data (Información sobre los datos de Cost Management).

Supervisión del consumo en el nivel de ejecución de actividades en Azure Data Factory

Una vez que comprenda el consumo agregado en el nivel de ejecución de la canalización, existen escenarios en los que es necesario profundizar e identificar cuál es la actividad más costosa de la canalización.

Para ver el consumo en el nivel de la ejecución de la actividad, vaya a la opción Crear y supervisar de la interfaz de usuario de su factoría de datos. En la pestaña Supervisión en la que se muestra una lista de ejecuciones de canalización, seleccione el vínculo del nombre de canalización para acceder a la lista de ejecuciones de actividad en la ejecución de canalización. Haga clic en el botón Salida situado junto al nombre de la actividad y busque la propiedad billableDuration en la salida JSON:

El siguiente es un ejemplo de la ejecución de una actividad de copia:

A continuación, tiene un ejemplo de la ejecución de una actividad del flujo de datos de asignación:

Creación de presupuestos

Puede crear presupuestos para administrar los costos y crear alertas que envíen notificaciones automáticamente a las partes interesadas sobre anomalías en los gastos y riesgos de gastos adicionales. Las alertas se basan en el gasto comparado con los umbrales de presupuesto y costo. Los presupuestos y las alertas se crean para las suscripciones y los grupos de recursos de Azure, por lo que son útiles como parte de una estrategia general de supervisión de costos.

Los presupuestos se pueden crear con filtros para recursos o servicios específicos de Azure si quiere disponer de más granularidad en la supervisión. Los filtros ayudan a garantizar que no se crean accidentalmente recursos nuevos con un costo adicional. Para más información sobre las opciones de filtro disponibles al crear un presupuesto, consulte Opciones de agrupación y filtrado.

Exportación de datos de costos

También puede exportar los datos de costos a una cuenta de almacenamiento. Esto resulta útil cuando usted u otro usuario necesita hacer un análisis de datos adicional para los costos. Por ejemplo, los equipos de finanzas pueden analizar los datos con Excel o Power BI. Puede exportar los costos en una programación diaria, semanal o mensual y establecer un intervalo de fechas personalizado. La exportación de los datos de costos es la forma recomendada de recuperar conjuntos de datos de costos.

Contenido relacionado

• Aprenda a optimizar su inversión en la nube con Azure Cost Management.
• Obtenga más información sobre la administración de costos con los análisis de costos.
• Obtenga información sobre cómo evitar los costos inesperados.
• Haga el curso de aprendizaje guiado sobre Cost Management.
• Página de precios de Azure Data Factory
• Información sobre Azure Data Factory a través de ejemplos
• Calculadora de precios de Azure Data Factory