Compartir a través de

Ingesta y normalización de datos

  • Artículo

Este artículo le ayuda a comprender la funcionalidad de ingesta y normalización de datos en FinOps Framework y cómo implementarla en Microsoft Cloud.

Definición

La ingesta y normalización de datos hace referencia al proceso de recopilación, transformación y organización de datos de varios orígenes en un único repositorio fácilmente accesible.

Recopile los costes, el uso, el rendimiento y otros datos empresariales de proveedores de nube, proveedores y sistemas locales. La recopilación de los datos puede incluir:

  • Datos internos de TI. Por ejemplo, desde una base de datos de administración de configuración (CMDB) o sistemas de administración de recursos de TI (ITAM).
  • Datos específicos de la empresa, como jerarquías organizativas y métricas que asignan costes en la nube o cuantifican el valor empresarial. Por ejemplo, los ingresos, tal y como se definen en las declaraciones de misión de su organización y división.

Tenga en cuenta cómo se notifican los datos y planifique los requisitos de normalización de datos para apoyar la creación de informes sobre datos similares de varios orígenes, como los datos de costes de varias nubes o tipos de cuenta. Priorice las normas abiertas y la interoperabilidad con y entre proveedores, vendedores y herramientas internas. También puede ser necesario reestructurar los datos de forma lógica y significativa categorizándolos o etiquetándolos para facilitar su acceso, análisis y comprensión.

Cuando disponen de una colección exhaustiva de información sobre costes y uso vinculada al valor empresarial, las organizaciones pueden capacitar a las partes interesadas y acelerar los objetivos de otras funcionalidades de FinOps. Las partes interesadas pueden tomar decisiones más informadas, lo que da lugar a un uso más eficaz de los recursos y a un ahorro de costes potencialmente significativo.

Antes de empezar

Aunque la ingesta y la normalización de datos son fundamentales para la eficiencia y la eficacia a largo plazo de cualquier práctica de FinOps, no es un requisito de bloqueo para su conjunto inicial de inversiones en FinOps. Si es su primera iteración a través del ciclo de vida de FinOps, considere las funcionalidades más ligeras que pueden ofrecer un retorno de la inversión más rápido, como el análisis y la visualización de datos. La ingesta y la normalización de datos pueden requerir un tiempo y un esfuerzo significativos en función del tamaño y la complejidad de la cuenta. Recomendamos centrarse en este proceso una vez que se tenga el nivel adecuado de comprensión del esfuerzo y el compromiso de las partes interesadas clave para apoyar dicho esfuerzo.

Introducción

Al administrar el coste en la nube por primera vez, se usan las herramientas nativas disponibles en el portal o a través de Power BI. Si necesita más, puede descargar los datos para analizarlos localmente, o bien elaborar un pequeño informe o fusionarlos con otro conjunto de datos. Finalmente, debe automatizar este proceso, que es donde entra en acción la "ingesta de datos". Como punto de partida, nos centramos en la ingesta de datos de costes en un almacén de datos común.

  • Antes de ingerir datos de costes, piense en sus necesidades de creación de informes.
    • Comuníquese con las partes interesadas para asegurarse de que comprende cabalmente lo que necesitan. Intente comprender sus motivaciones y objetivos para asegurarse de que los datos o los informes les ayudan.
    • Identifique los datos que necesita, de dónde puede obtenerlos y quién puede darle acceso. Anote los conjuntos de datos comunes que puedan requerir la normalización.
    • Determine el nivel de granularidad necesario y la frecuencia con la que se deben actualizar los datos. Los datos de costes diarios pueden ser un desafío para administrar una cuenta grande. Considere la posibilidad de realizar agregados mensuales para reducir costes y aumentar el rendimiento y la confiabilidad de las consultas, si ello se ajusta a sus necesidades de creación de informes.
  • Considere la posibilidad de usar una plataforma de FinOps de terceros.
  • Seleccione la solución de detalles de costes adecuada para usted. Se recomiendan las exportaciones programadas, que envían los datos de costes a una cuenta de almacenamiento de forma diaria o mensual.
    • Si usa exportaciones diarias, observe que los datos se envían a un archivo nuevo cada día. Asegúrese de seleccionar solo el último día al crear informar sobre los costes.
  • Determine si necesita una tecnología de flujo de trabajo o integración de datos para procesar datos.
    • En una fase inicial, es posible que pueda conservar los datos en la cuenta de almacenamiento exportada sin otro procesamiento. Se recomienda mantener los datos allí para cuentas pequeñas con requisitos ligeros y personalización mínima.
    • Si necesita ingerir datos en un almacén de datos más avanzado o realizar una limpieza o normalización de datos, es posible que necesite implementar una canalización de datos. Elija una tecnología de orquestación de canalizaciones de datos.
  • Determine cuáles son sus requisitos de almacenamiento de datos.
    • En una fase inicial, se recomienda usar la cuenta de almacenamiento exportada para simplificar y reducir el coste.
    • Si necesita un motor de consultas avanzado o espera alcanzar las limitaciones de tamaño de los datos en las herramientas de creación informes, debe considerar la posibilidad de ingerir datos en un almacén de datos analíticos. Elija un almacén de datos analíticos.

Conceptos básicos

En este momento, tiene una canalización de datos y está ingiriendo datos en un repositorio de datos central. A medida que supere los conceptos básicos, tenga en cuenta los siguientes puntos:

  • Normalice los datos en un esquema estándar para admitir la alineación y combinación de datos de varios orígenes.
    • Para los datos de costos, se recomienda usar el esquema finOps Open Cost & Usage Specification (FOCUS).
    • Los centros de conectividad de FinOps incluye un informe de Power BI que normaliza los datos según el esquema de FOCUS, que puede ser un buen punto informe.
    • Para ver un ejemplo del esquema FOCUS con datos de Azure, consulte el informe de muestra de FOCUS.
  • Complemente los datos de costes en la nube con jerarquías organizativas y presupuestos.
    • Considere los requisitos de etiquetado para asignar los costes de la nube a las jerarquías organizativas.
  • Enriquezca los datos de soluciones y recursos en la nube con datos internos de CMDB o ITAM.
  • Tenga en cuenta qué métricas internas de negocio e ingresos son necesarias para asignar los costes de la nube al valor empresarial.
  • Determine qué otros conjuntos de datos son necesarios en función de sus necesidades de creación de informes:

Más información en la Fundación FinOps

Esta funcionalidad forma parte del FinOps Framework de la FinOps Foundation, una organización sin ánimo de lucro dedicada a fomentar el progreso de la optimización y administración de costes en la nube. Para obtener más información sobre FinOps, incluyendo cuadernos de estrategias útiles, programas de entrenamiento y certificación, etc., consulte el artículo Capacidad de ingesta y normalización de datos en la documentación de FinOps Framework.

Pasos siguientes