Partager via

Ingestion des données

  • Article

Cet article vous aide à comprendre la fonctionnalité d’ingestion des données dans finOps Framework et comment implémenter cela dans le cloud Microsoft.


Définition

L’ingestion des données fait référence au processus de collecte, de transformation et d’organisation des données provenant de différentes sources en un référentiel unique et facilement accessible.

Collectez des données de coût, d’utilisation, de performances et d’autres données métier auprès de fournisseurs de cloud, de fournisseurs et de systèmes locaux. La collecte des données peut inclure :

  • Des données informatiques internes. Par exemple, à partir d’une base de données de gestion de la configuration (CMDB) ou de systèmes de gestion des ressources informatiques (ITAM).
  • Des données spécifiques à l’entreprise, telles que les hiérarchies et les mesures organisationnelles qui mappent les coûts du cloud à la valeur métier ou la quantifient. Par exemple, le chiffre d’affaires, tel que défini par les énoncés de mission de votre organisation et division.

Découvrez comment les données sont signalées et planifient les exigences de normalisation des données pour prendre en charge la création de rapports sur des données similaires provenant de plusieurs sources.

Envisagez de gérer les données de coût à partir de plusieurs types de clouds ou de comptes. Préférez les normes ouvertes, comme le projet FinOps Open Cost &Usage Specification (FOCUS), qui fournit une cohérence et une normalisation aux données de coût cloud, et l’interopérabilité avec et entre les fournisseurs, les fournisseurs et les outils internes.

Vous devrez peut-être organiser les données de manière logique et significative en catégorisant ou en les étiquetant. Cela facilite l’accès, l’analyse et la compréhension.

Lorsqu’elles disposent d’une collection complète d’informations sur les coûts et l’utilisation liées à la valeur métier, les organisations peuvent responsabiliser les parties prenantes et atteindre plus rapidement les objectifs d’autres fonctionnalités FinOps. Les parties prenantes sont en mesure de prendre des décisions plus éclairées, ce qui entraîne une utilisation plus efficace des ressources et des économies potentiellement importantes.


Avant de commencer

Bien que l’ingestion des données soit essentielle à l’efficacité et à l’efficacité à long terme de toute pratique FinOps, il n’est pas une exigence bloquante pour votre ensemble initial d’investissements FinOps. S’il s’agit de votre première itération par le biais du cycle de vie finOps, envisagez des fonctionnalités plus légères qui peuvent offrir un retour sur investissement plus rapide, comme la création de rapports et l’analytique. L’ingestion des données peut nécessiter un temps et un effort significatifs en fonction de la taille et de la complexité du compte. Nous vous recommandons de vous concentrer sur ce processus une fois que vous possédez un bon niveau de compréhension de l’effort et de l’engagement des parties prenantes clés pour soutenir cet effort.

Lors de la première itération pour commencer à adopter cette fonctionnalité, envisagez d’utiliser FOCUS comme format de données de facturation standard pour toutes vos sources de données. Pour savoir pourquoi les organisations en ont besoin et pourquoi Microsoft croit en FOCUS, vous pouvez consulter la documentation FOCUS disponible sur le kit de ressources FinOps fourni par Microsoft.


Mise en route

Lorsque vous commencez à gérer les coûts dans le cloud, vous utilisez les outils natifs disponibles dans le portail ou via Power BI. Si vous en avez besoin, vous pouvez télécharger les données pour l’analyse locale, ou éventuellement créer un petit rapport ou le fusionner avec un autre jeu de données. Finalement, vous devez automatiser ce processus, qui est l’endroit où l’ingestion de données entre en jeu. Comme point de départ, nous nous concentrons sur l’ingestion de données de coût dans un magasin de données commun.

  • Avant d’ingérer des données de coût, réfléchissez à vos besoins en matière de création de rapports.
    • Parlez à vos parties prenantes pour vous assurer que vous comprenez bien ce dont elles ont besoin. Essayez de comprendre leurs motivations et leurs objectifs pour s’assurer que les données ou les rapports les aident.
    • Déterminez s’il faut adopter FOCUS comme schéma de facturation standard pour toute nouvelle solution. La conversion de tableaux de bord existants pour utiliser un autre jeu de données peut poser des problèmes.
      • Microsoft Cost Management prend en charge les exportations de données de coût et d’utilisation alignées sur le schéma FOCUS, ce qui vous permet de gagner beaucoup de temps et d’efforts.
    • Identifiez les données dont vous avez besoin, d’où vous pouvez obtenir les données et qui peut vous donner accès. Notez les jeux de données courants susceptibles de nécessiter la normalisation.
    • Déterminez le niveau de granularité requis et la fréquence à laquelle les données doivent être actualisées. Les données de coûts quotidiens peuvent être un défi à gérer pour un grand compte. Envisagez des agrégats mensuels pour réduire les coûts et augmenter les performances et la fiabilité des requêtes si cela répond à vos besoins de création de rapports.
  • Envisagez d’utiliser une plateforme FinOps tierce.
    • Passez en revue les solutions tierces disponibles dans la Place de marché Azure.
    • Si vous décidez de créer votre propre solution, envisagez de commencer par les hubs FinOps, qui font partie du kit de ressources FinOps open source fourni par Microsoft.
      • Les hubs FinOps accélèrent votre développement et vous aident à vous concentrer sur la création des fonctionnalités dont vous avez besoin plutôt que sur l’infrastructure.
  • Complétez les données de coût du cloud avec des hiérarchies et des budgets organisationnels.
  • Sélectionnez la solution de détails des coûts qui vous convient. Nous vous recommandons d’effectuer des exportations planifiées, qui poussent les données de coût vers un compte de stockage sur une base quotidienne ou mensuelle.
    • Si vous utilisez des exportations quotidiennes, notez que les données sont envoyées dans un nouveau fichier chaque jour. Veillez à sélectionner uniquement le dernier jour lorsque vous créez des rapports sur les coûts.
  • Déterminez si vous avez besoin d’une technologie d’intégration de données ou de workflow pour traiter les données.
    • Dans une phase précoce, vous pouvez conserver des données dans le compte de stockage exporté sans autre traitement. Nous vous recommandons d’y conserver les données pour les petits comptes avec des exigences légères et une personnalisation minimale.
    • Si vous devez ingérer des données dans un magasin de données plus avancé ou effectuer un nettoyage ou une normalisation des données, vous devrez peut-être implémenter un pipeline de données. Choisissez une technologie d'orchestration de pipeline de données.
  • Déterminez vos besoins en stockage des données.
    • Dans une phase initiale, nous vous recommandons d’utiliser le compte de stockage exporté pour plus de simplicité et des coûts réduits.
    • Si vous avez besoin d’un moteur de requête avancé ou si vous prévoyez d’atteindre des limitations de taille de données dans vos outils de création de rapports, vous devez envisager d’ingérer des données dans un magasin de données analytiques. Choisissez un magasin de données analytiques.

Les éléments essentiels comme point de départ

À ce stade, vous disposez d’un pipeline de données et vous ingérez des données dans un référentiel de données central. Lorsque vous allez au-delà des principes de base, tenez compte des points suivants :

  • Normalisez les données dans un schéma standard pour prendre en charge l’alignement et la fusion de données provenant de plusieurs sources.
    • Pour les données de coût, nous vous recommandons d’utiliser le schéma FinOps Open Cost &Usage Specification (FOCUS).
    • FinOps Hubs inclut des rapports Power BI qui normalisent les données au schéma FOCUS, ce qui peut être un bon point de départ.
  • Complétez les données de coût du cloud avec des hiérarchies et des budgets organisationnels.
    • Envisagez les exigences d’étiquetage ou de balisage pour mapper les coûts du cloud aux hiérarchies organisationnelles.
  • Enrichissez les données de ressources et de solution cloud avec des données CMDB ou ITAM internes.
  • Réfléchissez aux mesures métier et de chiffre d’affaires internes nécessaires pour mapper les coûts du cloud à la valeur métier.
  • Déterminez les autres jeux de données requis en fonction de vos besoins de création de rapports :

En savoir plus sur FinOps Foundation

Cette fonctionnalité fait partie de FinOps Framework de FinOps Foundation, une organisation à but non lucratif qui se consacre au développement de la gestion et de l’optimisation des coûts liés au cloud. Pour plus d’informations sur FinOps, notamment des playbooks utiles, des programmes de formation et de certification, et bien plus encore, consultez l’article sur la fonctionnalité d’ingestion des données dans la documentation finOps Framework.

Vous pouvez également trouver des vidéos connexes sur la chaîne YouTube de la FinOps Foundation :


Contenu connexe

Fonctionnalités FinOps connexes :

Produits connexes :

Solutions connexes :