Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
S’applique à :✅Base de données SQL dans Microsoft Fabric
Cet article explique comment implémenter un magasin de données opérationnel (ODS) à l’aide de la base de données SQL dans Fabric. Il fournit des directives architecturales, des modèles de conception, des caractéristiques de charge de travail et des considérations spécifiques à Fabric pour la création d’un ODS sécurisé, performant et régi.
Qu’est-ce qu’un ODS ?
Un magasin de données opérationnel (ODS) est un magasin orienté objet, intégré et quasiment en temps réel qui consolide les données de plusieurs systèmes opérationnels dans un modèle légèrement organisé, normalisé, généralement dans des schémas normalisés. Il prend en charge les rapports opérationnels, les analyses légères, le service d’API et la propagation en aval vers des couches analytiques telles que Fabric Warehouse ou Fabric Lakehouse.
Un ODS n’est pas un système OLTP (Source Online Transaction Processing) ou un entrepôt dimensionnel.
Au lieu de cela, il sert de « vérité harmonisée et actualisée » pour les N dernières minutes, heures ou jours, se positionnant entre les systèmes sources et les plateformes analytiques.
Caractéristiques clés d’un ODS
Un magasin de données opérationnel (ODS) dans Microsoft Fabric est conçu pour fournir une vue quasi en temps réel des données opérationnelles avec des garanties de gouvernance et de performances fortes.
- Il ingère des données à partir de plusieurs systèmes sources, avec une faible latence.
- Le schéma est généralement normalisé en troisième forme normale (3NF), pour prendre en charge la flexibilité et la traçabilité.
- La qualité des données est assurée par le biais de la déduplication, de la résolution des identités et de la gestion des enregistrements supprimés tardivement ou partiellement, créant ainsi une base fiable pour les rapports opérationnels et l’analytique en aval.
- Les modèles de service incluent des requêtes basées sur SQL, des tableaux de bord opérationnels, des alertes et des API, tandis que les fonctionnalités de gouvernance Fabric garantissent la conformité et la sécurité dans le cycle de vie des données.
La base de données SQL dans Fabric sert de canal sécurisé et efficace entre les données opérationnelles et les plateformes analytiques.
Components
Les composants suivants sont impliqués dans l’utilisation de la base de données SQL dans Fabric en tant que magasin de données opérationnel :
- Contraintes et clés : Appliquer la logique métier et l’intégrité référentielle (clés naturelles, clés de substitution, clés étrangères).
- Résolution d’identité : dédupliquer entre les sources ; appliquer des règles de survie.
- Service : Exposer des points de terminaison GraphQL et/ou créer des tableaux de bord Power BI.
Meilleures pratiques d’ingestion et de charge de travail
La création d’un ODS sur une base de données SQL dans Fabric nécessite des stratégies d’ingestion qui équilibrent l’actualisation, la fiabilité et les performances.
- Les chargements par lots et incrémentiels sont généralement orchestrés via des pipelines de données Fabric utilisant des connecteurs dotés de la fonctionnalité de capture de données modifiées, associée à une logique de filigrane et de réessai pour garantir la cohérence.
- Paramétrez la concurrence du pipeline pour permettre à la base de données SQL de se mettre à l’échelle pendant les pics de charge tout en satisfaisant les objectifs de niveau de service pour l’actualisation des données.
- Le filigrane est un concept important dans les processus de copie incrémentielle. Il vous permet d’identifier facilement l’endroit où une charge incrémentielle s’est arrêtée pour la dernière fois.
- Effectuez des transformations lourdes en amont dans les notebooks Dataflow Gen2 ou Spark. Réservez la couche SQL pour les opérations finales
MERGEqui appliquent des contraintes et gèrent les performances de type OLTP. - Utilisez des modèles de conception idempotents qui combinent la détection des modifications, le filigrane numérique, le MERGE T-SQL et les tables de contrôle pour des redémarrages sécurisés et une résilience opérationnelle.
Moteur et environnement
La base de données SQL dans Fabric est basée sur le même moteur SQL Database qu’Azure SQL Database, offrant une expérience T-SQL familière avec une compatibilité complète pour les outils clients standard.
À l’aide de la base de données SQL dans Microsoft Fabric, vous pouvez créer des flux de travail de bout en bout de l’ingestion à l’analytique à l’aide d’autres fonctionnalités de Microsoft Fabric :
- Pipelines de données
- Dataflow Gen2
- Notebooks
- Intelligence en temps réel
- Power BI
- Tout cela avec DevOps rationalisé à l’aide de CI/CD basé sur Git