Quels sont les scénarios courants d’utilisation des stratégies de mise à jour de table

Cette section décrit certains scénarios connus qui utilisent des stratégies de mise à jour. Envisagez d’adopter ces scénarios lorsque vos circonstances sont similaires.

Dans cet article, vous allez découvrir les scénarios courants suivants :

• Enrichissement des données de l’architecture Medallion
• Routage des données
• Optimiser les modèles de données

Enrichissement des données de l’architecture Medallion

Les stratégies de mise à jour sur les tables offrent un moyen efficace d’appliquer des transformations rapides et sont compatibles avec l’architecture medallion lakehouse dans Fabric.

Dans l’architecture de médaillon, lorsque les données brutes arrivent dans une table d’atterrissage (couche bronze), une stratégie de mise à jour peut être utilisée pour appliquer des transformations initiales et enregistrer la sortie enrichie dans une table de couche argent. Ce processus peut être en cascade, où les données de la table de couche argent peuvent déclencher une autre stratégie de mise à jour pour affiner davantage les données et hydrater une table de couche or.

Le diagramme suivant illustre un exemple de stratégie de mise à jour d’enrichissement des données nommée Get_Values. Les données enrichies sont générées dans une table de couche argent, qui comprend une valeur d’horodatage calculée et des valeurs de recherche basées sur les données brutes.

Routage des données

Un cas particulier d’enrichissement des données se produit lorsqu’un élément de données brutes contient des données qui doivent être routées vers une autre table en fonction d’un ou de plusieurs attributs des données elles-mêmes.

Prenons un exemple qui utilise les mêmes données de base que le scénario précédent, mais cette fois,il existe trois messages. Le premier message est un message de télémétrie d’appareil, le deuxième message est un message d’alarme d’appareil et le troisième message est une erreur.

Pour gérer ce scénario, trois stratégies de mise à jour sont utilisées. La stratégie de mise à jour Get_Telemetry filtre le message de télémétrie de l’appareil, enrichit les données et les enregistre dans la table Device_Telemetry . De même, la stratégie de mise à jour Get_Alarms enregistre les données dans la table Device_Alarms . Enfin, la stratégie de mise à jour Log_Error envoie des messages inconnus à la table Error_Log , ce qui permet aux opérateurs de détecter les messages mal formés ou l’évolution inattendue du schéma.

Le diagramme suivant illustre l’exemple avec les trois stratégies de mise à jour.

Optimiser les modèles de données

Les stratégies de mise à jour sur les tables sont conçues pour la vitesse. Les tables sont généralement conformes à star conception de schéma, qui prend en charge le développement de modèles de données optimisés pour les performances et la facilité d’utilisation.

L’interrogation de tables dans un schéma star nécessite souvent la jointure de tables. Toutefois, les jointures de table peuvent entraîner des problèmes de performances, en particulier lors de l’interrogation de volumes élevés de données. Pour améliorer les performances des requêtes, vous pouvez aplatir le modèle en stockant les données dénormalisées au moment de l’ingestion.

La jointure de tables au moment de l’ingestion présente l’avantage supplémentaire de fonctionner sur un petit lot de données, ce qui réduit le coût de calcul de la jointure. Cette approche peut améliorer considérablement les performances des requêtes en aval.

Par exemple, vous pouvez enrichir les données de télémétrie brutes d’un appareil en recherchant des valeurs à partir d’une table de dimension. Une stratégie de mise à jour peut effectuer la recherche au moment de l’ingestion et enregistrer la sortie dans une table dénormalisée. En outre, vous pouvez étendre la sortie avec des données provenant d’une table de données de référence.

Le diagramme suivant illustre l’exemple, qui comprend une stratégie de mise à jour nommée Enrich_Device_Data. Il étend les données de sortie avec des données provenant de la table de données de référence de site .

Contenu connexe

• Stratégies de mise à jour de table
• Tutoriel : Acheminer des données à l’aide de stratégies de mise à jour de table