Gérer le processus CDC SAP
S’APPLIQUE À :
Azure Data Factory Azure Synapse Analytics
Conseil
Essayez Data Factory dans Microsoft Fabric, une solution d’analyse tout-en-un pour les entreprises. Microsoft Fabric couvre tous les aspects, du déplacement des données à la science des données, en passant par l’analyse en temps réel, l’aide à la décision et la création de rapports. Découvrez comment démarrer un nouvel essai gratuitement !
Une fois que vous avez créé un pipeline et un flux de données de mappage dans Azure Data Factory à l’aide du connecteur CDC SAP, il est important de gérer le processus ETL de manière appropriée.
Exécuter un pipeline de réplication de données SAP selon une planification périodique
Pour exécuter un pipeline de réplication de données SAP selon une planification périodique avec une fréquence spécifiée, procédez comme suit :
Créez un déclencheur de fenêtre bascule qui exécute fréquemment le pipeline de réplication de données SAP. Définissez la concurrence maximale sur 1.
Pour plus d’informations, voir Créer un déclencheur qui exécute un pipeline sur une fenêtre bascule.
Ajoutez une dépendance automatique sur le déclencheur de fenêtre bascule afin qu’une exécution de pipeline suivante attend toujours que les exécutions de pipeline antérieures soient correctement terminées.
Pour plus d’informations, consultez Créer une dépendance de déclencheur de fenêtre bascule.
Surveiller les flux de données CDC SAP
Pour surveiller l’état et la progression d’un flux de données CDC SAP en cours d’exécution, ouvrez l’outil Surveiller et sélectionnez votre exécution de pipeline. Sélectionnez l’icône Détails du flux de données dans le tableau d’activité en bas de l’écran.
Vous accédez ainsi au moniteur de flux de données. Cliquez sur l’icône source dans le diagramme de flux de données en haut pour ouvrir la section de diagnostics de source détaillée en bas.
Le processus d’abonné « SAP to stage » (non affiché pour les chargements complets) vous aide à identifier votre processus CDC SAP dans les outils de surveillance du système source SAP.
La section « SAP to stage », qui est régulièrement mise à jour tant que l’extraction à partir du système source SAP est toujours en cours d’exécution, indique la progression du processus d’extraction.
Lorsqu’un flux de données a été exécuté correctement, le moniteur de flux de données affiche des informations détaillées sur le processus d’extraction à partir de SAP. Outre les informations relatives à l’exécution, telles que l’heure de début et la durée, vous trouverez également le nombre de lignes copiées à partir de SAP dans la ligne Lignes copiées et le nombre de lignes transférées de la source à la transformation suivante (dans ce cas, la transformation du récepteur) dans la ligne Lignes calculées. Notez que le nombre de Lignes calculées peut être inférieur au nombre de Lignes copiées : après avoir extrait les enregistrements de données modifiés du système SAP, le flux de données effectue une déduplication des lignes modifiées en fonction de la définition de la clé. Seul l’enregistrement le plus récent est transmis plus loin dans le flux de données.
Surveiller les extractions de données sur les systèmes SAP
Pour surveiller les extractions de données sur les systèmes SAP :
Dans l’outil d’ouverture de session SAP sur votre système source SAP, exécutez le code de transaction ODQMON.
Dans Abonné, entrez la valeur de la propriété nom de l’abonné de votre service lié SAP CDC. Dans la liste déroulante Sélection de la demande, sélectionnez Toutes pour afficher toutes les extractions de données qui utilisent le service lié.
Vous pouvez voir tous les processus d’abonné inscrits dans la file d’attente delta opérationnelle (ODQ). Les processus d’abonné représentent des extractions de données à partir du flux de données de mappage Azure Data Factory qui utilise votre service lié SAP CDC. Pour chaque abonnement ODQ, vous pouvez consulter les détails pour afficher toutes les extractions complètes et delta. Pour chaque extraction, vous pouvez afficher les packages de données individuels qui ont été consommés.
Lorsque les flux de données de mappage Data Factory qui extraient les données SAP ne sont plus nécessaires, vous devez supprimer leurs abonnements ODQ. Lorsque vous supprimez des abonnements ODQ, les systèmes SAP peuvent cesser de suivre leurs états d'abonnement et supprimer les paquets de données non consommés de l'ODQ. Pour supprimer un abonnement ODQ, sélectionnez l’abonnement et sélectionnez l’icône Supprimer.
Résoudre les problèmes liés aux modifications delta
Le connecteur SAP CDC dans Data Factory lit les modifications delta de l’infrastructure SAP ODP. Les deltas sont enregistrés dans les tableaux ODQ.
Dans les scénarios dans lesquels le déplacement des données fonctionne (les flux de données de mappage se terminent sans erreur), mais les données ne sont pas livrées correctement (pas de données du tout, ou peut-être seulement un sous-ensemble des données attendues), vous devez d'abord vérifier dans ODQMON si le nombre d'enregistrements fournis du côté SAP correspond au nombre de lignes transférées par Data Factory. Si elles correspondent, le problème n'est pas lié à Data Factory, mais provient probablement d'une configuration incorrecte ou manquante côté SAP.
Résoudre les problèmes dans SAP à l’aide d’ODQMON
Pour analyser les données fournies par le système SAP pour votre scénario, démarrez la transaction ODQMON dans votre système principal SAP. Si vous utilisez SAP Landscape Transformation Replication Server (SLT) avec un serveur autonome, démarrez la transaction là-bas.
Pour trouver les ODQ qui correspondent à vos flux de données de mappage, utiliser les options de filtre. Dans File d’attente, vous pouvez utiliser des caractères génériques pour affiner la recherche. Par exemple, vous pouvez effectuer une recherche par le nom de la table EKKO.
Cochez la case Calculer le volume de données fournit des détails sur le nombre de lignes et de volumes de données (en octets) contenus dans les ODQ.
Pour afficher les abonnements ODQ, double-cliquez sur la file d’attente. Un ODQ peut avoir plusieurs abonnés. Vérifiez donc le nom de l’abonné que vous avez entré dans le service lié Data Factory. Choisissez l’abonnement doté d’un horodatage qui correspond le plus étroitement au moment de l’exécution de votre flux de données de mappage. Pour les abonnements delta, la première exécution du flux de données de mappage pour l'abonnement est enregistrée du côté SAP.
Dans l’abonnement, une liste de requêtes correspond aux exécutions de flux de données de mappage dans Data Factory. Dans la capture d’écran ci-dessous, vous voyez le résultat de quatre exécutions de flux de données de mappage :
En fonction de l’horodatage de la première ligne, recherchez la ligne correspondant à l’exécution de flux de données de mappage que vous souhaitez analyser. Si le nombre de lignes affichées est égal au nombre de lignes lues par le flux de données de mappage, vous avez vérifié que Data Factory a lu et transféré les données comme indiqué par le système SAP. Dans ce scénario, nous vous recommandons de consulter l’équipe responsable de votre système SAP.
Contenu connexe
En savoir plus sur les connecteurs SAP.