Ingestion SAP avec une analyse à l’échelle du cloud dans Azure
Azure peut prendre en charge de nombreuses approches pour l’extraction et l’ingestion de données à partir de sources de données SAP, notamment à partir de BusinessWare et du composant ECC (ERP Central Component) SAP. Les systèmes SAP sont complexes, car leur structure monolithique est découpée sur plusieurs domaines. Le modèle recommandé permet à chaque groupe professionnel d’ingérer ses données à partir de SAP dans sa zone d’atterrissage de données. Les données sont présentées dans la couche enrichie (transmises en brut) et sont accessibles en fonction des contrôles d’accès au groupe Microsoft Entra. Les équipes financières centrales peuvent organiser et ingérer les objets financiers dans une seule ressource de données, en fonction des exigences de leur zone d’atterrissage de données.
En fonction des volumes de données et des exigences de latence de votre organisation, l’un des trois modèles peut prendre en charge vos exigences en matière d’ingestion.
Azure Data Factory
Data Factory fournit plusieurs connecteurs aux systèmes SAP et à différentes bases de données (notamment SAP Hana). Ils peuvent être utilisés pour créer des transformations de données simples et sans code en quelques minutes. La réplication delta n’est pas prête à l’emploi, mais peut être réalisée avec une certaine programmation. Azure Data Factory n’est pris en charge que pour le traitement par lots ou les microlots à des intervalles de 15 minutes au minimum.
Décrite comme l’option PULL, cette option Data Factory prend en charge l’authentification unique et l’authentification Secure Network Communication dans SAP. Elle offre également la possibilité d’utiliser des transformations de données sans code pour créer des flux de données résilients qui peuvent s’intégrer à Azure Databricks pour la préparation et le codage d’enrichissement des données flexibles. Elle est limitée au traitement par lots et requiert une logique de codage pour prendre en charge les extractions delta. Vous pouvez également évaluer le nouveau connecteur SAP ODP qui tire parti du framework SAP ODP (Operational Data Provisioning). Ce nouveau connecteur peut se connecter à tous les systèmes SAP qui prennent en charge ODP pour effectuer des chargements de données complets et incrémentiels.
Serveur de réplication SAP Landscape Transformation et services de données d’objets métier
Le serveur de réplication SAP Landscape Transformation (SLT) est un module complémentaire SAP NetWeaver qui utilise la réplication basée sur un déclencheur pour extraire les données. Ce service s’intègre à Business Objects Data Services (BODS) à la source pour fournir des fonctionnalités d’extraction, de chargement et de transformation, et pour créer les fichiers de jeu de données à transférer. Cette option peut être prise en compte pour l’ingestion en temps quasi réel et par lots.
Décrite comme l’option PUSH, cette option basée sur SAP facilite la réplication basée sur les déclencheurs et l’extraction en temps quasi réel avec une configuration simple et unifiée pour toutes les données SAP. Cela nécessite une licence SAP, des étapes en aval supplémentaires et une planification pour déplacer des données vers Azure, notamment plusieurs tronçons réseau reposant sur un outil de copie de fichiers, tel qu’AzCopy.
Outils tiers
De nombreux outils tiers peuvent fournir une extraction et une ingestion à valeur ajoutée à partir des sources SAP en temps réel. Microsoft recommande Qlik Replicate (précédemment connu sous le nom d’Attunity), Simplement Data Liberator et Kagool Velocity. Chacun offre des fonctionnalités similaires et peut extraire des données de SAP en temps quasi réel, et fournir un contexte et une intelligence métier prêts à l’emploi.
Ces services diffèrent dans leur architecture technique. Qlik Replicate et Simplement Data Liberator fournissent une réplication en temps quasi réel en identifiant les modifications dans les journaux de base de données sources. Kagool Velocity utilise un module complémentaire pour SAP NetWeaver et envoie une demande de commentaires à la couche d’application pour exposer les données. Par rapport aux options mentionnées précédemment, ces options offrent de meilleures fonctionnalités prêtes à l’emploi et un support en temps quasi réel, mais elles nécessitent des technologies tierces.
Recommandation
Notre principale recommandation est d’utiliser le connecteur SAP ODP comme suit :
Il fournit un connecteur unique pour se connecter aux extracteurs ECC SAP, aux vues CDS SAP S/4HANA, SAP BW, SAP BW, SAP BW4/HANA, SAP SLT et SAP HANA.
Il utilise les vues CDS existantes et les vues créées personnalisées qui sont déjà fournies, ce qui facilite l’extraction des données à partir de SAP S/4HANA et SAP BW.
Il peut utiliser SLT, qui permet la capture de données basée sur un déclencheur au niveau de la table.
L’utilisation des flux de données dans Azure Data Factory et les pipelines Synapse simplifie les extractions de données sans nécessiter de filigrane.
Les flux de données fournissent des fonctionnalités intégrées pour appliquer des modifications dans le récepteur dans l’ordre correct en fonction des métadonnées ODP, et masquent complètement les complexités requises pour que les développeurs créent du code personnalisé afin de gérer les insertions/mises à jour/suppressions/upserts.
Les flux de données utilisent en toute transparence le mécanisme de récupération de l’infrastructure ODQ, et ne nécessitent donc aucune logique personnalisée pour exécuter la récupération pendant les extractions ayant échoué.
Les flux de données offrent l’avantage de débits élevés (par le biais de lectures parallèles, de partitionnement, etc.) pour améliorer les performances des extractions de données.
L’utilisation d’une approche hybride est également une option disponible, et peut être constituée de plusieurs options qui servent de stratégie d’ingestion pour les données SAP. SAP SLT, BODS et Qlik permettent d’extraire les données des systèmes transactionnels SAP (tels que SAP ECC) et Data Factory extrait les données dans Azure pour les convertir au format Parquet avant de les écrire dans Azure Data Lake Storage. Cet outil tire parti de l’infrastructure existante en extrayant indépendamment les données de SAP NetWeaver Business Warehouse.