Ingesta de SAP con análisis a escala de nube en Azure
Azure puede admitir muchos enfoques para extraer e ingerir datos de orígenes de datos de SAP, incluidos de BusinessWare y SAP ERP Central Component (ECC). Los sistemas SAP son complejos porque su estructura monolítica se divide en varios dominios. El patrón recomendado es que cada grupo empresarial ingiera sus datos de SAP en su zona de aterrizaje de datos. Los datos se presentan en la capa enriquecida (después de pasar sin procesar) y son accesibles sujeto a los controles de acceso a grupos de Microsoft Entra ID. Los equipos financieros centrales pueden mantener e ingerir los objetos financieros en un único recurso de datos, lo que es favorable para los requisitos de la zona de aterrizaje de datos.
En función de los volúmenes de datos y los requisitos de latencia de la organización, uno de los tres patrones puede admitir los requisitos de ingesta.
Azure Data Factory
Data Factory proporciona varios conectores para los sistemas SAP y las distintas bases de datos (incluido SAP HANA). Se pueden usar para crear transformaciones de datos sencillas sin código en cuestión de minutos. La replicación diferencial no está disponible de forma predefinida, pero se puede lograr con cierta programación. Azure Data Factory solo se admite para el procesamiento por lotes o microlotes a intervalos de 15 minutos como mínimo.
Esta opción de Data Factory, que se describe como opción PULL, admite el inicio de sesión único y la autenticación de Secure Network Communication en SAP. También proporciona la opción de usar transformaciones de datos sin código para crear flujos de datos resistentes que se puedan integrar con Azure Databricks para la codificación de enriquecimiento y preparación de datos flexible. Se limita al procesamiento por lotes y requiere lógica de codificación para admitir extracciones diferenciales. También puede evaluar el nuevo conector ODP de SAP, que aprovecha el marco de aprovisionamiento de datos operativos (ODP) de SAP. Este nuevo conector puede conectarse a todos los sistemas SAP que admiten ODP para realizar cargas de datos completas e incrementales.
Business Objects Data Services y servidor de replicación de SAP Landscape Transformation
El servidor de replicación de SAP Landscape Transformation (SLT) es un complemento de SAP NetWeaver que usa la replicación basada en desencadenadores para extraer datos. Este servicio se integra con Business Objects Data Services (ODBCS) en el origen para proporcionar funcionalidades de extracción, carga y transformación, así como para crear los archivos de conjunto de datos que se transferirán. Esta opción se puede considerar para la ingesta por lotes y casi en tiempo real.
Esta opción basada en SAP, que se describe como la opción PUSH, facilita la replicación basada en desencadenadores y la extracción casi en tiempo real con una configuración sencilla y unificada para todos los datos de SAP. Esto requiere licencias de SAP, pasos de bajada adicionales y programación para mover datos a Azure, incluidos varios saltos de red basados en una herramienta de copia de archivos, como AzCopy.
Herramientas de terceros
Existen muchas herramientas de terceros que pueden proporcionar extracción e ingesta de valor añadido de orígenes de SAP en tiempo real. Microsoft recomienda Qlik Replicate (anteriormente conocido como Attunity), Simplement Data Liberator y Kagool Velocity. Cada una de estas herramientas proporciona una funcionalidad similar y puede extraer datos de SAP casi en tiempo real, así como proporcionar contexto empresarial e inteligencia de forma predefinida.
Estos servicios difieren en su arquitectura técnica. Qlik Replicate y Simplement Data Liberator proporcionan replicación casi en tiempo real mediante la identificación de cambios en los registros de base de datos de origen. Kagool Velocity usa un complemento para SAP NetWeaver y envía una solicitud de comentarios a la capa de aplicación para exponer datos. En comparación con las opciones mencionadas anteriormente, estas opciones proporcionan una mejor funcionalidad lista para usar y soporte casi en tiempo real, pero requieren tecnologías de terceros.
Recomendación
Nuestra recomendación principal es usar el conector ODP de SAP ya que:
Proporciona un único conector para conectarse a extractores de SAP ECC, vistas de SAP S/4HANA CDS, SAP BW, SAP BW4/HANA, SAP SLT y SAP HANA.
Hace uso de las vistas de CDS existentes y las vistas creadas personalizadas que ya se proporcionan, lo que facilita la extracción de datos de SAP S/4HANA y SAP BW.
Puede usar SLT que permita la captura de datos basada en desencadenadores en el nivel de tabla.
El uso de los flujos de datos en Azure Data Factory y canalizaciones de Synapse facilita las extracciones de datos sin necesidad de realizar marcas de agua.
Los flujos de datos proporcionan funcionalidades integradas para aplicar cambios en el receptor mediante el orden correcto en función de los metadatos de ODP y oculta completamente las complejidades necesarias para que los desarrolladores creen código personalizado para controlar inserciones, actualizaciones, eliminaciones o upserts.
Los flujos de datos usan el mecanismo de recuperación de la plataforma ODQ de forma transparente sin necesidad de que se ejecute ninguna lógica personalizada durante las extracciones con errores.
Los flujos de datos ofrecen ventajas de alto rendimiento (mediante lecturas paralelas, creación de particiones, etc.) para mejorar el rendimiento de las extracciones de datos.
El uso de un enfoque híbrido también es una opción disponible y puede constar de varias opciones que sirven como estrategia de ingesta para los datos de SAP. SAP SLT, BODS y Qlik se usan para extraer los datos de sistemas transaccionales de SAP (como SAP ECC), y Data Factory extrae los datos en Azure para convertirlos al formato de Parquet antes de escribirlos en Azure Data Lake Storage. Aprovecha el marco existente mediante la extracción independiente de datos de SAP NetWeaver Business Warehouse.
Pasos siguientes
Cómo los marcos de ingesta automatizada admiten el análisis a escala de nube en Azure