Gestire il processo DI SAP CDC
SI APPLICA A:
Azure Data Factory Azure Synapse Analytics
Suggerimento
Provare Data Factory in Microsoft Fabric, una soluzione di analisi completa per le aziende. Microsoft Fabric copre tutti gli elementi, dallo spostamento dei dati all'analisi scientifica dei dati, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Scopri come avviare gratuitamente una nuova versione di valutazione .
Dopo aver creato una pipeline e un flusso di dati di mapping in Azure Data Factory usando il connettore SAP CDC, è importante gestire il processo ETL in modo appropriato.
Eseguire una pipeline di replica dei dati SAP in base a una pianificazione ricorrente
Per eseguire una pipeline di replica dei dati SAP in base a una pianificazione ricorrente con una frequenza specificata:
Creare spesso un trigger di finestra a cascata che esegue la pipeline di replica dei dati SAP. Impostare Concorrenza massima su 1.
Per altre informazioni, vedere Creare un trigger che esegue una pipeline in una finestra a cascata.
Aggiungere una dipendenza automatica dal trigger della finestra a cascata in modo che un'esecuzione successiva della pipeline attenda sempre fino al completamento delle esecuzioni precedenti della pipeline.
Per altre informazioni, vedere Creare una dipendenza di trigger di finestra a cascata.
Monitorare i flussi di dati SAP CDC
Per monitorare lo stato e lo stato di un flusso di dati SAP CDC in esecuzione, aprire lo strumento Monitoraggio e selezionare l'esecuzione della pipeline. Selezionare l'icona Dettagli flusso di dati nella tabella attività nella parte inferiore della schermata.
Verrà visualizzato il monitoraggio del flusso di dati. Facendo clic sull'icona di origine nel diagramma del flusso di dati nella parte superiore si aprirà la sezione di diagnostica dell'origine dei dettagli nella parte inferiore.
Il processo "SAP to stage subscriber" (non visualizzato per i caricamenti completi) consente di identificare il processo SAP CDC negli strumenti di monitoraggio del sistema di origine SAP.
La sezione "SAP to stage", che viene aggiornata periodicamente mentre l'estrazione dal sistema di origine SAP è ancora in esecuzione, mostra lo stato di avanzamento del processo di estrazione.
Al termine dell'esecuzione di un flusso di dati, il monitoraggio del flusso di dati mostra informazioni dettagliate sul processo di estrazione da SAP. Oltre alle informazioni di runtime come l'ora di inizio e la durata, si trova anche il numero di righe copiate da SAP nella riga Righe copiate e il numero di righe passate dall'origine alla trasformazione successiva (in questo caso la trasformazione sink) nella riga Righe calcolate. Si noti che le righe calcolate possono essere inferiori a quelle delle righe copiate: dopo l'estrazione dei record di dati modificati dal sistema SAP, il flusso di dati esegue una deduplicazione delle righe modificate in base alla definizione della chiave. Solo il record più recente viene passato ulteriormente verso il basso nel flusso di dati.
Monitorare le estrazioni di dati nei sistemi SAP
Per monitorare le estrazioni di dati nei sistemi SAP:
Nello strumento di accesso SAP nel sistema di origine SAP eseguire il codice di transazione ODQMON.
In Sottoscrittore immettere il valore per la proprietà Nome Sottoscrittore del servizio collegato SAP CDC. Nell'elenco a discesa Richiedi selezione selezionare Tutto per visualizzare tutte le estrazioni di dati che usano il servizio collegato.
È possibile visualizzare tutti i processi registrati dei sottoscrittori nella coda differenziale operativa (ODQ). I processi del Sottoscrittore rappresentano le estrazioni di dati dal flusso di dati di mapping di Azure Data Factory che usano il servizio collegato SAP CDC. Per ogni sottoscrizione ODQ, è possibile esaminare i dettagli per visualizzare tutte le estrazioni complete e differenziali. Per ogni estrazione, è possibile visualizzare singoli pacchetti di dati utilizzati.
Quando i flussi di dati di mapping di Data Factory che estraggono i dati SAP non sono più necessari, è necessario eliminare le sottoscrizioni ODQ. Quando si eliminano le sottoscrizioni ODQ, i sistemi SAP possono interrompere il rilevamento degli stati di sottoscrizione e rimuovere i pacchetti di dati non utilizzati da ODQ. Per eliminare una sottoscrizione ODQ, selezionare la sottoscrizione e selezionare l'icona Elimina.
Risolvere i problemi relativi alle modifiche differenziali
Il connettore SAP CDC in Data Factory legge le modifiche differenziali dal framework SAP ODP. I delta vengono registrati nelle tabelle ODQ.
Negli scenari in cui lo spostamento dei dati funziona (i flussi di dati di mapping terminano senza errori), ma i dati non vengono recapitati correttamente (nessun dato o forse solo un subset dei dati previsti), è necessario prima controllare in ODQMON se il numero di record forniti sul lato SAP corrisponde al numero di righe trasferite da Data Factory. Se corrispondono, il problema non è correlato a Data Factory, ma probabilmente proviene da una configurazione errata o mancante sul lato SAP.
Risolvere i problemi in SAP usando ODQMON
Per analizzare i dati forniti dal sistema SAP per lo scenario, avviare la transazione ODQMON nel sistema back-end SAP. Se si usa SAP Landscape Transformation Replication Server (SLT) con un server autonomo, avviare la transazione.
Per trovare gli ODQs che corrispondono ai flussi di dati di mapping, usare le opzioni di filtro. In Coda è possibile usare caratteri jolly per restringere la ricerca. Ad esempio, è possibile cercare in base al nome della tabella EKKO.
Selezionare la casella di controllo Calcola volume di dati per visualizzare i dettagli sul numero di righe e volume di dati (in byte) contenuti negli ODQs.
Per visualizzare le sottoscrizioni ODQ, fare doppio clic sulla coda. Un ODQ può avere più sottoscrittori, quindi controllare il nome del sottoscrittore immesso nel servizio collegato Data Factory. Scegliere la sottoscrizione con un timestamp più simile al momento in cui è stato eseguito il flusso di dati di mapping. Per le sottoscrizioni delta, la prima esecuzione del flusso di dati di mapping per la sottoscrizione viene registrata sul lato SAP.
Nella sottoscrizione, un elenco di richieste corrisponde al mapping delle esecuzioni del flusso di dati in Data Factory. Nella figura seguente viene visualizzato il risultato di quattro esecuzioni del flusso di dati di mapping:
In base al timestamp nella prima riga, trovare la riga corrispondente all'esecuzione del flusso di dati di mapping da analizzare. Se il numero di righe visualizzate è uguale al numero di righe lette dal flusso di dati di mapping, è stato verificato che Data Factory abbia letto e trasferito i dati come fornito dal sistema SAP. In questo scenario è consigliabile rivolgersi al team responsabile del sistema SAP.
Contenuto correlato
Altre informazioni sui connettori SAP.