Delen via

Meerdere objecten repliceren vanuit SAP via SAP CDC

  • Artikel

VAN TOEPASSING OP: Azure Data Factory Azure Synapse Analytics

Tip

Probeer Data Factory uit in Microsoft Fabric, een alles-in-één analyseoplossing voor ondernemingen. Microsoft Fabric omvat alles, van gegevensverplaatsing tot gegevenswetenschap, realtime analyses, business intelligence en rapportage. Meer informatie over het gratis starten van een nieuwe proefversie .

In dit artikel wordt een oplossingssjabloon beschreven die u kunt gebruiken om meerdere ODP-objecten van SAP te repliceren via SAP CDC-connector naar Azure Data Lake Gen2 in Delta-indeling met sleutelpartitie.

Over deze oplossingssjabloon

Deze sjabloon leest een bestand met externe controle in json-indeling in uw opslagarchief, dat uw SAP ODP-contexten, SAP ODP-objecten en sleutelkolommen van het SAP-bronsysteem bevat, evenals uw containers, mappen en partities uit het doelarchief van Azure Data Lake Gen2. Vervolgens wordt elk van het SAP ODP-object gekopieerd van het SAP-systeem naar Azure Data Lake Gen2 in Delta-indeling.

De sjabloon bevat drie activiteiten:

  • Met opzoeken wordt de lijst met SAP ODP-objecten opgehaald die moet worden geladen en het doelarchiefpad uit een extern besturingsbestand in uw Azure Data Lake Gen2-archief.
  • ForEach haalt de lijst met SAP ODP-objecten op uit de opzoekactiviteit en doorloopt elk object naar de toewijzingsgegevensstroomactiviteit.
  • Toewijzingsgegevensstroom repliceert elk SAP ODP-object van het SAP-systeem naar Azure Data Lake Gen2 in Delta-indeling. De eerste volledige belasting wordt uitgevoerd in de eerste uitvoering en voert vervolgens automatisch incrementele belasting uit in de volgende uitvoeringen. Hiermee worden de wijzigingen samengevoegd in Azure Data Lake Gen2 in Delta-indeling.

Een extern besturingselementbestand in json-indeling is vereist in deze sjabloon. Het schema voor het besturingsbestand is zoals hieronder.

  • checkPointKey is uw aangepaste sleutel voor het beheren van het controlepunt van uw gewijzigde gegevensopname in ADF. Hier vindt u meer informatie.
  • sapContext is uw SAP ODP-context van het bron-SAP-systeem. Hier vindt u meer informatie.
  • sapObjectName is de naam van het SAP ODP-object dat moet worden geladen vanuit het SAP-systeem. Hier vindt u meer informatie.
  • sapRunMode is om te bepalen hoe u sap-object wilt laden. Dit kan fullLoad, incrementalLoad of fullAndIncrementalLoad zijn.
  • sapKeyColumns zijn de sleutelkolomnamen van SAP ODP-objecten die worden gebruikt om dedupe in de toewijzingsgegevensstroom uit te voeren.
  • sapPartitions zijn een lijst met partitievoorwaarden die leiden tot afzonderlijke extractieprocessen in het verbonden SAP-systeem.
  • deltaContainer is uw containernaam in Azure Data Lake Gen2 als doelarchief.
  • deltaFolder is de mapnaam in Azure Data Lake Gen2 als doelarchief.
  • deltaKeyColumns zijn uw kolommen die worden gebruikt om te bepalen of een rij uit de bron overeenkomt met een rij uit de sink wanneer u een rij wilt bijwerken of verwijderen.
  • deltaPartition is uw kolom die wordt gebruikt voor het maken van partities voor elke unieke waarde in een dergelijke kolom om gegevens te schrijven in Delta-indeling in Azure Data Lake Gen2 via een Spark-cluster dat wordt gebruikt door de toewijzingsgegevensstroom. Hier vindt u meer informatie

Hieronder ziet u een voorbeeld van een besturingselementbestand:

[
  {
    "checkPointKey":"CheckPointFor_ZPERFCDPOS$F",
    "sapContext": "ABAP_CDS",
    "sapObjectName": "ZPERFCDPOS$F",
    "sapRunMode": "fullAndIncrementalLoad",
    "sapKeyColumns": [
      "TABKEY"
    ],
    "sapPartitions": [
	[{
        "fieldName": "TEXTCASE",
        "sign": "I",
        "option": "EQ",
        "low": "1"
       },
       {
        "fieldName": "TEXTCASE",
        "sign": "I",
        "option": "EQ",
        "low": "X"
      }]
    ],
    "deltaContainer":"delta",
    "deltaFolder":"ZPERFCDPOS",
    "deltaKeyColumns":["TABKEY"],
    "deltaPartition":"TEXTCASE",
    "stagingStorageFolder":"stagingcontainer/stagingfolder"
  },
  {
    "checkPointKey":"CheckPointFor_Z0131",
    "sapContext": "SAPI",
    "sapObjectName": "Z0131",
    "sapRunMode": "incrementalLoad",
    "sapKeyColumns": [
      "ID"
    ],
    "sapPartitions": [],
    "deltaContainer":"delta",
    "deltaFolder":"Z0131",
    "deltaKeyColumns":["ID"],
    "deltaPartition":"COMPANY",
    "stagingStorageFolder":"stagingcontainer/stagingfolder"
  }
]

Deze oplossingssjabloon gebruiken

  1. Maak en upload een besturingselementbestand in json-indeling naar uw Azure Data Lake Gen2 als doelarchief. De standaardcontainer voor het opslaan van het besturingsbestand is demo en de standaardnaam van het besturingselementbestand is SapToDeltaParameters.json.

  2. Ga naar de sjabloon Meerdere tabellen repliceren van SAP ODP naar Azure Data Lake Storage Gen2 in delta-indeling en klik erop .

    Schermopname van de SAP CDC-zoeksjabloon.

  3. Klik op Doorgaan en voer de gekoppelde service in die is verbonden met het SAP-systeem als bron en de gekoppelde service die is verbonden met Azure Data Lake Gen2 als doel. Hier vindt u meer informatie over de gekoppelde SAP CDC-service. Houd er rekening mee dat uw externe controlebestand moet worden geüpload naar hetzelfde account van Azure Data Lake Gen2.

    Schermopname van een SAP CDC-sjabloon voor gebruik.

  4. Klik op Deze sjabloon gebruiken en u ziet dat de pijplijn gereed is voor gebruik.

    Schermopname van SAP CDC-pijplijn.

Gerelateerde inhoud