Replikace více objektů ze SAP přes SAP CDC

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Tento článek popisuje šablonu řešení, kterou můžete použít k replikaci více objektů ODP ze SAP prostřednictvím konektoru SAP CDC do Azure Data Lake Gen2 ve formátu Delta s klíčovým oddílem.

O této šabloně řešení

Tato šablona čte externí řídicí soubor ve formátu JSON ve vašem úložišti úložiště, který obsahuje kontexty SAP ODP, objekty SAP ODP a klíčové sloupce ze zdrojového systému SAP a také kontejnery, složky a oddíly z cílového úložiště Azure Data Lake Gen2. Potom zkopíruje každý objekt SAP ODP ze systému SAP do Azure Data Lake Gen2 ve formátu Delta.

Šablona obsahuje tři aktivity:

• Vyhledávání načte seznam objektů SAP ODP, který se má načíst, a cestu k cílovému úložišti z externího řídicího souboru ve vašem úložišti Azure Data Lake Gen2.
• ForEach získá seznam objektů SAP ODP z aktivity Vyhledávání a iteruje každý objekt na aktivitu mapování toku dat.
• Mapování toku dat replikuje každý objekt SAP ODP ze systému SAP do Azure Data Lake Gen2 ve formátu Delta. Provede počáteční úplné načtení při prvním spuštění a pak provede přírůstkové načtení v následných spuštěních automaticky. Sloučí změny azure Data Lake Gen2 ve formátu Delta.

V této šabloně se vyžaduje externí řídicí soubor ve formátu JSON. Schéma řídicího souboru je následující.

• checkPointKey je váš vlastní klíč pro správu kontrolního bodu změny zachytávání dat v ADF. Tady najdete další podrobnosti.
• sapContext je kontext SAP ODP ze zdrojového systému SAP. Tady najdete další podrobnosti.
• sapObjectName je název objektu SAP ODP, který se má načíst ze systému SAP. Tady najdete další podrobnosti.
• sapRunMode je určení, jak chcete načíst objekt SAP. Může to být fullLoad, incrementalLoad nebo fullAndIncrementalLoad.
• sapKeyColumns jsou názvy klíčových sloupců z objektů SAP ODP, které slouží k odstranění dudupe v mapování toku dat.
• sapPartitions jsou seznam podmínek oddílů, které vedou k oddělení procesů extrakce v připojeném systému SAP.
• deltaContainer je název kontejneru v Azure Data Lake Gen2 jako cílové úložiště.
• deltaFolder je název vaší složky v Azure Data Lake Gen2 jako cílové úložiště.
• deltaKeyColumns jsou sloupce, které slouží k určení, jestli řádek ze zdroje odpovídá řádku z jímky, když chcete aktualizovat nebo odstranit řádek.
• deltaPartition je váš sloupec, který slouží k vytvoření oddílů pro každou jedinečnou hodnotu v tomto sloupci pro zápis dat do formátu Delta ve službě Azure Data Lake Gen2 prostřednictvím clusteru Spark používaného mapováním toku dat. Další podrobnosti najdete tady.

Ukázkový řídicí soubor je následující:

[
  {
    "checkPointKey":"CheckPointFor_ZPERFCDPOS$F",
    "sapContext": "ABAP_CDS",
    "sapObjectName": "ZPERFCDPOS$F",
    "sapRunMode": "fullAndIncrementalLoad",
    "sapKeyColumns": [
      "TABKEY"
    ],
    "sapPartitions": [
	[{
        "fieldName": "TEXTCASE",
        "sign": "I",
        "option": "EQ",
        "low": "1"
       },
       {
        "fieldName": "TEXTCASE",
        "sign": "I",
        "option": "EQ",
        "low": "X"
      }]
    ],
    "deltaContainer":"delta",
    "deltaFolder":"ZPERFCDPOS",
    "deltaKeyColumns":["TABKEY"],
    "deltaPartition":"TEXTCASE",
    "stagingStorageFolder":"stagingcontainer/stagingfolder"
  },
  {
    "checkPointKey":"CheckPointFor_Z0131",
    "sapContext": "SAPI",
    "sapObjectName": "Z0131",
    "sapRunMode": "incrementalLoad",
    "sapKeyColumns": [
      "ID"
    ],
    "sapPartitions": [],
    "deltaContainer":"delta",
    "deltaFolder":"Z0131",
    "deltaKeyColumns":["ID"],
    "deltaPartition":"COMPANY",
    "stagingStorageFolder":"stagingcontainer/stagingfolder"
  }
]

Jak používat tuto šablonu řešení

1. Vytvořte a nahrajte řídicí soubor do formátu JSON do azure Data Lake Gen2 jako cílové úložiště. Výchozí kontejner pro uložení řídicího souboru je ukázka a výchozí název souboru ovládacího prvku je SapToDeltaParameters.json.

2. V šabloně formátu Delta přejděte na replikování více tabulek ze SAP ODP do Azure Data Lake Storage Gen2 a klikněte na ni.

   

3. Klikněte na Pokračovat a zadejte propojenou službu připojenou k systému SAP jako zdroj a propojená služba připojená k Azure Data Lake Gen2 jako cíl. Další podrobnosti o propojené službě SAP CDC najdete tady. Mějte na paměti, že váš externí řídicí soubor by se měl nahrát do stejného účtu Azure Data Lake Gen2.

   

4. Klikněte na Použít tuto šablonu a uvidíte, že kanál je připravený k použití.

   

Související obsah

• Azure Data Factory SAP CDC
• Pokročilá témata k SAP CDC
• Zachytávání dat změn ve službě Azure Data Factory