Adatok másolása OData-forrásból az Azure Data Factory vagy a Synapse Analytics használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk azt ismerteti, hogyan használhat másolási tevékenységet egy Azure Data Factory vagy Synapse Analytics-folyamatban az adatok OData-forrásból való másolásához. A cikk a másolási tevékenységre épül, amely a másolási tevékenység általános áttekintését mutatja be.

Támogatott képességek

Ez az OData-összekötő a következő képességekhez támogatott:

Támogatott képességek IR
Copy tevékenység (forrás/-) ① ②
Keresési tevékenység ① ②

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

A forrásként/fogadóként támogatott adattárak listáját a Támogatott adattárak című témakörben találja.

Ez az OData-összekötő a következőket támogatja:

  • OData 2.0-s, 3.0-s és 4.0-s verzió.
  • Adatok másolása a következő hitelesítések egyikével: Névtelen, Alapszintű, Windows és Microsoft Entra szolgáltatásnév.

Előfeltételek

Ha az adattár helyszíni hálózaton, Azure-beli virtuális hálózaton vagy Amazon Virtual Private Cloudon belül található, konfigurálnia kell egy saját üzemeltetésű integrációs modult a csatlakozáshoz.

Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja az Azure Integration Runtime-ot. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, hozzáadhat azure integration runtime IP-eket az engedélyezési listához.

Az Azure Data Factory felügyelt virtuális hálózati integrációs moduljával is elérheti a helyszíni hálózatot anélkül, hogy saját üzemeltetésű integrációs modult telepítene és konfigurálna.

A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

Társított szolgáltatás létrehozása OData-tárolóhoz felhasználói felületen

Az alábbi lépéseket követve hozzon létre egy társított szolgáltatást egy OData-tárolóhoz az Azure Portal felhasználói felületén.

  1. Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd válassza az Új lehetőséget:

  2. Keresse meg az OData-t, és válassza ki az OData-összekötőt.

    Screenshot of the OData connector.

  3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

    Screenshot of linked service configuration for an OData store.

Csatlakozás or konfigurációjának részletei

Az alábbi szakaszok részletesen ismertetik az OData-összekötőkre jellemző Data Factory-entitások definiálásához használható tulajdonságokat.

Társított szolgáltatás tulajdonságai

OData társított szolgáltatás esetén a következő tulajdonságok támogatottak:

Property Leírás Required
típus A típustulajdonságot OData értékre kell állítani. Igen
url Az OData szolgáltatás gyökér URL-címe. Igen
authenticationType Az OData-forráshoz való csatlakozáshoz használt hitelesítés típusa. Az engedélyezett értékek a Névtelen, az Alapszintű, a Windows és az AadServicePrincipal. A felhasználóalapú OAuth nem támogatott. A hitelesítési fejléceket a tulajdonságban authHeader is konfigurálhatja. Igen
authHeaders További HTTP-kérelemfejlécek a hitelesítéshez.
Az API-kulcsos hitelesítés használatához például kiválaszthatja a hitelesítési típust "Névtelen" néven, és megadhatja az API-kulcsot a fejlécben.
Nem
Felhasználónév Adja meg a userName nevet, ha alapszintű vagy Windows-hitelesítést használ. Nem
jelszó Adja meg a felhasználónévhez megadott felhasználói fiók jelszavát. Jelölje meg ezt a mezőt SecureString-típusként a biztonságos tároláshoz. Hivatkozhat az Azure Key Vaultban tárolt titkos kódokra is. Nem
servicePrincipalId Adja meg a Microsoft Entra-alkalmazás ügyfél-azonosítóját. Nem
aadServicePrincipalCredentialType Adja meg a szolgáltatásnév-hitelesítéshez használandó hitelesítőadat-típust. Az engedélyezett értékek a következők: ServicePrincipalKey vagy ServicePrincipalCert. Nem
servicePrincipalKey Adja meg a Microsoft Entra alkalmazás kulcsát. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra. Nem
servicePrincipalEmbeddedCert Adja meg az alkalmazás Alap64 kódolású tanúsítványát, amelyet a Microsoft Entra ID-ban regisztráltak, és győződjön meg arról, hogy a tanúsítvány tartalomtípusa PKCS #12. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra. Nem
servicePrincipalEmbeddedCertPassword Adja meg a tanúsítvány jelszavát, ha a tanúsítványt jelszó védi. Jelölje meg ezt a mezőt SecureStringként, hogy biztonságosan tárolja, vagy hivatkozzon az Azure Key Vaultban tárolt titkos kódra. Nem
bérlő Adja meg azt a bérlői információt (tartománynevet vagy bérlőazonosítót), amely alatt az alkalmazás található. A lekéréshez vigye az egérmutatót az Azure Portal jobb felső sarkában. Nem
aadResourceId Adja meg az engedélyezéshez kért Microsoft Entra-erőforrást. Nem
azureCloudType A szolgáltatásnév hitelesítéséhez adja meg annak az Azure-felhőkörnyezetnek a típusát, amelyre a Microsoft Entra-alkalmazás regisztrálva van.
Az engedélyezett értékek az AzurePublic, az AzureChina, az AzureUsGovernment és az AzureGermany. Alapértelmezés szerint a szolgáltatás felhőkörnyezetét használja a rendszer.
Nem
connectVia Az adattárhoz való csatlakozáshoz használható integrációs modul . További információ az Előfeltételek szakaszból. Ha nincs megadva, a rendszer az alapértelmezett Azure Integration Runtime-t használja. Nem

1. példa: Névtelen hitelesítés használata

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "https://services.odata.org/OData/OData.svc",
            "authenticationType": "Anonymous"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

2. példa: Alapszintű hitelesítés használata

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "Basic",
            "userName": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

3. példa: Windows-hitelesítés használata

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "Windows",
            "userName": "<domain>\\<user>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

4. példa: Egyszerű szolgáltatáskulcs-hitelesítés használata

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "AadServicePrincipal",
            "servicePrincipalId": "<service principal id>",
            "aadServicePrincipalCredentialType": "ServicePrincipalKey",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "<service principal key>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "aadResourceId": "<AAD resource URL>"
        }
    },
    "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
    }
}

5. példa: Szolgáltatásnév-hitelesítés használata

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "AadServicePrincipal",
            "servicePrincipalId": "<service principal id>",
            "aadServicePrincipalCredentialType": "ServicePrincipalCert",
            "servicePrincipalEmbeddedCert": { 
                "type": "SecureString", 
                "value": "<base64 encoded string of (.pfx) certificate data>"
            },
            "servicePrincipalEmbeddedCertPassword": { 
                "type": "SecureString", 
                "value": "<password of your certificate>"
            },
            "tenant": "<tenant info, e.g. microsoft.onmicrosoft.com>",
            "aadResourceId": "<AAD resource e.g. https://tenant.sharepoint.com>"
        }
    },
    "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
    }
}

6. példa: API-kulcsos hitelesítés használata

{
    "name": "ODataLinkedService",
    "properties": {
        "type": "OData",
        "typeProperties": {
            "url": "<endpoint of OData source>",
            "authenticationType": "Anonymous",
            "authHeader": {
                "APIKey": {
                    "type": "SecureString",
                    "value": "<API key>"
                }
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Ez a szakasz az OData-adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok és a csatolt szolgáltatások című témakörben találja.

Az adatok OData-ból való másolásához állítsa az adathalmaz típustulajdonságát ODataResource értékre. A következő tulajdonságok támogatottak:

Property Leírás Required
típus Az adathalmaz típustulajdonságának ODataResource értékre kell állítania. Igen
ösvény Az OData-erőforrás elérési útja. Igen

Példa

{
    "name": "ODataDataset",
    "properties":
    {
        "type": "ODataResource",
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<OData linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties":
        {
            "path": "Products"
        }
    }
}

Másolási tevékenység tulajdonságai

Ez a szakasz az OData-forrás által támogatott tulajdonságok listáját tartalmazza.

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című témakörben találja.

OData forrásként

Az adatok OData-ból való másolásához a másolási tevékenység forrás szakasza az alábbi tulajdonságokat támogatja:

Property Leírás Required
típus A Másolási tevékenység forrás típustulajdonságának ODataSource értékre kell állítania. Igen
Lekérdezés OData-lekérdezési beállítások az adatok szűréséhez. Example: "$select=Name,Description&$top=5".

Megjegyzés: Az OData-összekötő adatokat másol a kombinált URL-címről: [URL specified in linked service]/[path specified in dataset]?[query specified in copy activity source]. További információ: OData URL-összetevők.
Nem
httpRequestTimeout A HTTP-kérés időtúllépése (a TimeSpan értéke) a válasz lekéréséhez. Ez az érték a válasz lekéréséhez szükséges időtúllépés, nem pedig a válaszadatok olvasásának időtúllépése. Ha nincs megadva, az alapértelmezett érték 00:30:00 (30 perc). Nem

Példa

"activities":[
    {
        "name": "CopyFromOData",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<OData input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "ODataSource",
                "query": "$select=Name,Description&$top=5"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Ha gépelt forrást használt RelationalSource , az továbbra is támogatott, miközben a rendszer azt javasolja, hogy használja az újat.

Az OData adattípus-leképezése

Amikor adatokat másol az OData-ból, a rendszer a következő leképezéseket használja az OData-adattípusok és a szolgáltatáson belül használt köztes adattípusok között. A Másolási tevékenység a forrásséma és az adattípus fogadóhoz való leképezéséről a séma- és adattípus-leképezések című témakörben tájékozódhat.

OData-adattípus Köztes szolgáltatás adattípusa
Edm.Binary Bájt[]
Edm.Boolean Bool
Edm.Byte Bájt[]
Edm.DateTime DateTime
Edm.Decimális Decimális
Edm.Double Dupla
Edm.Single Egyszeres
Edm.Guid GUID
Edm.Int16 Int16
Edm.Int32 Int32
Edm.Int64 Int64
Edm.SByte Int16
Edm.String Sztring
Edm.Time időtartam
Edm.DateTimeOffset DateTimeOffset

Megjegyzés:

Az OData összetett adattípusai (például az Objektum) nem támogatottak.

Adatok másolása a Project Online-ból

A Project Online használatához felhasználói OAuth szükséges, amelyet az Azure Data Factory nem támogat. Ha adatokat szeretne másolni a Project Online-ból, használhatja az OData-összekötőt és a Postmanhez hasonló eszközökről beszerzett hozzáférési jogkivonatot.

Figyelem

A hozzáférési jogkivonat alapértelmezés szerint 1 óra múlva lejár, a lejáratkor új hozzáférési jogkivonatot kell beszereznie.

  1. A hozzáférési jogkivonat lekérése a Postman használatával:

    1. Lépjen az Engedélyezés lapra a Postman webhelyén.

    2. A Típus mezőben válassza az OAuth 2.0 elemet, majd az Engedélyezési adatok hozzáadása mezőben válassza a Kérelemfejlécek lehetőséget.

    3. Új hozzáférési jogkivonat beszerzéséhez töltse ki az alábbi információkat az Új jogkivonat konfigurálása lapon:

      • Engedélyezés típusa: Válassza ki az engedélyezési kódot.
      • Visszahívás URL-címe: Enter https://www.localhost.com/
      • Hitelesítési URL-cím: Adja meg https://login.microsoftonline.com/common/oauth2/authorize?resource=https://<your tenant name>.sharepoint.com. Cserélje le <your tenant name> a saját bérlőnevét.
      • Hozzáférési jogkivonat URL-címe: Enter https://login.microsoftonline.com/common/oauth2/token.
      • Ügyfélazonosító: Adja meg a Microsoft Entra szolgáltatásnév-azonosítóját.
      • Titkos ügyfélkód: Adja meg a szolgáltatásnév titkos kódját.
      • Ügyfél-hitelesítés: Válassza a Küldés alapszintű hitelesítés fejlécként lehetőséget.
    4. A rendszer kérni fogja, hogy jelentkezzen be a felhasználónevével és jelszavával.

    5. Miután megkapta a hozzáférési jogkivonatot, másolja és mentse a következő lépéshez.

    Screenshot of using Postman to get the access token.

  2. Hozza létre az OData társított szolgáltatást:

    • Szolgáltatás URL-címe: Enter https://<your tenant name>.sharepoint.com/sites/pwa/_api/Projectdata. Cserélje le <your tenant name> a saját bérlőnevét.
    • Hitelesítési típus: Válassza a Névtelen lehetőséget.
    • Hitelesítési fejlécek:
      • Tulajdonság neve: Válassza az Engedélyezés lehetőséget.
      • Érték: Enter Bearer <access token from step 1>.
    • Tesztelje a társított szolgáltatást.

    Create OData linked service

  3. Hozza létre az OData-adatkészletet:

    1. Hozza létre az adathalmazt a 2. lépésben létrehozott OData társított szolgáltatással.
    2. Előzetes verziójú adatok.

    Preview data

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

Azoknak az adattáraknak a listáját, amelyeket a Másolási tevékenység forrásként és fogadóként támogat, tekintse meg a támogatott adattárakat és formátumokat.