Adatok másolása a Greenplumból az Azure Data Factory vagy a Synapse Analytics használatával

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk azt ismerteti, hogyan másolhat adatokat a Greenplumból az Azure Data Factory vagy a Synapse Analytics-folyamat másolási tevékenységével. A másolási tevékenység áttekintési cikkére épül, amely a másolási tevékenység általános áttekintését mutatja be.

Fontos

A Greenplum-összekötő 1.0-s verziója eltávolítási szakaszban van. Javasoljuk, hogy frissítse a Greenplum-összekötőt az 1.0-s verzióról a 2.0-s verzióra.

Támogatott képességek

Ez a Greenplum-összekötő a következő képességeket támogatja:

Támogatott képességek	integrációs modul
Copy tevékenység (forrás/-)	(1) (2)
Keresési tevékenység	(1) (2)

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

A másolási tevékenység által forrásként/fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.

A szolgáltatás egy beépített illesztőprogramot biztosít a kapcsolat engedélyezéséhez, ezért nem kell manuálisan telepítenie egyetlen illesztőprogramot sem ezzel az összekötővel.

Előfeltételek

Ha az adattár helyszíni hálózaton, Azure-beli virtuális hálózaton vagy Amazon Virtual Private Cloudon belül található, konfigurálnia kell egy saját üzemeltetésű integrációs modult a csatlakozáshoz.

Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja az Azure Integration Runtime-ot. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, hozzáadhat azure integration runtime IP-eket az engedélyezési listához.

Az Azure Data Factory felügyelt virtuális hálózati integrációs moduljával is elérheti a helyszíni hálózatot anélkül, hogy saját üzemeltetésű integrációs modult telepítene és konfigurálna.

A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.

Első lépések

A másolási tevékenység végrehajtásához egy folyamattal használhatja az alábbi eszközök vagy SDK-k egyikét:

• Adatok másolása eszköz
• Azure Portál
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager-sablon

Társított szolgáltatás létrehozása a Greenplumhoz felhasználói felülettel

Az alábbi lépésekkel létrehozhat egy társított szolgáltatást a Greenplumhoz az Azure Portal felhasználói felületén.

1. Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

   Azure Data Factory

   

   Azure Synapse

   

2. Keresse meg a Greenplumot, és válassza ki a Greenplum-összekötőt.

   

3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

   

Az összekötő konfigurációjának részletei

Az alábbi szakaszok a Greenplum-összekötőre jellemző Data Factory-entitások meghatározásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

A Greenplum-összekötő mostantól támogatja a 2.0-s verziót. Ebben a szakaszban frissítheti a Greenplum-összekötő verzióját az 1.0-s verzióról. A tulajdonság részleteiért tekintse meg a megfelelő szakaszokat.

• 2.0-s verzió
• 1.0-s verzió

2.0-s verzió

A Greenplum társított szolgáltatás a következő tulajdonságokat támogatja a 2.0-s verzió alkalmazásakor:

Tulajdonság	Leírás	Kötelező
típus	A típustulajdonságnak a következőnek kell lennie: Greenplum	Igen
verzió	A megadott verzió. Az érték 2.0.	Igen
állomás	Megadja a gazdagép nevét – és opcionálisan a portot –, amelyen az adatbázis fut.	Igen
átvisz	Az adatbázis-kiszolgáló TCP-portja. Az alapértelmezett érték a 5432.	Nem
adatbázis	A csatlakozni kívánt adatbázis.	Igen
felhasználónév	A csatlakozáshoz használt felhasználónév. Az IntegratedSecurity használata esetén nem kötelező.	Igen
jelszó	A csatlakozáshoz használt jelszó. Az IntegratedSecurity használata esetén nem kötelező. Jelölje meg ezt a mezőt SecureStringként a biztonságos tároláshoz. Hivatkozhat az Azure Key Vaultban tárolt titkos kódokra is.	Igen
SSL mód	Az SSL használatát a kiszolgáló támogatásától függően szabályozza. - Letiltás: Az SSL le van tiltva. Ha a kiszolgáló SSL-t igényel, a kapcsolat sikertelen lesz. - Engedélyezés: Előnyben részesíti a nem SSL-kapcsolatokat, ha a kiszolgáló engedélyezi őket, de engedélyezze az SSL-kapcsolatokat. - Előnyben részesítjük az SSL-kapcsolatokat, ha a kiszolgáló engedélyezi őket, de ssl nélkül is engedélyezi a kapcsolatokat. - Kötelező: Sikertelen a kapcsolat, ha a kiszolgáló nem támogatja az SSL-t. - Ca ellenőrzése: Sikertelen a kapcsolat, ha a kiszolgáló nem támogatja az SSL-t. A kiszolgálótanúsítványt is ellenőrzi. - Verify-full: Sikertelen kapcsolat, ha a kiszolgáló nem támogatja az SSL-t. A kiszolgálótanúsítványt a gazdagép neve alapján is ellenőrzi. Beállítások: Letiltás (0) / Engedélyezés (1) / Prefer (2) / Kötelező (3) (alapértelmezett) / Verify-ca (4) / Verify-full (5)	Igen
hitelesítési típus	Az adatbázishoz való csatlakozás hitelesítési típusa. Csak az Alapszintű verziót támogatja.	Igen
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs modul . További információ az Előfeltételek szakaszból. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja.	Nem
További kapcsolati tulajdonságok:
connectionTimeout	Az a várakozási idő (másodpercben), amikor megpróbál kapcsolatot létesíteni, mielőtt megszakítja a kísérletet, és hibát okozna. Az alapértelmezett érték a 15.	Nem
parancskoridőzítés	Az a maximális várakozási idő (másodpercben), amelyet megengedünk egy parancs végrehajtására, mielőtt a próbálkozást megszakítanánk, és hibát generálnánk. Állítsa nullára a végtelenhez tartozó értéket. Az alapértelmezett érték a 30.	Nem

Példa:

{
    "name": "GreenplumLinkedService",
    "properties": {
        "type": "Greenplum",
        "version": "2.0",
        "typeProperties": {
            "host": "<host>",
            "port": 5432,
            "database": "<database>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            },
            "sslMode": <sslmode>,
            "authenticationType": "Basic"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa: jelszó tárolása az Azure Key Vaultban

{
    "name": "GreenplumLinkedService",
    "properties": {
        "type": "Greenplum",
        "version": "2.0",
        "typeProperties": {
            "host": "<host>",
            "port": 5432,
            "database": "<database>",
            "username": "<username>",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            },
            "sslMode": <sslmode>,
            "authenticationType": "Basic"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

1.0-s verzió

A Greenplum társított szolgáltatás az alábbi tulajdonságokat támogatja az 1.0-s verzió alkalmazásakor:

Tulajdonság	Leírás	Kötelező
típus	A típustulajdonságnak a következőnek kell lennie: Greenplum	Igen
csatlakozási karakterlánc	Egy ODBC kapcsolati sztring a Greenplumhoz való csatlakozáshoz. Jelszót is elhelyezhet az Azure Key Vaultban, és lekérheti a pwd konfigurációt a kapcsolati sztring. További részletekért tekintse meg az alábbi példákat és a hitelesítő adatok tárolását az Azure Key Vaultban .	Igen
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs modul . További információ az Előfeltételek szakaszból. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja.	Nem

Példa:

{
    "name": "GreenplumLinkedService",
    "properties": {
        "type": "Greenplum",
        "typeProperties": {
            "connectionString": "HOST=<server>;PORT=<port>;DB=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa: jelszó tárolása az Azure Key Vaultban

{
    "name": "GreenplumLinkedService",
    "properties": {
        "type": "Greenplum",
        "typeProperties": {
            "connectionString": "HOST=<server>;PORT=<port>;DB=<database>;UID=<user name>;",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az adathalmazokról szóló cikkben találja. Ez a szakasz a Greenplum-adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Ha adatokat szeretne másolni a Greenplumból, állítsa az adathalmaz típustulajdonságát GreenplumTable értékre. A következő tulajdonságok támogatottak:

Tulajdonság	Leírás	Kötelező
típus	Az adathalmaz típustulajdonságának a következőnek kell lennie: GreenplumTable	Igen
séma	A séma neve.	Nem (ha "lekérdezés" van megadva a tevékenységforrásban)
tábla	A tábla neve.	Nem (ha "lekérdezés" van megadva a tevékenységforrásban)
táblázatNeve	A sématáblázat neve. Ez a tulajdonság támogatja a visszamenőleges kompatibilitást. Új számítási feladatok használata és schema használatatable.	Nem (ha "lekérdezés" van megadva a tevékenységforrásban)

Példa

{
    "name": "GreenplumDataset",
    "properties": {
        "type": "GreenplumTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Greenplum linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz a Greenplum-forrás által támogatott tulajdonságok listáját tartalmazza.

GreenplumSource forrásként

Ha a Greenplumból szeretne adatokat másolni, állítsa a másolási tevékenység forrástípusát a GreenplumSource-ra. A másolási tevékenység forrás szakaszában a következő tulajdonságok támogatottak:

Tulajdonság	Leírás	Kötelező
típus	A másolási tevékenység forrásának típustulajdonságának a következőnek kell lennie: GreenplumSource	Igen
lekérdezés	Az adatok olvasásához használja az egyéni SQL-lekérdezést. Például: "SELECT * FROM MyTable"	Nem (ha "tableName" van megadva az adathalmazban)

Példa:

"activities":[
    {
        "name": "CopyFromGreenplum",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Greenplum input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "GreenplumSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Adattípus-leképezés a Greenplumhoz

Amikor adatokat másol a Greenplumból, az alábbi leképezések a Greenplum adattípusaiból a szolgáltatás által használt belső adattípusokra vonatkoznak. Ha szeretné megtudni, hogyan képezi le a másolási tevékenység a forrássémát és az adattípust a célhelyre, tekintse meg a séma- és adattípus-leképezéseket.

Greenplum-adattípus	Köztes szolgáltatás adattípusa (a 2.0-s verzióhoz)	Köztes szolgáltatás adattípusa (1.0-s verzióhoz)
SmallInt	Int16	Int16
Egész szám	Int32	Int32
BigInt	Int64	Int64
Decimális (pontosság <= 28)	Decimális	Decimális
Decimális (pontosság > 28)	Decimális	Lánc
Numerikus	Decimális	Decimális
reál	Egyedülálló	Egyedülálló
Kétszer	Kétszer	Kétszer
SmallSerial	Int16	Int16
Sorozat	Int32	Int32
BigSerial	Int64	Int64
Pénz	Decimális	Lánc
Karakter	Lánc	Lánc
Varchar	Lánc	Lánc
Szöveg	Lánc	Lánc
Bytea	Bájt[]	Bájt[]
Időbélyeg	Dátum/idő	Dátum/idő
Időbélyeg időzónával	IdőpontEltérés (DateTimeOffset)	Lánc
Dátum	Dátum	Dátum/idő
Idő	Időtartam	Időtartam
Időzóna	IdőpontEltérés (DateTimeOffset)	Lánc
Intervallum	Időtartam	Lánc
logikai	logikai	logikai
Pont	Lánc	Lánc
Sor	Lánc	Lánc
Iseg	Lánc	Lánc
Doboz	Lánc	Lánc
Útvonal	Lánc	Lánc
Sokszög	Lánc	Lánc
Kör	Lánc	Lánc
Cidr	Lánc	Lánc
Inet	Lánc	Lánc
Macaddr	Lánc	Lánc
Macaddr8	Lánc	Lánc
Tsvector	Lánc	Lánc
Tsquery	Lánc	Lánc
UUID (Univerzálisan Egyedi Azonosító)	Guid	Guid
Json	Lánc	Lánc
Jsonb	Lánc	Lánc
Tömb	Lánc	Lánc
Bit	Bájt[]	Bájt[]
Bit változó	Bájt[]	Bájt[]
XML	Lánc	Lánc
IntArray	Lánc	Lánc
TextArray	Lánc	Lánc
Számtömb	Lánc	Lánc
DateArray	Lánc	Lánc
Tartomány	Lánc	Lánc
Bpchar	Lánc	Lánc

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

A Greenplum-összekötő frissítése

Az alábbi lépések segítenek a Greenplum-összekötő frissítésében:

1. A Csatolt szolgáltatás szerkesztése lapon válassza ki a 2.0-s verziót, és konfigurálja a társított szolgáltatást a társított szolgáltatás 2.0-s verziójának tulajdonságaira hivatkozva.

2. A Greenplum társított szolgáltatás 2.0-s verziójának adattípus-leképezése eltér az 1.0-s verziótól. A legújabb adattípus-leképezés megismeréséhez tekintse meg a Greenplum adattípus-leképezését.

A Greenplum 2.0-s és 1.0-s verziója közötti különbségek

A Greenplum-összekötő 2.0-s verziója új funkciókat kínál, és kompatibilis az 1.0-s verzió legtöbb funkciójával. Az alábbi táblázat a 2.0-s és az 1.0-s verzió közötti funkcióbeli különbségeket mutatja be.

2.0-s verzió	1.0-s verzió
A Greenplum-adattípusoktól a köztes szolgáltatás adattípusig az alábbi leképezéseket használjuk. Decimális (pontosság > 28) –> Decimális Pénz –> Decimális Időbélyeg időzónával –> DateTimeOffset Időzóna szerint –> DateTimeOffset Intervallum –> Időtartomány	A Greenplum-adattípusoktól a köztes szolgáltatás adattípusig az alábbi leképezéseket használjuk. Decimális (pontosság > 28) –> Sztring Pénz –> Sztring Időbélyeg időzónával –> Karakterlánc Időzóna –> Sztring Intervallum –> Karakterlánc

Kapcsolódó tartalom

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárakban találja.