Adatok másolása az Amazon Redshiftből Azure Data Factory vagy Synapse Analytics használatával

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

Ez a cikk azt ismerteti, hogyan használhatja a másolási tevékenységet Azure Data Factory és Synapse Analytics-folyamatokban az adatok Amazon Redshiftből való másolásához. A másolási tevékenység áttekintési cikkére épül, amely a másolási tevékenység általános áttekintését mutatja be.

Fontos

Az Amazon Redshift-összekötő 1.0-s verziója eltávolítási szakaszban van. Javasoljuk, hogy frissítse az Amazon Redshift-összekötőt az 1.0-s verzióról a 2.0-s verzióra.

Támogatott képességek

Ez az Amazon Redshift-összekötő a következő képességeket támogatja:

Támogatott képességek integrációs modul
Másolási tevékenység (forrás/-) (1) (2)
Keresési tevékenység (1) (2)

(1) Azure integrációs modul (2) Saját üzemeltetésű integrációs modul

A másolási tevékenység által forrásként vagy fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.

A szolgáltatás egy beépített illesztőprogramot biztosít a kapcsolat engedélyezéséhez, ezért nem kell manuálisan telepítenie az illesztőprogramokat.

Az Amazon Redshift-összekötő lekérdezéssel vagy beépített Redshift UNLOAD-támogatással támogatja az adatok lekérését a Redshiftből.

A csatlakozó támogatja a Windows verziókat ebben a cikkben.

Tipp.

A redshiftből nagy mennyiségű adat másolása során a legjobb teljesítmény érdekében fontolja meg a beépített Redshift UNLOAD használatát az Amazon S3-on keresztül. A részletekért lásd a UNLOAD használata az adatok Amazon Redshiftből történő másolására című szakaszt.

Előfeltételek

Ha adatokat másol egy helyszíni adattárba az Önállóan üzemeltetett Integration Runtime használatával, engedélyezze az Integration Runtime számára az Amazon Redshift-fürthöz való hozzáférést (használja a gép IP-címét). Lásd Hozzáférés engedélyezése a fürthöz az útmutatásért. A 2.0-s verzió esetében a saját üzemeltetésű integrációs modul 5.60-os vagy újabb verziójának kell lennie.

Ha adatokat másol egy Azure adattárba, tekintse meg Azure adatközpont IP-tartományait az Azure adatközpontok által használt számítási IP-cím és SQL-tartományok esetében.

Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja a Azure Integration Runtime. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, hozzáadhat Azure Integration Runtime IP-címeket az engedélyezési listához.

A Azure Data Factory felügyelt virtuális hálózati integrációs modul funkciójával is hozzáférhet a helyszíni hálózathoz saját üzemeltetésű integrációs modul telepítése és konfigurálása nélkül.

Első lépések

A másolási tevékenység végrehajtásához egy folyamattal használhatja az alábbi eszközök vagy SDK-k egyikét:

Társított szolgáltatás létrehozása az Amazon Redshifthez felhasználói felülettel

Az alábbi lépésekkel hozzon létre egy társított szolgáltatást az Amazon Redshifthez a Azure portál felhasználói felületén.

  1. Keresse meg a Azure Data Factory vagy Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

  2. Keresse meg az Amazont, és válassza ki az Amazon Redshift-összekötőt.

    Válassza ki az Amazon Redshift-összekötőt.

  3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

    Társított szolgáltatás konfigurálása az Amazon Redshifthez.

Az összekötő konfigurációjának részletei

Az alábbi szakaszok az Amazon Redshift-összekötőre jellemző Data Factory-entitások definiálásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

Az Amazon Redshift társított szolgáltatásához a következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus A típustulajdonságnak a következőnek kell lennie: AmazonRedshift Igen
verzió A megadott verzió. Igen a 2.0-s verzióhoz.
kiszolgáló Az Amazon Redshift-kiszolgáló IP-címe vagy állomásneve. Igen
átvisz Az Amazon Redshift-kiszolgáló által az ügyfélkapcsolatok figyelésére használt TCP-portok száma. Nem, az alapértelmezett érték 5439
adatbázis Az Amazon Redshift-adatbázis neve. Igen
felhasználónév Az adatbázishoz hozzáféréssel rendelkező felhasználó neve. Igen
jelszó A felhasználói fiók jelszava. Jelölje meg ezt a mezőt securestringként, hogy biztonságosan tárolja, vagy az Azure Key Vaultban tárolt titkot. Igen
sslmode Az Amazon Redshifthez való csatlakozáskor használható SSL-tanúsítvány-ellenőrzési mód. Ez a tulajdonság csak a 2.0-s verzióban támogatott.
- Verify_full: Csatlakozás csak SSL, megbízható hitelesítésszolgáltató és a tanúsítványnak megfelelő kiszolgálónév használatával.
- Verify_ca: Csatlakozás csak SSL és megbízható hitelesítésszolgáltató használatával.
- Kötelező: Csatlakozás csak SSL használatával.
- Előnyben részesített: Csatlakozás SSL használatával, ha elérhető. Ellenkező esetben SSL használata nélkül csatlakozhat.
- Engedélyezett: Alapértelmezés szerint SSL használata nélkül csatlakozhat. Ha a kiszolgáló SSL-kapcsolatokat igényel, használja az SSL-t.
- Letiltva: Csatlakozás SSL használata nélkül.
Beállítások: verify-full (alapértelmezett) / verify-ca / require / prefer / allow / disable		 Nem, az alapértelmezett érték verify-full
connectVia Az adattárhoz való csatlakozáshoz használandó Integration Runtime. Használhat Azure Integration Runtime vagy saját üzemeltetésű Integration Runtime (ha az adattár magánhálózaton található). Ha nincs megadva, az alapértelmezett Azure Integration Runtime használja. Nem

Megjegyzés:

A 2.0-s verzió támogatja a Azure Integration Runtime és a saját üzemeltetésű Integration Runtime 5.60-os vagy újabb verzióját. Az illesztőprogram telepítésére már nincs szükség a saját üzemeltetésű Integration Runtime 5.60-os vagy újabb verziójával.

Példa: 2.0-s verzió

{
    "name": "AmazonRedshiftLinkedService",
    "properties":
    {
        "type": "AmazonRedshift",
        "version": "2.0",
        "typeProperties":
        {
            "server": "<server name>",
            "database": "<database name>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa: 1.0-s verzió

{
    "name": "AmazonRedshiftLinkedService",
    "properties":
    {
        "type": "AmazonRedshift",
        "typeProperties":
        {
            "server": "<server name>",
            "database": "<database name>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az adathalmazokról szóló cikkben találja. Ez a szakasz az Amazon Redshift-adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Az Amazon Redshift adatainak másolásához a következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus Az adathalmaz típustulajdonságának a következőnek kell lennie: AmazonRedshiftTable Igen
séma A séma neve. Nem (ha "lekérdezés" van megadva a tevékenységforrásban)
tábla A tábla neve. Nem (ha "lekérdezés" van megadva a tevékenységforrásban)
táblázatNeve A sématáblázat neve. Ez a tulajdonság támogatja a visszamenőleges kompatibilitást. Használja a schema és table elemeket új számítási feladathoz. Nem (ha "lekérdezés" van megadva a tevékenységforrásban)

Példa

{
    "name": "AmazonRedshiftDataset",
    "properties":
    {
        "type": "AmazonRedshiftTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Amazon Redshift linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Ha gépelt RelationalTable adatkészletet használt, az továbbra is változtatás nélkül támogatott, bár a jövőben javasolt az új használata.

Copy tevékenység tulajdonságok

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című cikkben találja. Ez a szakasz az Amazon Redshift-forrás által támogatott tulajdonságok listáját tartalmazza.

Amazon Redshift mint forrás

Ha adatokat szeretne másolni az Amazon Redshiftből, állítsa be a másolási tevékenység forrástípusát az AmazonRedshiftSource-ra. A másolási tevékenység forrás szakaszában a következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus A másolási tevékenység forrásának típustulajdonságának a következőnek kell lennie: AmazonRedshiftSource Igen
lekérdezés Adatok olvasása az egyéni lekérdezés használatával. Például: válassza a * lehetőséget a MyTable-ból. Nem (ha "tableName" van megadva az adathalmazban)
redshift kiürítési beállítások Tulajdonságcsoport az Amazon Redshift UNLOAD használatakor. Nem
Kapcsolt SzolgáltatásNév s3 Egy átmeneti tárolóként használandó Amazon S3-ra hivatkozik egy "AmazonS3" típusú társított szolgáltatásnév megadásával. Igen, ha AZ ELTÁVOLÍTÁSt használja
bucketName A köztes adatok tárolásához adja meg az S3 vödröt. Ha nincs megadva, a szolgáltatás automatikusan létrehozza azt. Igen, ha AZ ELTÁVOLÍTÁSt használja

Példa: Amazon Redshift-forrás másolási tevékenységben az UNLOAD használatával

"source": {
    "type": "AmazonRedshiftSource",
    "query": "<SQL query>",
    "redshiftUnloadSettings": {
        "s3LinkedServiceName": {
            "referenceName": "<Amazon S3 linked service>",
            "type": "LinkedServiceReference"
        },
        "bucketName": "bucketForUnload"
    }
}

További információ arról, hogyan másolhat hatékonyan adatokat az Amazon Redshiftből a KÖVETKEZŐ szakaszból a UNLOAD használatával.

Adatok másolása az Amazon Redshiftből a UNLOAD használatával

A UNLOAD az Amazon Redshift által biztosított mechanizmus, amely eltávolíthatja egy lekérdezés eredményét egy vagy több fájlba az Amazon Simple Storage Service (Amazon S3) szolgáltatásban. Az Amazon így javasolja a nagy adatkészletek másolását a Redshiftből.

Példa: adatok másolása az Amazon Redshiftből az Azure Synapse Analyticsbe a UNLOAD, a szakaszos másolás és a PolyBase használatával

Ebben a mintahasználati esetben a másolási tevékenység először áthelyezi az adatokat az Amazon Redshiftből az Amazon S3-ba a "redshiftUnloadSettings" beállításban konfigurált módon, majd az adatokat az Amazon S3-ból az Azure Blobba másolja a "stagingSettings" beállításai szerint, végül a PolyBase használatával betölti az adatokat az Azure Synapse Analytics-be. Az összes köztes formátumot a másolási tevékenység megfelelően kezeli.

Redshift és Azure Synapse Analytics másolási munkafolyamat 

"activities":[
    {
        "name": "CopyFromAmazonRedshiftToSQLDW",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "AmazonRedshiftDataset",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "AzureSQLDWDataset",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AmazonRedshiftSource",
                "query": "select * from MyTable",
                "redshiftUnloadSettings": {
                    "s3LinkedServiceName": {
                        "referenceName": "AmazonS3LinkedService",
                        "type": "LinkedServiceReference"
                    },
                    "bucketName": "bucketForUnload"
                }
            },
            "sink": {
                "type": "SqlDWSink",
                "allowPolyBase": true
            },
            "enableStaging": true,
            "stagingSettings": {
                "linkedServiceName": "AzureStorageLinkedService",
                "path": "adfstagingcopydata"
            },
            "dataIntegrationUnits": 32
        }
    }
]

Az Amazon Redshift adattípus-leképezése

Amikor adatokat másol az Amazon Redshiftből, az alábbi leképezések az Amazon Redshift adattípusaiból a szolgáltatás által használt belső adattípusokra vonatkoznak. Ha szeretné megtudni, hogyan képezi le a másolási tevékenység a forrássémát és az adattípust a célhelyre, tekintse meg a séma- és adattípus-leképezéseket.

Amazon Redshift adattípus Köztes szolgáltatás adattípusa (a 2.0-s verzióhoz) Köztes szolgáltatás adattípusa (1.0-s verzióhoz)
BIGINT Int64 Int64
BÓLÉ logikai Sztring
KARAKTER Sztring Sztring
DÁTUM Dátum/idő Dátum/idő
DECIMÁLIS (pontosság <= 28) Decimális Decimális
DECIMÁLIS (pontosság > 28) Sztring Sztring
DUPLA PONTOSSÁG Kétszeres Kétszeres
EGÉSZ SZÁM Int32 Int32
VALÓDI Egyetlen Egyetlen
SMALLINT Int16 Int16
szöveg Sztring Sztring
IDŐBÉLYEG Dátum/idő Dátum/idő
VARCHAR Sztring Sztring

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

Az Amazon Redshift-összekötő életciklusa és frissítése

Az alábbi táblázat az Amazon Redshift-összekötő különböző verzióinak kiadási fázisát és változásnaplóit mutatja be:

verzió Kiadási szakasz Változások naplója
1.0-s verzió Bejelentett támogatás megszűnése /
2.0-s verzió Elérhető GA-verzió • Támogatja a Azure Integration Runtime és a saját üzemeltetésű Integration Runtime 5.60-os vagy újabb verzióját. Az illesztőprogram telepítésére már nincs szükség a saját üzemeltetésű Integration Runtime 5.60-os vagy újabb verziójával.

• A Boolean típus logikai típusként olvasható be.

• Támogatás sslmode a társított szolgáltatásban.

Az Amazon Redshift-összekötő frissítése az 1.0-s verzióról a 2.0-s verzióra

  1. A Hivatkozott szolgáltatás szerkesztése lapon válassza ki a 2.0-s verziót, és konfigurálja a társított szolgáltatást a csatolt szolgáltatás tulajdonságaira hivatkozva.

  2. Az Amazon Redshift társított szolgáltatás 2.0-s verziójának adattípus-leképezése eltér az 1.0-s verziótól. A legújabb adattípus-leképezés megismeréséhez tekintse meg az Amazon Redshift adattípus-leképezését.

  3. Saját üzemeltetésű integrációs futtatókörnyezet alkalmazása az 5.60-as vagy újabb verzióval. Az illesztőprogram telepítésére már nincs szükség a saját üzemeltetésű Integration Runtime 5.60-os vagy újabb verziójával.

Kapcsolódó tartalom

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a támogatott adattárakban találja.

  • Last updated on