Adatok másolása a Netezza-ból a Azure Data Factory vagy a Synapse Analytics használatával

A KÖVETKEZŐKRE VONATKOZIK: Azure Data Factory Azure Synapse Analytics

Ez a cikk azt ismerteti, hogyan másolhat adatokat a Netezza-ból a Másolási tevékenység Azure Data Factory vagy Synapse Analytics-folyamatokban. A cikk a Másolási tevékenységre épül, amely általános áttekintést nyújt a másolási tevékenységről.

Támogatott képességek

Ez a Netezza-összekötő a következő képességekhez támogatott:

Támogatott képességek IR
Copy tevékenység (forrás/-) ① ②
Keresési tevékenység ① ②

(1) Azure integrációs modul (2) Saját üzemeltetésű integrációs modul

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját a Támogatott adattárak és -formátumok című témakörben találja.

A Netezza-összekötő támogatja a párhuzamos másolást a forrásból. További részletekért tekintse meg a Netezza párhuzamos másolatát ismertető szakaszt.

A szolgáltatás egy beépített illesztőt biztosít a kapcsolat engedélyezéséhez. Az összekötő használatához nincs szükség illesztőprogram manuális telepítésére.

Előfeltételek

Ha az adattár egy helyszíni hálózaton, egy Azure-beli virtuális hálózaton vagy az Amazon Virtual Private Cloudon belül található, konfigurálnia kell egy helyi integrációs modult a csatlakozáshoz.

Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja az Azure Integration Runtime. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, felveheti az Azure Integration Runtime IP-címeket az engedélyezési listára.

A felügyelt virtuális hálózati integrációs modul funkcióját is használhatja a Azure Data Factory a helyszíni hálózat eléréséhez anélkül, hogy saját üzemeltetésű integrációs modult telepítene és konfigurálna.

A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd: Adathozzáférési stratégiák.

Bevezetés

Másolási tevékenységet használó folyamatot a .NET SDK, a Python SDK, a Azure PowerShell, a REST API vagy egy Azure Resource Manager-sablon használatával hozhat létre. A másolási tevékenységgel rendelkező folyamatok létrehozásához tekintse meg a Másolási tevékenység oktatóanyagot.

Társított szolgáltatás létrehozása a Netezza szolgáltatáshoz felhasználói felület használatával

Az alábbi lépésekkel hozzon létre egy társított szolgáltatást a Netezza-hoz a Azure Portal felhasználói felületén.

  1. Keresse meg a kezelés lapot a Azure Data Factory vagy a Synapse-munkaterületen, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

  2. Keressen rá a Netezza kifejezésre, és válassza ki a Netezza-összekötőt.

    A Netezza-összekötő képernyőképe.

  3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

    Képernyőkép a Netezza társított szolgáltatás konfigurációjáról.

Összekötő konfigurációjának részletei

Az alábbi szakaszok a Netezza-összekötőre jellemző entitások meghatározásához használható tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

A Netezza társított szolgáltatás esetében a következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus A type tulajdonságot Netezza értékre kell állítani. Yes
connectionString Egy ODBC-kapcsolati sztring a Netezza-hoz való csatlakozáshoz.
A jelszót az Azure Key Vault is elhelyezheti, és lekérheti a pwd konfigurációt a kapcsolati sztring. További részletekért tekintse meg az alábbi mintákat és a Hitelesítő adatok tárolása az Azure Key Vault-ban című cikket.
Yes
connectVia Az adattárhoz való csatlakozáshoz használandó Integration Runtime. További információ: Előfeltételek szakasz. Ha nincs megadva, a rendszer az alapértelmezett Azure Integration Runtime használja. Nem

Egy tipikus kapcsolati sztring a .Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password> Az alábbi táblázat további, beállítható tulajdonságokat ismertet:

Tulajdonság Leírás Kötelező
SecurityLevel Az illesztőprogram által az adattárhoz való csatlakozáshoz használt biztonsági szint. Az illesztőprogram támogatja az SSL-kapcsolatokat egyirányú hitelesítéssel, az SSL 3-at használva.
Példa: SecurityLevel=preferredSecured. A támogatott értékek a következők:
- Csak nem biztonságos (csakUnSecured): Az illesztőprogram nem használ SSL-t.
- Előnyben részesített nem biztonságos (preferredUnSecured) (alapértelmezett): Ha a kiszolgáló választ, az illesztőprogram nem használ SSL-t.
- Előnyben részesített biztonságos (preferredSecured): Ha a kiszolgáló választ, az illesztőprogram SSL-t használ.
- Csak biztonságos (csak Biztonságos): Az illesztőprogram csak akkor csatlakozik, ha ssl-kapcsolat áll rendelkezésre.
Nem
CaCertFile A kiszolgáló által használt SSL-tanúsítvány teljes elérési útja. Például: CaCertFile=<cert path>; Igen, ha az SSL engedélyezve van

Példa

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa: jelszó tárolása az Azure Key Vault

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adatkészlet tulajdonságai

Ez a szakasz a Netezza-adathalmaz által támogatott tulajdonságok listáját tartalmazza.

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című témakörben találja.

Ha adatokat szeretne másolni a Netezza-ból, állítsa az adathalmaz típustulajdonságátNetezzaTable értékre. A következő tulajdonságok támogatottak:

Tulajdonság Leírás Kötelező
típus Az adathalmaz típustulajdonságának a következőre kell állítania: NetezzaTable Yes
schema A séma neve. Nem (ha "lekérdezés" van megadva a tevékenységforrásban)
tábla A tábla neve. Nem (ha "lekérdezés" van megadva a tevékenységforrásban)
tableName A sémával rendelkező tábla neve. Ez a tulajdonság támogatja a visszamenőleges kompatibilitást. Új számítási feladatok használata schema és table használata. Nem (ha "lekérdezés" van megadva a tevékenységforrásban)

Példa

{
    "name": "NetezzaDataset",
    "properties": {
        "type": "NetezzaTable",
        "linkedServiceName": {
            "referenceName": "<Netezza linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {}
    }
}

Tevékenység tulajdonságainak másolása

Ez a szakasz a Netezza-forrás által támogatott tulajdonságok listáját tartalmazza.

A tevékenységek definiálása érdekében elérhető szakaszok és tulajdonságok teljes listájáért lásd: Folyamatok.

Netezza mint forrás

Tipp

Ha hatékonyan szeretné betölteni az adatokat a Netezza-ból az adatparticionálás használatával, további információt a Netezza párhuzamos másolása című szakaszában olvashat.

Ha adatokat szeretne másolni a Netezza-ból, állítsa a forrástípust a Másolási tevékenység mezőben a NetezzaSource értékre. A Másolási tevékenység forrás szakasza a következő tulajdonságokat támogatja:

Tulajdonság Leírás Kötelező
típus A Másolási tevékenység forrás típus tulajdonságának NetezzaSource értékre kell állítania. Yes
query Az adatok olvasásához használja az egyéni SQL-lekérdezést. Például: "SELECT * FROM MyTable" Nem (ha "tableName" van megadva az adathalmazban)
partitionOptions Megadja az adatok Netezza-ból való betöltéséhez használt adatparticionálási beállításokat.
Az engedélyezési értékek a következők: Nincs (alapértelmezett), DataSlice és DynamicRange.
Ha egy partíciós beállítás engedélyezve van (azaz nem None), a másolási tevékenység beállításával parallelCopies szabályozható, hogy a Netezza-adatbázisból egyidejűleg milyen mértékű párhuzamosság történik az adatok egyidejű betöltéséhez.
Nem
partitionSettings Adja meg az adatparticionálás beállításainak csoportját.
Akkor alkalmazza, ha a partíciós beállítás nem None.
Nem
partitionColumnName Adja meg a forrásoszlop nevét egész számtípusban , amelyet a párhuzamos másolás tartományparticionálása használ. Ha nincs megadva, a rendszer automatikusan észleli a tábla elsődleges kulcsát, és partícióoszlopként használja.
Akkor alkalmazza, ha a partíció beállítása .DynamicRange Ha lekérdezéssel kéri le a forrásadatokat, a WHERE záradékban horoggal ?AdfRangePartitionColumnName . Lásd a példát a Párhuzamos másolás a Netezza-ból szakaszban.
Nem
partitionUpperBound A partícióoszlop maximális értéke az adatok kimásolásához.
Akkor alkalmazza, ha a partíciós beállítás.DynamicRange Ha lekérdezést használ a forrásadatok lekéréséhez, használja ?AdfRangePartitionUpbound a WHERE záradékot. Példaként tekintse meg a Párhuzamos másolás a Netezza-ból című szakaszt .
Nem
partitionLowerBound A partícióoszlop minimális értéke az adatok kimásolásához.
Akkor alkalmazza, ha a partíció beállítása .DynamicRange Ha lekérdezéssel kéri le a forrásadatokat, a WHERE záradékban horoggal ?AdfRangePartitionLowbound . Példaként tekintse meg a Párhuzamos másolás a Netezza-ból című szakaszt .
Nem

Példa

"activities":[
    {
        "name": "CopyFromNetezza",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Netezza input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "NetezzaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Párhuzamos másolat a Netezza-ból

A Data Factory Netezza összekötő beépített adatparticionálást biztosít az adatok párhuzamos másolásához a Netezza-ból. Az adatparticionálási beállításokat a másolási tevékenység Forrás táblájában találja.

Képernyőkép a partícióbeállításokról

Ha engedélyezi a particionált másolást, a szolgáltatás párhuzamos lekérdezéseket futtat a Netezza-forráson az adatok partíciók szerinti betöltéséhez. A párhuzamos fokot a parallelCopies másolási tevékenység beállítása szabályozza. Ha például négyre van állítva parallelCopies , a szolgáltatás egyszerre négy lekérdezést hoz létre és futtat a megadott partícióbeállítás és beállítások alapján, és mindegyik lekérdezés lekéri az adatok egy részét a Netezza-adatbázisból.

Javasoljuk, hogy engedélyezze a párhuzamos másolást az adatparticionálással, különösen akkor, ha nagy mennyiségű adatot tölt be a Netezza-adatbázisból. Az alábbiakban a különböző forgatókönyvek javasolt konfigurációit soroljuk fel. Amikor adatokat másol fájlalapú adattárba, a rendszer újra megkonfigurálja, hogy több fájlként írjon egy mappába (csak a mappa nevét adja meg), ebben az esetben a teljesítmény jobb, mint egyetlen fájlba írni.

Eset Javasolt beállítások
Teljes terhelés nagy táblából. Partíciós lehetőség: Adatszelet.

A végrehajtás során a szolgáltatás automatikusan particionálja az adatokat a Netezza beépített adatszeletei alapján, és partíciók alapján másolja az adatokat.
Nagy mennyiségű adat betöltése egyéni lekérdezéssel. Partíciós lehetőség: Adatszelet.
Lekérdezés: SELECT * FROM <TABLENAME> WHERE mod(datasliceid, ?AdfPartitionCount) = ?AdfDataSliceCondition AND <your_additional_where_clause>.
A végrehajtás során a szolgáltatás lecseréli ?AdfPartitionCount a (másolási tevékenységre beállított párhuzamos másolási számot) és ?AdfDataSliceCondition az adatszeletpartíciós logikát, és elküldi a Netezza-nak.
Nagy mennyiségű adatot tölt be egyéni lekérdezéssel, és egy egész oszlopot használ, amely egyenletesen elosztott értékkel rendelkezik a tartomány particionálásához. Partícióbeállítások: Dinamikus tartomány partíciója.
Lekérdezés: SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>.
Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot. Az oszlopra egész adattípussal particionálhat.
Partíció felső határa és a partíció alsó határa: Adja meg, hogy a partícióoszlopra szeretne-e szűrni, hogy csak az alsó és a felső tartomány közötti adatokat kérje le.

A végrehajtás során a szolgáltatás lecseréli ?AdfRangePartitionColumnNamea , ?AdfRangePartitionUpbound, és ?AdfRangePartitionLowbound értéket az egyes partíciók tényleges oszlopnevére és értéktartományára, és elküldi a Netezza-nak.
Ha például az "ID" partícióoszlop az alsó kötést 1-nek, a felső korlátot pedig 80-nak állítja be, és a párhuzamos másolási beállítás 4, a szolgáltatás 4 partícióval kéri le az adatokat. Azonosítójuk [1,20], [21, 40], [41, 60] és [61, 80] között van.

Példa: lekérdezés adatszeletpartícióval

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE mod(datasliceid, ?AdfPartitionCount) = ?AdfDataSliceCondition AND <your_additional_where_clause>",
    "partitionOption": "DataSlice"
}

Példa: lekérdezés dinamikus tartomány partíciójával

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<dynamic_range_partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a Keresési tevékenység című témakört.

Következő lépések

A Másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját lásd: Támogatott adattárak és formátumok.