Adatok másolása a Netezza-ból a Azure Data Factory vagy a Synapse Analytics használatával

Vonatkozik: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory a Microsoft Fabric a Azure Data Factory következő generációja, egyszerűbb architektúrával, beépített AI-vel és új funkciókkal. Ha még nem ismerkedik az adatintegrációval, kezdje a Fabric Data Factoryvel. A meglévő ADF-számítási feladatok frissíthetők Fabric használatával, hogy elérjék az adatkutatás, a valós idejű elemzés és a jelentéskészítés új képességeit.

Ez a cikk azt ismerteti, hogyan használhatja a Másolási tevékenységet Azure Data Factory vagy Synapse Analytics-folyamatokban az adatok Netezza-ból való másolásához. A cikk a másolási tevékenységre épül, amely a másolási tevékenység általános áttekintését mutatja be.

Tip

A Netezza-ból az Azure-ra való adatmigrálási forgatókönyvről a Adatait migrálja a helyszíni Netezza szerverről Azure-ra tanulhat meg többet.

Important

A Netezza-összekötő 1.0-s verziója eltávolítási szakaszban van. Javasoljuk, hogy frissítse a Netezza-összekötőt az 1.0-s verzióról a 2.0-s verzióra.

Támogatott képességek

Ez a Netezza-összekötő a következő képességeket támogatja:

Támogatott képességek integrációs modul
Másolási tevékenység (forrás/-) (1) (csak az 1.0-s verzióhoz) (2)
Keresési tevékenység (1) (csak az 1.0-s verzióhoz) (2)

(1) Azure integrációs modul (2) Saját üzemeltetésű integrációs modul

Azoknak az adattáraknak a listáját, amelyeket a Másolási tevékenység forrásként és fogadóként támogat, tekintse meg a támogatott adattárakat és formátumokat.

Ez a Netezza-összekötő a következőket támogatja:

A szolgáltatás egy beépített illesztőprogramot biztosít a kapcsolat létrehozásához. Az összekötő használatához nem kell manuálisan telepítenie egy illesztőprogramot sem.

A 2.0-s verzióhoz manuálisan kell telepítenie egy IBM Netezza ODBC-illesztőt . Az 1.0-s verzió esetében a szolgáltatás egy beépített illesztőt biztosít a kapcsolat engedélyezéséhez. Az összekötő használatához nem kell manuálisan telepítenie egy illesztőprogramot sem.

Prerequisites

Ha az adattár egy helyszíni hálózaton, egy Azure virtuális hálózaton vagy az Amazon Virtual Private Cloudon belül található, konfigurálnia kell egy önállóan üzemeltetett integrációs modult a csatlakozáshoz.

A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.

1.0-s verzió esetén

Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja a Azure Integration Runtime. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, az engedélyezési listához hozzáadhat Azure Integration Runtime IP-címeket.

A Azure Data Factory felügyelt virtuális hálózati integrációs modul funkciójával is hozzáférhet a helyszíni hálózathoz saját üzemeltetésű integrációs modul telepítése és konfigurálása nélkül.

A Netezza ODBC-illesztőprogram telepítése a 2.0-s verzióhoz

Ha a Netezza-összekötőt a 2.0-s verzióval szeretné használni, telepítse az IBM Netezza ODBC-illesztőprogram 11.02.02-es vagy újabb verzióját a saját üzemeltetésű integrációs modult futtató gépen.

Első lépések

Létrehozhat egy másolási tevékenységet használó folyamatot a .NET SDK, a Python SDK, a Azure PowerShell, a REST API vagy egy Azure Resource Manager sablon használatával. A másolási tevékenységgel rendelkező folyamat létrehozásához részletes útmutatást a Másolási tevékenység oktatóanyagbantalál.

Netezza-hoz kapcsolt szolgáltatás létrehozása a felhasználói felület használatával.

Az alábbi lépésekkel létrehozhat egy társított szolgáltatást a Netezza-hoz a Azure portál felhasználói felületén.

  1. Keresse meg a Azure Data Factory vagy Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:

  2. Keresse meg a Netezza-t, és válassza ki a Netezza-összekötőt.

    Képernyőkép a Netezza-összekötőről.

  3. Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

    Képernyőkép a Netezza társított szolgáltatáskonfigurációjáról.

Az összekötő konfigurációjának részletei

Az alábbi szakaszok a Netezza-összekötőre jellemző entitások definiálásához használható tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

A Netezza-összekötő mostantól támogatja a 2.0-s verziót. Ebben a szakaszban frissítheti a Netezza-összekötő 1.0-s verziójának verzióját. A tulajdonság részleteiért tekintse meg a megfelelő szakaszokat.

2.0-s verzió

A Netezza társított szolgáltatás a következő tulajdonságokat támogatja a 2.0-s verzió alkalmazásakor:

Property Description Required
típus A típustulajdonságot Netezza értékre kell állítani. Yes
verzió A megadott verzió. Az érték 2.0. Yes
kiszolgáló A Netezza-kiszolgáló állomásneve vagy IP-címe. Yes
átvisz A kiszolgálófigyelő portszáma. Yes
adatbázis A Netezza-adatbázis neve. Yes
uid Az adatbázishoz való csatlakozáshoz használt felhasználói azonosító. Yes
pwd Az adatbázishoz való csatlakozáshoz használt jelszó. Yes
SecurityLevel Az illesztőprogram által az adattárhoz való kapcsolódáshoz használt biztonsági szint.
Példa: SecurityLevel=preferredUnSecured A támogatott értékek a következők:
- Csak nem biztonságos (csakUnSecured): Az illesztőprogram nem használ SSL-t.
- Előnyben részesített nem titkosított (preferredUnSecured) (alapértelmezett): Ha a kiszolgáló választási lehetőséget biztosít, a driver nem használ SSL-t.
No
connectVia Az adattárhoz való csatlakozáshoz használandó Integration Runtime. További információ az Előfeltételek szakaszból. Csak az önállóan üzemeltetett integrációs modult használhatja. No

Example

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
	        "port": "<port>",
            "database": "<database>",
 		    "uid": "<username>",
		    "pwd": {
                "type": "SecureString",
                "value": "<password>"
             },
		    "securityLevel": "preferredUnSecured"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

1.0-s verzió

Az 1.0-s verzió alkalmazásakor a Netezza társított szolgáltatás a következő tulajdonságokat támogatja:

Property Description Required
típus A típustulajdonságot Netezza értékre kell állítani. Yes
connectionString Egy ODBC kapcsolati karakterlánc a Netezza-hoz való csatlakozáshoz.
Az Azure Key Vault-ban is elhelyezheti a jelszót, és eltávolíthatja a pwd konfigurációt a kapcsolati karakterláncból. További részletekért tekintse meg a következő mintákat és Adattár hitelesítő adatait Azure Key Vault cikkben.
Yes
connectVia Az adattárhoz való csatlakozáshoz használandó Integration Runtime. További információ az Előfeltételek szakaszból. Ha nincs megadva, a rendszer az alapértelmezett Azure Integration Runtime használja. No

Egy tipikus kapcsolati karakterlánc a Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>. Az alábbi táblázat további, beállítható tulajdonságokat ír le:

Property Description Required
SecurityLevel Az illesztőprogram által az adattárhoz való kapcsolódáshoz használt biztonsági szint.
Példa: SecurityLevel=preferredUnSecured A támogatott értékek a következők:
- Csak nem biztonságos (csakUnSecured): Az illesztőprogram nem használ SSL-t.
- Előnyben részesített nem titkosított (preferredUnSecured) (alapértelmezett): Ha a kiszolgáló választási lehetőséget biztosít, a driver nem használ SSL-t.
No

Note

Az összekötő nem támogatja az SSLv3-at, mivel a Netezza hivatalosan elavulttá teszi.

Example

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa: a jelszó tárolása az Azure Key Vaultban

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adatkészlet tulajdonságai

Ez a szakasz a Netezza-adatkészlet által támogatott tulajdonságok listáját tartalmazza.

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című témakörben találja.

Ha adatokat szeretne másolni a Netezza-ból, állítsa be az adathalmaz típustulajdonságát a NetezzaTable értékre. A következő tulajdonságok támogatottak:

Property Description Required
típus Az adathalmaz típustulajdonságának a következőnek kell lennie: NetezzaTable Yes
séma A séma neve. Nem (ha "lekérdezés" van megadva a tevékenységforrásban)
tábla A tábla neve. Nem (ha "lekérdezés" van megadva a tevékenységforrásban)
tableName Az adattábla neve sémával. Ez a tulajdonság támogatja a visszamenőleges kompatibilitást. Az új számítási feladatokhoz használja a schema és table elemeket. Nem (ha "lekérdezés" van megadva a tevékenységforrásban)

Example

{
    "name": "NetezzaDataset",
    "properties": {
        "type": "NetezzaTable",
        "linkedServiceName": {
            "referenceName": "<Netezza linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {}
    }
}

Másolási tevékenység tulajdonságai

Ez a szakasz a Netezza-forrás által támogatott tulajdonságok listáját tartalmazza.

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című témakörben találja.

Netezza mint forrás

Tip

Ha hatékonyan szeretne adatokat betölteni a Netezza-ból adatparticionálással, további információt a Netezza párhuzamos másolása szakaszból tudhat meg.

Ha adatokat szeretne másolni a Netezza-ból, állítsa be a forrástípust a Másolási tevékenységben a NetezzaSource-ra. A Másolási tevékenység forrás szakasza a következő tulajdonságokat támogatja:

Property Description Required
típus A Másolási tevékenység forrás típustulajdonságának a NetezzaSource értékre kell állítania. Yes
lekérdezés Az adatok olvasásához használja az egyéni SQL-lekérdezést. Példa: "SELECT * FROM MyTable" Nem (ha "tableName" van megadva az adathalmazban)
partitionOptions Megadja az adatok Netezza-ból való betöltéséhez használt adatparticionálási beállításokat.
Az engedélyezési értékek a következők: Nincs (alapértelmezett), DataSlice és DynamicRange.
Ha egy partíciós beállítás engedélyezve van (vagyis nem None), a netezza-adatbázisból egyidejűleg betöltendő adatok párhuzamossági fokát a másolási tevékenység beállítása vezérli parallelCopies .
No
partitionSettings Adja meg az adatparticionálás beállításainak csoportját.
Akkor alkalmazható, ha a partíciós beállítás nem None.
No
partitionColumnName Adja meg a forrásoszlop nevét egész számtípusban , amelyet a párhuzamos másolás tartományparticionálása használ. Ha nincs megadva, a rendszer automatikusan észleli a tábla elsődleges kulcsát, és partícióoszlopként használja.
Akkor alkalmazható, ha a partíció beállítása DynamicRange. Ha lekérdezést használ a forrásadatok lekéréséhez, akkor a WHERE záradékban kapcsoljon ?AdfRangePartitionColumnName be. Lásd például a Netezza szakasz párhuzamos másolatát.
No
partitionUpperBound A partícióoszlop maximális értéke az adatok kimásolásához.
Akkor alkalmazható, ha a partíciós beállítás DynamicRange. Ha lekérdezést használ a forrásadatok lekéréséhez, illessze be a ?AdfRangePartitionUpbound kódot a WHERE záradékba. Például lásd a Paralel másolat Netezzáról című szakaszt.
No
partitionLowerBound Az adatok másolásához szükséges partícióoszlop minimális értéke.
Akkor alkalmazható, ha a partíció beállítása DynamicRange. Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionLowbound be. Például lásd a Paralel másolat Netezzáról című szakaszt.
No

Example:

"activities":[
    {
        "name": "CopyFromNetezza",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Netezza input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "NetezzaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Párhuzamos másolat a Netezza-ból

A Data Factory Netezza összekötő beépített adatparticionálást biztosít az adatok Netezza-ból való párhuzamos másolásához. Az adatparticionálási beállításokat a másolási tevékenység forrástábláján találja.

Képernyőkép a partícióbeállításokról

Ha engedélyezi a particionált másolást, a szolgáltatás párhuzamos lekérdezéseket futtat a Netezza-forráson az adatok partíciók szerinti betöltéséhez. A párhuzamossági fokot a másolási tevékenység parallelCopies beállítása vezérli. Ha például négyre van állítva parallelCopies , a szolgáltatás egyszerre generál és futtat négy lekérdezést a megadott partícióbeállítás és beállítások alapján, és minden lekérdezés lekéri az adatok egy részét a Netezza-adatbázisból.

Javasoljuk, hogy engedélyezze a párhuzamos másolást az adatparticionálással, különösen akkor, ha nagy mennyiségű adatot tölt be a Netezza-adatbázisból. A következő javasolt konfigurációk különböző forgatókönyvekhez. Ha fájlalapú adattárba másol adatokat, ajánlott több fájlként írni egy mappába (csak a mappa nevét kell megadni), ebben az esetben a teljesítmény jobb, mint egyetlen fájlba írni.

Scenario Javasolt beállítások
Teljes betöltés nagy táblából. Partíciós beállítás: Adatszeletelés.

A végrehajtás során a szolgáltatás automatikusan particionálja az adatokat a Netezza beépített adatszeletei alapján, és partíciók szerint másolja az adatokat.
Nagy mennyiségű adat betöltése egyéni lekérdezéssel. Partíciós beállítás: Adatszeletelés.
Lekérdezés: SELECT * FROM <TABLENAME> WHERE mod(datasliceid, ?AdfPartitionCount) = ?AdfDataSliceCondition AND <your_additional_where_clause>.
A végrehajtás során a szolgáltatás lecseréli ?AdfPartitionCount (a másolási tevékenységhez beállított párhuzamos másolási számra) és ?AdfDataSliceCondition az adatszelet partíciólogikára, és elküldi a Netezza-nak.
Nagy mennyiségű adatot tölthet be egyéni lekérdezéssel, és egy egyenletesen elosztott értékkel rendelkező egész oszlopot használ a tartomány particionálásához. Partícióbeállítások: Dinamikus tartomány partíciója.
Lekérdezés: SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>.
Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot. Az egész szám adattípusú oszlopot particionálhatja.
Partíció felső határa és a partíció alsó határa: Adja meg, hogy a partícióoszlopra szeretne-e szűrni, hogy csak az alsó és a felső tartomány közötti adatokat kérje le.

A végrehajtás során a szolgáltatás lecseréli az egyes partíciók ?AdfRangePartitionColumnName?AdfRangePartitionUpbound?AdfRangePartitionLowbound tényleges oszlopnevét és értéktartományait, és elküldi a Netezza-nak.
Ha például a "ID" partíciós oszlop alsóhatárát 1-re, felsőhatárát pedig 80-ra állítja, és a párhuzamos másolás beállítása 4, akkor a szolgáltatás 4 partíció alapján kéri le az adatokat. Azonosítójuk [1,20], [21, 40], [41, 60] és [61, 80] között van.

Példa: lekérdezés adatszeletpartícióval

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE mod(datasliceid, ?AdfPartitionCount) = ?AdfDataSliceCondition AND <your_additional_where_clause>",
    "partitionOption": "DataSlice"
}

Példa: lekérdezés dinamikus tartománypartícióval

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<dynamic_range_partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Adattípus-leképezés a Netezza-hoz

Amikor adatokat másol a Netezza-ból, az alábbi leképezések a Netezza adattípusaiból a szolgáltatás által használt belső adattípusokra vonatkoznak. Ha szeretné megtudni, hogyan képezi le a másolási tevékenység a forrássémát és az adattípust a célhelyre, tekintse meg a séma- és adattípus-leképezéseket.

Netezza adattípus Köztes szolgáltatás adattípusa (a 2.0-s verzióhoz) Köztes szolgáltatás adattípusa (1.0-s verzióhoz)
BOOLEAN logikai logikai
CHAR String String
VARCHAR String String
NCHAR String String
NVARCHAR String String
DATE Date DateTime
TIMESTAMP DateTime DateTime
TIME Time TimeSpan
INTERVAL Nem támogatott TimeSpan
IDŐ IDŐZÓNÁVAL String String
NUMERIC(p,s) Decimal Decimal
REAL Single Single
DUPLA PONTOSSÁG Double Double
INTEGER Int32 Int32
BYTEINT Int16 SByte
SMALLINT Int16 Int16
BIGINT Int64 Int64

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

A Netezza-összekötő életciklusa és frissítése

Az alábbi táblázat a Netezza-összekötő különböző verzióinak kiadási fázisát és változásnaplóit mutatja be:

Version Kiadási szakasz Változások naplója
1.0-s verzió Removed Nem alkalmazható.
2.0-s verzió Elérhető GA-verzió • Csak a saját üzemeltetésű integrációs modult támogatja.

• A BYTEINT int16 adattípusként van beolvasva.

• A DÁTUM dátum adattípusként van beolvasva.

• A TIME idő adattípusként van beolvasva.

• Az INTERVAL nem támogatott.

A Netezza-összekötő frissítése az 1.0-s verzióról a 2.0-s verzióra

  1. A Csatolt szolgáltatás szerkesztése lapon válassza a 2.0-s verziót. További információkért tekintse meg a társított szolgáltatás 2.0-s verziójának tulajdonságait.
  2. A Netezza társított szolgáltatás 2.0-s verziójának adattípus-leképezése eltér az 1.0-s verziótól. A legújabb adattípus-leképezés megismeréséhez tekintse meg a Netezza adattípus-leképezését.
  3. Csak az önállóan üzemeltetett integrációs futtatókörnyezetet támogatja. Azure integrációs modult a 2.0-s verzió nem támogatja.

Azoknak az adattáraknak a listáját, amelyeket a Másolási tevékenység forrásként és fogadóként támogat, tekintse meg a támogatott adattárakat és formátumokat.