Megjegyzés
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhat bejelentkezni vagy módosítani a címtárat.
Az oldalhoz való hozzáféréshez engedély szükséges. Megpróbálhatja módosítani a címtárat.
Vonatkozik:
Azure Data Factory
Azure Synapse Analytics
Tip
Ez a cikk azt ismerteti, hogyan használhatja a Másolási tevékenységet Azure Data Factory vagy Synapse Analytics-folyamatokban az adatok Netezza-ból való másolásához. A cikk a másolási tevékenységre épül, amely a másolási tevékenység általános áttekintését mutatja be.
Tip
A Netezza-ból az Azure-ra való adatmigrálási forgatókönyvről a Adatait migrálja a helyszíni Netezza szerverről Azure-ra tanulhat meg többet.
Important
A Netezza-összekötő 1.0-s verziója eltávolítási szakaszban van. Javasoljuk, hogy frissítse a Netezza-összekötőt az 1.0-s verzióról a 2.0-s verzióra.
Támogatott képességek
Ez a Netezza-összekötő a következő képességeket támogatja:
| Támogatott képességek | integrációs modul |
|---|---|
| Másolási tevékenység (forrás/-) | (1) (csak az 1.0-s verzióhoz) (2) |
| Keresési tevékenység | (1) (csak az 1.0-s verzióhoz) (2) |
(1) Azure integrációs modul (2) Saját üzemeltetésű integrációs modul
Azoknak az adattáraknak a listáját, amelyeket a Másolási tevékenység forrásként és fogadóként támogat, tekintse meg a támogatott adattárakat és formátumokat.
Ez a Netezza-összekötő a következőket támogatja:
- Párhuzamos másolás forrásból. Részletekért lásd a Párhuzamos másolás Netezzáról szakaszt.
- A Netezza Performance Server 11-es verziója.
- A Windows verziói ebben a cikkben.
A szolgáltatás egy beépített illesztőprogramot biztosít a kapcsolat létrehozásához. Az összekötő használatához nem kell manuálisan telepítenie egy illesztőprogramot sem.
A 2.0-s verzióhoz manuálisan kell telepítenie egy IBM Netezza ODBC-illesztőt . Az 1.0-s verzió esetében a szolgáltatás egy beépített illesztőt biztosít a kapcsolat engedélyezéséhez. Az összekötő használatához nem kell manuálisan telepítenie egy illesztőprogramot sem.
Prerequisites
Ha az adattár egy helyszíni hálózaton, egy Azure virtuális hálózaton vagy az Amazon Virtual Private Cloudon belül található, konfigurálnia kell egy önállóan üzemeltetett integrációs modult a csatlakozáshoz.
A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.
1.0-s verzió esetén
Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja a Azure Integration Runtime. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, az engedélyezési listához hozzáadhat Azure Integration Runtime IP-címeket.
A Azure Data Factory felügyelt virtuális hálózati integrációs modul funkciójával is hozzáférhet a helyszíni hálózathoz saját üzemeltetésű integrációs modul telepítése és konfigurálása nélkül.
A Netezza ODBC-illesztőprogram telepítése a 2.0-s verzióhoz
Ha a Netezza-összekötőt a 2.0-s verzióval szeretné használni, telepítse az IBM Netezza ODBC-illesztőprogram 11.02.02-es vagy újabb verzióját a saját üzemeltetésű integrációs modult futtató gépen.
Első lépések
Létrehozhat egy másolási tevékenységet használó folyamatot a .NET SDK, a Python SDK, a Azure PowerShell, a REST API vagy egy Azure Resource Manager sablon használatával. A másolási tevékenységgel rendelkező folyamat létrehozásához részletes útmutatást a Másolási tevékenység oktatóanyagbantalál.
Netezza-hoz kapcsolt szolgáltatás létrehozása a felhasználói felület használatával.
Az alábbi lépésekkel létrehozhat egy társított szolgáltatást a Netezza-hoz a Azure portál felhasználói felületén.
Keresse meg a Azure Data Factory vagy Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:
Keresse meg a Netezza-t, és válassza ki a Netezza-összekötőt.
Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.
Az összekötő konfigurációjának részletei
Az alábbi szakaszok a Netezza-összekötőre jellemző entitások definiálásához használható tulajdonságok részleteit ismertetik.
Társított szolgáltatás tulajdonságai
A Netezza-összekötő mostantól támogatja a 2.0-s verziót. Ebben a szakaszban frissítheti a Netezza-összekötő 1.0-s verziójának verzióját. A tulajdonság részleteiért tekintse meg a megfelelő szakaszokat.
2.0-s verzió
A Netezza társított szolgáltatás a következő tulajdonságokat támogatja a 2.0-s verzió alkalmazásakor:
| Property | Description | Required |
|---|---|---|
| típus | A típustulajdonságot Netezza értékre kell állítani. | Yes |
| verzió | A megadott verzió. Az érték 2.0. |
Yes |
| kiszolgáló | A Netezza-kiszolgáló állomásneve vagy IP-címe. | Yes |
| átvisz | A kiszolgálófigyelő portszáma. | Yes |
| adatbázis | A Netezza-adatbázis neve. | Yes |
| uid | Az adatbázishoz való csatlakozáshoz használt felhasználói azonosító. | Yes |
| pwd | Az adatbázishoz való csatlakozáshoz használt jelszó. | Yes |
| SecurityLevel | Az illesztőprogram által az adattárhoz való kapcsolódáshoz használt biztonsági szint. Példa: SecurityLevel=preferredUnSecured A támogatott értékek a következők:- Csak nem biztonságos (csakUnSecured): Az illesztőprogram nem használ SSL-t. - Előnyben részesített nem titkosított (preferredUnSecured) (alapértelmezett): Ha a kiszolgáló választási lehetőséget biztosít, a driver nem használ SSL-t. |
No |
| connectVia | Az adattárhoz való csatlakozáshoz használandó Integration Runtime. További információ az Előfeltételek szakaszból. Csak az önállóan üzemeltetett integrációs modult használhatja. | No |
Example
{
"name": "NetezzaLinkedService",
"properties": {
"type": "Netezza",
"version": "2.0",
"typeProperties": {
"server": "<server>",
"port": "<port>",
"database": "<database>",
"uid": "<username>",
"pwd": {
"type": "SecureString",
"value": "<password>"
},
"securityLevel": "preferredUnSecured"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
1.0-s verzió
Az 1.0-s verzió alkalmazásakor a Netezza társított szolgáltatás a következő tulajdonságokat támogatja:
| Property | Description | Required |
|---|---|---|
| típus | A típustulajdonságot Netezza értékre kell állítani. | Yes |
| connectionString | Egy ODBC kapcsolati karakterlánc a Netezza-hoz való csatlakozáshoz. Az Azure Key Vault-ban is elhelyezheti a jelszót, és eltávolíthatja a pwd konfigurációt a kapcsolati karakterláncból. További részletekért tekintse meg a következő mintákat és Adattár hitelesítő adatait Azure Key Vault cikkben. |
Yes |
| connectVia | Az adattárhoz való csatlakozáshoz használandó Integration Runtime. További információ az Előfeltételek szakaszból. Ha nincs megadva, a rendszer az alapértelmezett Azure Integration Runtime használja. | No |
Egy tipikus kapcsolati karakterlánc a Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>. Az alábbi táblázat további, beállítható tulajdonságokat ír le:
| Property | Description | Required |
|---|---|---|
| SecurityLevel | Az illesztőprogram által az adattárhoz való kapcsolódáshoz használt biztonsági szint. Példa: SecurityLevel=preferredUnSecured A támogatott értékek a következők:- Csak nem biztonságos (csakUnSecured): Az illesztőprogram nem használ SSL-t. - Előnyben részesített nem titkosított (preferredUnSecured) (alapértelmezett): Ha a kiszolgáló választási lehetőséget biztosít, a driver nem használ SSL-t. |
No |
Note
Az összekötő nem támogatja az SSLv3-at, mivel a Netezza hivatalosan elavulttá teszi.
Example
{
"name": "NetezzaLinkedService",
"properties": {
"type": "Netezza",
"typeProperties": {
"connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Példa: a jelszó tárolása az Azure Key Vaultban
{
"name": "NetezzaLinkedService",
"properties": {
"type": "Netezza",
"typeProperties": {
"connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;",
"pwd": {
"type": "AzureKeyVaultSecret",
"store": {
"referenceName": "<Azure Key Vault linked service name>",
"type": "LinkedServiceReference"
},
"secretName": "<secretName>"
}
},
"connectVia": {
"referenceName": "<name of Integration Runtime>",
"type": "IntegrationRuntimeReference"
}
}
}
Adatkészlet tulajdonságai
Ez a szakasz a Netezza-adatkészlet által támogatott tulajdonságok listáját tartalmazza.
Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című témakörben találja.
Ha adatokat szeretne másolni a Netezza-ból, állítsa be az adathalmaz típustulajdonságát a NetezzaTable értékre. A következő tulajdonságok támogatottak:
| Property | Description | Required |
|---|---|---|
| típus | Az adathalmaz típustulajdonságának a következőnek kell lennie: NetezzaTable | Yes |
| séma | A séma neve. | Nem (ha "lekérdezés" van megadva a tevékenységforrásban) |
| tábla | A tábla neve. | Nem (ha "lekérdezés" van megadva a tevékenységforrásban) |
| tableName | Az adattábla neve sémával. Ez a tulajdonság támogatja a visszamenőleges kompatibilitást. Az új számítási feladatokhoz használja a schema és table elemeket. |
Nem (ha "lekérdezés" van megadva a tevékenységforrásban) |
Example
{
"name": "NetezzaDataset",
"properties": {
"type": "NetezzaTable",
"linkedServiceName": {
"referenceName": "<Netezza linked service name>",
"type": "LinkedServiceReference"
},
"typeProperties": {}
}
}
Másolási tevékenység tulajdonságai
Ez a szakasz a Netezza-forrás által támogatott tulajdonságok listáját tartalmazza.
A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című témakörben találja.
Netezza mint forrás
Tip
Ha hatékonyan szeretne adatokat betölteni a Netezza-ból adatparticionálással, további információt a Netezza párhuzamos másolása szakaszból tudhat meg.
Ha adatokat szeretne másolni a Netezza-ból, állítsa be a forrástípust a Másolási tevékenységben a NetezzaSource-ra. A Másolási tevékenység forrás szakasza a következő tulajdonságokat támogatja:
| Property | Description | Required |
|---|---|---|
| típus | A Másolási tevékenység forrás típustulajdonságának a NetezzaSource értékre kell állítania. | Yes |
| lekérdezés | Az adatok olvasásához használja az egyéni SQL-lekérdezést. Példa: "SELECT * FROM MyTable" |
Nem (ha "tableName" van megadva az adathalmazban) |
| partitionOptions | Megadja az adatok Netezza-ból való betöltéséhez használt adatparticionálási beállításokat. Az engedélyezési értékek a következők: Nincs (alapértelmezett), DataSlice és DynamicRange. Ha egy partíciós beállítás engedélyezve van (vagyis nem None), a netezza-adatbázisból egyidejűleg betöltendő adatok párhuzamossági fokát a másolási tevékenység beállítása vezérli parallelCopies . |
No |
| partitionSettings | Adja meg az adatparticionálás beállításainak csoportját. Akkor alkalmazható, ha a partíciós beállítás nem None. |
No |
| partitionColumnName | Adja meg a forrásoszlop nevét egész számtípusban , amelyet a párhuzamos másolás tartományparticionálása használ. Ha nincs megadva, a rendszer automatikusan észleli a tábla elsődleges kulcsát, és partícióoszlopként használja. Akkor alkalmazható, ha a partíció beállítása DynamicRange. Ha lekérdezést használ a forrásadatok lekéréséhez, akkor a WHERE záradékban kapcsoljon ?AdfRangePartitionColumnName be. Lásd például a Netezza szakasz párhuzamos másolatát. |
No |
| partitionUpperBound | A partícióoszlop maximális értéke az adatok kimásolásához. Akkor alkalmazható, ha a partíciós beállítás DynamicRange. Ha lekérdezést használ a forrásadatok lekéréséhez, illessze be a ?AdfRangePartitionUpbound kódot a WHERE záradékba. Például lásd a Paralel másolat Netezzáról című szakaszt. |
No |
| partitionLowerBound | Az adatok másolásához szükséges partícióoszlop minimális értéke. Akkor alkalmazható, ha a partíció beállítása DynamicRange. Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionLowbound be. Például lásd a Paralel másolat Netezzáról című szakaszt. |
No |
Example:
"activities":[
{
"name": "CopyFromNetezza",
"type": "Copy",
"inputs": [
{
"referenceName": "<Netezza input dataset name>",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "<output dataset name>",
"type": "DatasetReference"
}
],
"typeProperties": {
"source": {
"type": "NetezzaSource",
"query": "SELECT * FROM MyTable"
},
"sink": {
"type": "<sink type>"
}
}
}
]
Párhuzamos másolat a Netezza-ból
A Data Factory Netezza összekötő beépített adatparticionálást biztosít az adatok Netezza-ból való párhuzamos másolásához. Az adatparticionálási beállításokat a másolási tevékenység forrástábláján találja.
Ha engedélyezi a particionált másolást, a szolgáltatás párhuzamos lekérdezéseket futtat a Netezza-forráson az adatok partíciók szerinti betöltéséhez. A párhuzamossági fokot a másolási tevékenység parallelCopies beállítása vezérli. Ha például négyre van állítva parallelCopies , a szolgáltatás egyszerre generál és futtat négy lekérdezést a megadott partícióbeállítás és beállítások alapján, és minden lekérdezés lekéri az adatok egy részét a Netezza-adatbázisból.
Javasoljuk, hogy engedélyezze a párhuzamos másolást az adatparticionálással, különösen akkor, ha nagy mennyiségű adatot tölt be a Netezza-adatbázisból. A következő javasolt konfigurációk különböző forgatókönyvekhez. Ha fájlalapú adattárba másol adatokat, ajánlott több fájlként írni egy mappába (csak a mappa nevét kell megadni), ebben az esetben a teljesítmény jobb, mint egyetlen fájlba írni.
| Scenario | Javasolt beállítások |
|---|---|
| Teljes betöltés nagy táblából. |
Partíciós beállítás: Adatszeletelés. A végrehajtás során a szolgáltatás automatikusan particionálja az adatokat a Netezza beépített adatszeletei alapján, és partíciók szerint másolja az adatokat. |
| Nagy mennyiségű adat betöltése egyéni lekérdezéssel. |
Partíciós beállítás: Adatszeletelés. Lekérdezés: SELECT * FROM <TABLENAME> WHERE mod(datasliceid, ?AdfPartitionCount) = ?AdfDataSliceCondition AND <your_additional_where_clause>.A végrehajtás során a szolgáltatás lecseréli ?AdfPartitionCount (a másolási tevékenységhez beállított párhuzamos másolási számra) és ?AdfDataSliceCondition az adatszelet partíciólogikára, és elküldi a Netezza-nak. |
| Nagy mennyiségű adatot tölthet be egyéni lekérdezéssel, és egy egyenletesen elosztott értékkel rendelkező egész oszlopot használ a tartomány particionálásához. |
Partícióbeállítások: Dinamikus tartomány partíciója. Lekérdezés: SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>.Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot. Az egész szám adattípusú oszlopot particionálhatja. Partíció felső határa és a partíció alsó határa: Adja meg, hogy a partícióoszlopra szeretne-e szűrni, hogy csak az alsó és a felső tartomány közötti adatokat kérje le. A végrehajtás során a szolgáltatás lecseréli az egyes partíciók ?AdfRangePartitionColumnName?AdfRangePartitionUpbound?AdfRangePartitionLowbound tényleges oszlopnevét és értéktartományait, és elküldi a Netezza-nak. Ha például a "ID" partíciós oszlop alsóhatárát 1-re, felsőhatárát pedig 80-ra állítja, és a párhuzamos másolás beállítása 4, akkor a szolgáltatás 4 partíció alapján kéri le az adatokat. Azonosítójuk [1,20], [21, 40], [41, 60] és [61, 80] között van. |
Példa: lekérdezés adatszeletpartícióval
"source": {
"type": "NetezzaSource",
"query": "SELECT * FROM <TABLENAME> WHERE mod(datasliceid, ?AdfPartitionCount) = ?AdfDataSliceCondition AND <your_additional_where_clause>",
"partitionOption": "DataSlice"
}
Példa: lekérdezés dinamikus tartománypartícióval
"source": {
"type": "NetezzaSource",
"query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
"partitionOption": "DynamicRange",
"partitionSettings": {
"partitionColumnName": "<dynamic_range_partition_column_name>",
"partitionUpperBound": "<upper_value_of_partition_column>",
"partitionLowerBound": "<lower_value_of_partition_column>"
}
}
Adattípus-leképezés a Netezza-hoz
Amikor adatokat másol a Netezza-ból, az alábbi leképezések a Netezza adattípusaiból a szolgáltatás által használt belső adattípusokra vonatkoznak. Ha szeretné megtudni, hogyan képezi le a másolási tevékenység a forrássémát és az adattípust a célhelyre, tekintse meg a séma- és adattípus-leképezéseket.
| Netezza adattípus | Köztes szolgáltatás adattípusa (a 2.0-s verzióhoz) | Köztes szolgáltatás adattípusa (1.0-s verzióhoz) |
|---|---|---|
| BOOLEAN | logikai | logikai |
| CHAR | String | String |
| VARCHAR | String | String |
| NCHAR | String | String |
| NVARCHAR | String | String |
| DATE | Date | DateTime |
| TIMESTAMP | DateTime | DateTime |
| TIME | Time | TimeSpan |
| INTERVAL | Nem támogatott | TimeSpan |
| IDŐ IDŐZÓNÁVAL | String | String |
| NUMERIC(p,s) | Decimal | Decimal |
| REAL | Single | Single |
| DUPLA PONTOSSÁG | Double | Double |
| INTEGER | Int32 | Int32 |
| BYTEINT | Int16 | SByte |
| SMALLINT | Int16 | Int16 |
| BIGINT | Int64 | Int64 |
Keresési tevékenység tulajdonságai
A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.
A Netezza-összekötő életciklusa és frissítése
Az alábbi táblázat a Netezza-összekötő különböző verzióinak kiadási fázisát és változásnaplóit mutatja be:
| Version | Kiadási szakasz | Változások naplója |
|---|---|---|
| 1.0-s verzió | Removed | Nem alkalmazható. |
| 2.0-s verzió | Elérhető GA-verzió | • Csak a saját üzemeltetésű integrációs modult támogatja. • A BYTEINT int16 adattípusként van beolvasva. • A DÁTUM dátum adattípusként van beolvasva. • A TIME idő adattípusként van beolvasva. • Az INTERVAL nem támogatott. |
A Netezza-összekötő frissítése az 1.0-s verzióról a 2.0-s verzióra
- A Csatolt szolgáltatás szerkesztése lapon válassza a 2.0-s verziót. További információkért tekintse meg a társított szolgáltatás 2.0-s verziójának tulajdonságait.
- A Netezza társított szolgáltatás 2.0-s verziójának adattípus-leképezése eltér az 1.0-s verziótól. A legújabb adattípus-leképezés megismeréséhez tekintse meg a Netezza adattípus-leképezését.
- Csak az önállóan üzemeltetett integrációs futtatókörnyezetet támogatja. Azure integrációs modult a 2.0-s verzió nem támogatja.
Kapcsolódó tartalom
Azoknak az adattáraknak a listáját, amelyeket a Másolási tevékenység forrásként és fogadóként támogat, tekintse meg a támogatott adattárakat és formátumokat.