Adatok másolása a Teradata Vantage-ből az Azure Data Factory és a Synapse Analytics használatával

Cikk
11/16/2023

Aktuális verzió

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk azt ismerteti, hogyan használhatja a másolási tevékenységet az Azure Data Factoryben és a Synapse Analytics-folyamatokban a Teradata Vantage adatainak másolásához. A másolási tevékenység áttekintésére épül.

Támogatott képességek

Ez a Teradata-összekötő a következő képességeket támogatja:

Támogatott képességek	IR
Copy tevékenység (forrás/-)	① ②
Keresési tevékenység	① ②

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

A másolási tevékenység által forrásként/fogadóként támogatott adattárak listáját a Támogatott adattárak táblában találja.

Ez a Teradata-összekötő a következőket támogatja:

A Teradata 14.10-es, 15.0-s, 15.10-es, 16.0-s, 16.10-es és 16.20-es verziója.
Adatok másolása alapszintű, Windows vagy LDAP-hitelesítéssel.
Párhuzamos másolás egy Teradata-forrásból. A részletekért tekintse meg a Teradata párhuzamos másolatát.

Előfeltételek

Ha az adattár helyszíni hálózaton, Azure-beli virtuális hálózaton vagy Amazon Virtual Private Cloudon belül található, konfigurálnia kell egy saját üzemeltetésű integrációs modult a csatlakozáshoz.

Ha az adattár felügyelt felhőalapú adatszolgáltatás, használhatja az Azure Integration Runtime-ot. Ha a hozzáférés a tűzfalszabályokban jóváhagyott IP-címekre korlátozódik, hozzáadhat azure integration runtime IP-eket az engedélyezési listához.

Az Azure Data Factory felügyelt virtuális hálózati integrációs moduljával is elérheti a helyszíni hálózatot anélkül, hogy saját üzemeltetésű integrációs modult telepítene és konfigurálna.

A Data Factory által támogatott hálózati biztonsági mechanizmusokkal és lehetőségekkel kapcsolatos további információkért lásd az adathozzáférési stratégiákat.

Ha saját üzemeltetésű integrációs modult használ, vegye figyelembe, hogy a 3.18-as verziótól kezdve egy beépített Teradata-illesztőt biztosít. Nem kell manuálisan telepítenie az illesztőprogramokat. Az illesztőprogramhoz a "Visual C++ Redistributable 2012 Update 4" szükséges a saját üzemeltetésű integrációs futtatókörnyezeti gépen. Ha még nincs telepítve, töltse le innen.

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

Társított szolgáltatás létrehozása a Teradata szolgáltatáshoz felhasználói felülettel

Az alábbi lépésekkel létrehozhat egy társított szolgáltatást a Teradata-hoz az Azure Portal felhasználói felületén.

Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:
- Azure Data Factory
- Azure Synapse
Keresse meg a Teradata-t, és válassza ki a Teradata-összekötőt.
Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

Csatlakozás or konfigurációjának részletei

Az alábbi szakaszokban a Teradata-összekötőre jellemző Data Factory-entitások meghatározásához használt tulajdonságokról olvashat.

Társított szolgáltatás tulajdonságai

A Teradata társított szolgáltatás a következő tulajdonságokat támogatja:

Property	Leírás	Required
típus	A típustulajdonságot Teradata értékre kell állítani.	Igen
connectionString	Megadja a Teradata-példányhoz való csatlakozáshoz szükséges információkat. Tekintse meg az alábbi példákat. Jelszót is elhelyezhet az Azure Key Vaultban, és lekérheti a `password` konfigurációt a kapcsolati sztring. További részletekért tekintse meg az Azure Key Vaultban tárolt hitelesítő adatokat.	Igen
username	Adjon meg egy felhasználónevet a Teradata-hoz való csatlakozáshoz. Windows-hitelesítés használatakor érvényes.	Nem
jelszó	Adja meg a felhasználónévhez megadott felhasználói fiók jelszavát. Az Azure Key Vaultban tárolt titkos kódokra is hivatkozhat. Windows-hitelesítés használatakor vagy jelszóra való hivatkozáskor érvényes a Key Vaultban az alapszintű hitelesítéshez.	Nem
connectVia	Az adattárhoz való csatlakozáshoz használandó integrációs modul . További információ az Előfeltételek szakaszból. Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja.	Nem

Esetenként további kapcsolati tulajdonságokat állíthat be kapcsolati sztring:

Property	Leírás	Default value
TdmstPortNumber	A Teradata-adatbázis eléréséhez használt port száma. Ezt az értéket csak akkor módosítsa, ha a műszaki támogatási szolgálat erre utasította.	1025
UseDataEncryption	Megadja, hogy titkosítja-e a Teradata-adatbázissal folytatott összes kommunikációt. Az engedélyezett értékek 0 vagy 1. - 0 (letiltva, alapértelmezett): Csak a hitelesítési adatokat titkosítja. - 1 (engedélyezve): Titkosítja az illesztőprogram és az adatbázis között átadott összes adatot.	`0`
CharacterSet	A munkamenethez használni kívánt karakter. Például. `CharacterSet=UTF16` Ez az érték lehet felhasználó által definiált karakterkészlet, vagy az alábbi előre definiált karakterkészletek egyike: -ASCII - UTF8 - UTF16 - LATIN1252_0A - LATIN9_0A - LATIN1_0A - Shift-JIS (Windows, DOS kompatibilis, KANJISJIS_0S) - EUC (Unix-kompatibilis, KANJIEC_0U) - IBM Nagyszámítógép (KANJIEBCDIC5035_0I) - KANJI932_1S0 - BIG5 (TCHBIG5_1R0) - GB (SCHGB2312_1T0) - SCHINE Standard kiadás936_6R0 - TCHINE Standard kiadás950_8R0 - NetworkKorean (HANGULKSC5601_2R4) - HANGUL949_7R0 - ARABIC1256_6A0 - CYRILLIC1251_2A0 - HEBREW1255_5A0 - LATIN1250_1A0 - LATIN1254_7A0 - LATIN1258_8A0 - THAI874_4A0	`ASCII`
MaxRespSize	Az SQL-kérelmek válaszpufferének maximális mérete kilobájtban (KB-ban). Például. `MaxRespSize=‭10485760‬` A Teradata Database 16.00-s vagy újabb verziója esetén a maximális érték 7361536. A korábbi verziókat használó kapcsolatok esetében a maximális érték 1048576.	`65536`
Mechanizmusnév	A kapcsolat hitelesítéséhez adja meg `MechanismName=LDAP`az LDAP protokollt.	N/A

Példa alapszintű hitelesítés használatára

{
    "name": "TeradataLinkedService",
    "properties": {
        "type": "Teradata",
        "typeProperties": {
            "connectionString": "DBCName=<server>;Uid=<username>;Pwd=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa Windows-hitelesítés használatával

{
    "name": "TeradataLinkedService",
    "properties": {
        "type": "Teradata",
        "typeProperties": {
            "connectionString": "DBCName=<server>",
            "username": "<username>",
            "password": "<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Példa LDAP-hitelesítés használatával

{
    "name": "TeradataLinkedService",
    "properties": {
        "type": "Teradata",
        "typeProperties": {
            "connectionString": "DBCName=<server>;MechanismName=LDAP;Uid=<username>;Pwd=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Megjegyzés:

A következő hasznos adatok továbbra is támogatottak. A továbbiakban azonban az újat kell használnia.

Korábbi hasznos adatok:

{
    "name": "TeradataLinkedService",
    "properties": {
        "type": "Teradata",
        "typeProperties": {
            "server": "<server>",
            "authenticationType": "<Basic/Windows>",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Adathalmaz tulajdonságai

Ez a szakasz a Teradata-adatkészlet által támogatott tulajdonságok listáját tartalmazza. Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című témakörben találja.

A Teradata adatainak másolásához a következő tulajdonságok támogatottak:

Property	Leírás	Required
típus	Az adathalmaz típustulajdonságának a következőnek kell lennie `TeradataTable`: .	Igen
adatbázis	A Teradata-példány neve.	Nem (ha "lekérdezés" van megadva a tevékenységforrásban)
table	A tábla neve a Teradata-példányban.	Nem (ha "lekérdezés" van megadva a tevékenységforrásban)

Példa

{
    "name": "TeradataDataset",
    "properties": {
        "type": "TeradataTable",
        "typeProperties": {},
        "schema": [],        
        "linkedServiceName": {
            "referenceName": "<Teradata linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Megjegyzés:

RelationalTable a type dataset továbbra is támogatott. Javasoljuk azonban, hogy az új adatkészletet használja.

Korábbi hasznos adatok:

{
    "name": "TeradataDataset",
    "properties": {
        "type": "RelationalTable",
        "linkedServiceName": {
            "referenceName": "<Teradata linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {}
    }
}

Másolási tevékenység tulajdonságai

Ez a szakasz a Teradata-forrás által támogatott tulajdonságok listáját tartalmazza. A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok című témakörben találja.

Teradata mint forrás

Tipp.

Ha hatékonyan szeretne adatokat betölteni a Teradata-ból adatparticionálással, további információt a Párhuzamos másolás a Teradata szakaszból.

Ha adatokat szeretne másolni a Teradata-ból, a másolási tevékenység forrás szakaszában az alábbi tulajdonságok támogatottak:

Property	Leírás	Required
típus	A másolási tevékenység forrásának típustulajdonságát be kell állítani `TeradataSource`.	Igen
Lekérdezés	Az adatok olvasásához használja az egyéni SQL-lekérdezést. Például: `"SELECT * FROM MyTable"`. Ha engedélyezi a particionált terhelést, csatlakoztatnia kell a megfelelő beépített partícióparamétereket a lekérdezésben. Példák: a Teradata párhuzamos példánya.	Nem (ha az adathalmaz táblája meg van adva)
partitionOptions	Megadja a Teradata adatainak betöltéséhez használt adatparticionálási beállításokat. Az engedélyezési értékek a következők: Nincs (alapértelmezett), Kivonat és DynamicRange. Ha egy partíciós beállítás engedélyezve van (azaz nem `None`), a párhuzamosság mértékét, hogy egyidejűleg betöltse az adatokat a Teradata-ból, a `parallelCopies` másolási tevékenység beállításai vezérlik.	Nem
partíció Gépház	Adja meg az adatparticionálás beállításainak csoportját. Akkor alkalmazható, ha a partíciós beállítás nem `None`.	Nem
partitionColumnName	Adja meg annak a forrásoszlopnak a nevét, amelyet a tartománypartíció vagy a hash partíció használ a párhuzamos másoláshoz. Ha nincs megadva, a rendszer automatikusan észleli a tábla elsődleges indexét, és partícióoszlopként használja. Akkor alkalmazható, ha a partíciós beállítás vagy `DynamicRange`a `Hash` . Ha lekérdezéssel kéri le a forrásadatokat, a horog `?AdfHashPartitionCondition` vagy `?AdfRangePartitionColumnName` a WHERE záradékban. Lásd a Teradata szakasz párhuzamos másolatát bemutató példát.	Nem
partitionUpperBound	A partícióoszlop maximális értéke az adatok kimásolásához. Akkor alkalmazható, ha a partíciós beállítás .`DynamicRange` Ha lekérdezést használ a forrásadatok lekéréséhez, csatlakoztassa `?AdfRangePartitionUpbound` a WHERE záradékot. Példaként tekintse meg a Teradata párhuzamos másolatát.	Nem
partitionLowerBound	Az adatok másolásához szükséges partícióoszlop minimális értéke. Akkor alkalmazható, ha a partíció beállítás.`DynamicRange` Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon `?AdfRangePartitionLowbound` be. Példaként tekintse meg a Teradata párhuzamos másolatát.	Nem

Megjegyzés:

RelationalSource a típusmásolási forrás továbbra is támogatott, de nem támogatja a Teradata új beépített párhuzamos terhelését (partícióbeállítások). Javasoljuk azonban, hogy az új adatkészletet használja.

Példa: adatok másolása partíció nélküli egyszerű lekérdezéssel

"activities":[
    {
        "name": "CopyFromTeradata",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Teradata input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "TeradataSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Párhuzamos másolás a Teradata-ból

A Teradata-összekötő beépített adatparticionálást biztosít az adatok párhuzamos másolásához a Teradata-ból. Az adatparticionálási beállításokat a másolási tevékenység forrástábláján találja.

Screenshot of partition options

A particionált példány engedélyezésekor a szolgáltatás párhuzamos lekérdezéseket futtat a Teradata-forráson az adatok partíciók szerinti betöltéséhez. A párhuzamos fokot a másolási parallelCopies tevékenység beállításai vezérlik. Ha például négyre van állítva parallelCopies , a szolgáltatás egyszerre generál és futtat négy lekérdezést a megadott partícióbeállítás és beállítások alapján, és minden lekérdezés lekéri az adatok egy részét a Teradata-ból.

Javasoljuk, hogy engedélyezze a párhuzamos másolást adatparticionálással, különösen akkor, ha nagy mennyiségű adatot tölt be a Teradata-ból. A következő javasolt konfigurációk különböző forgatókönyvekhez. Ha fájlalapú adattárba másol adatokat, ajánlott több fájlként írni egy mappába (csak a mappa nevét kell megadni), ebben az esetben a teljesítmény jobb, mint egyetlen fájlba írni.

Eset	Javasolt beállítások
Teljes terhelés nagy táblából.	Partíciós lehetőség: Kivonat. A végrehajtás során a szolgáltatás automatikusan észleli az elsődleges indexoszlopot, kivonatot alkalmaz rá, és partíciók alapján másolja az adatokat.
Nagy mennyiségű adat betöltése egyéni lekérdezéssel.	Partíciós lehetőség: Kivonat. Lekérdezés: `SELECT * FROM <TABLENAME> WHERE ?AdfHashPartitionCondition AND <your_additional_where_clause>`. Partícióoszlop: Adja meg a kivonatpartíció alkalmazásához használt oszlopot. Ha nincs megadva, a szolgáltatás automatikusan észleli a Teradata-adathalmazban megadott tábla PK oszlopát. A végrehajtás során a szolgáltatás lecseréli a kivonat partíciólogikát `?AdfHashPartitionCondition` , és elküldi a Teradata-nak.
Nagy mennyiségű adatot tölthet be egyéni lekérdezéssel, és egy egyenletesen elosztott értékkel rendelkező egész oszlopot használ a tartomány particionálásához.	Partícióbeállítások: Dinamikus tartomány partíciója. Lekérdezés: `SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>`. Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot. Az egész szám adattípusú oszlopra particionálást végezhet. Partíció felső határa és a partíció alsó határa: Adja meg, hogy a partícióoszlopra szeretne-e szűrni, hogy csak az alsó és a felső tartomány közötti adatokat kérje le. A végrehajtás során a szolgáltatás lecseréli az egyes partíciók `?AdfRangePartitionColumnName?AdfRangePartitionUpbound?AdfRangePartitionLowbound` tényleges oszlopnevét és értéktartományait, és elküldi a Teradata-nak. Ha például az "ID" partícióoszlop az alsó kötéssel 1, a felső kötés pedig 80, a párhuzamos másolási beállítás pedig 4, akkor a szolgáltatás 4 partícióval kéri le az adatokat. Azonosítójuk [1,20], [21, 40], [41, 60] és [61, 80] között van.

Példa: lekérdezés kivonatpartícióval

"source": {
    "type": "TeradataSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfHashPartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "Hash",
    "partitionSettings": {
        "partitionColumnName": "<hash_partition_column_name>"
    }
}

Példa: lekérdezés dinamikus tartománypartícióval

"source": {
    "type": "TeradataSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<dynamic_range_partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Adattípus-leképezés a Teradata-hoz

Amikor adatokat másol a Teradata-ból, a következő leképezések vonatkoznak a Teradata adattípusaiból a szolgáltatás által használt belső adattípusokra. Ha tudni szeretné, hogy a másolási tevékenység hogyan képezi le a forrássémát és az adattípust a fogadóhoz, tekintse meg a séma- és adattípus-leképezéseket.

Teradata-adattípus	Köztes szolgáltatás adattípusa
BigInt	Int64
Blob	Bájt[]
Bájt	Bájt[]
Bájtint	Int16
Char	Sztring
Clob	Sztring
Date	DateTime
Decimális	Decimális
Dupla	Dupla
Grafikus	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Egész	Int32
Intervallumok napja	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Intervallum napról órára	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Intervallum napról percre	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Intervallum napról másodpercre	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Időközi óra	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Intervallum–perc	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Intervallum–másodperc	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Időközi perc	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Időköz percről másodpercre	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Intervallumhónap	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Időköz másodpercben	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Időközi év	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Intervallum évről hónapra	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Szám	Dupla
Időszak (dátum)	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Időszak (idő)	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Időszak (időzóna szerinti idő)	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Időszak (időbélyeg)	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Időszak (időbélyeg időzónával)	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
SmallInt	Int16
Idő	időtartam
Időzóna	időtartam
Timestamp	DateTime
Időbélyeg időzónával	DateTime
VarByte	Bájt[]
Varchar	Sztring
VarGraphic	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.
Xml	Nem támogatott. Explicit leadás alkalmazása a forrás lekérdezésben.

Keresési tevékenység tulajdonságai

A tulajdonságok részleteinek megismeréséhez tekintse meg a keresési tevékenységet.

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját lásd : Támogatott adattárak.

Adatok másolása a Teradata Vantage-ből az Azure Data Factory és a Synapse Analytics használatával

Támogatott képességek

Előfeltételek

Első lépések

Társított szolgáltatás létrehozása a Teradata szolgáltatáshoz felhasználói felülettel

Csatlakozás or konfigurációjának részletei

Társított szolgáltatás tulajdonságai

Adathalmaz tulajdonságai

Másolási tevékenység tulajdonságai

Teradata mint forrás

Párhuzamos másolás a Teradata-ból

Adattípus-leképezés a Teradata-hoz

Keresési tevékenység tulajdonságai

Kapcsolódó tartalom

További források