Adatok másolása és átalakítása az Azure Database for PostgreSQL-ben az Azure Data Factory vagy a Synapse Analytics használatával

Cikk
01/05/2024

A következőkre vonatkozik: Azure Data Factory Azure Synapse Analytics

Tipp.

Próbálja ki a Data Factoryt a Microsoft Fabricben, amely egy teljes körű elemzési megoldás a nagyvállalatok számára. A Microsoft Fabric az adattovábbítástól az adatelemzésig, a valós idejű elemzésig, az üzleti intelligenciáig és a jelentéskészítésig mindent lefed. Ismerje meg, hogyan indíthat új próbaverziót ingyenesen!

Ez a cikk bemutatja, hogyan használható a Másolási tevékenység az Azure Data Factoryben és a Synapse Analytics-folyamatokban az adatok az Azure Database for PostgreSQL-ből és az Azure Database for PostgreSQL-be való másolásához, valamint az Adatfolyam az adatok átalakításához az Azure Database for PostgreSQL-ben. További információkért olvassa el az Azure Data Factory és a Synapse Analytics bevezető cikkeit.

Ez az összekötő az Azure Database for PostgreSQL szolgáltatáshoz készült. Ha a helyszínen vagy a felhőben található általános PostgreSQL-adatbázisból szeretne adatokat másolni, használja a PostgreSQL-összekötőt.

Támogatott képességek

Ez az Azure Database for PostgreSQL-összekötő a következő képességekhez támogatott:

Támogatott képességek	IR	Managed private endpoint
Copy tevékenység (forrás/fogadó)	① ②	✓
Adatfolyam leképezése (forrás/fogadó)	①	✓
Keresési tevékenység	① ②	✓

(1) Azure-integrációs modul (2) Saját üzemeltetésű integrációs modul

A három tevékenység az Azure Database for PostgreSQL összes üzembehelyezési beállításán működik:

Első lépések

A Copy tevékenység folyamattal való végrehajtásához használja az alábbi eszközök vagy SDK-k egyikét:

Társított szolgáltatás létrehozása az Azure Database for PostgreSQL-hez felhasználói felületen

Az alábbi lépésekkel létrehozhat egy társított szolgáltatást az Azure Database for PostgreSQL-hez az Azure Portal felhasználói felületén.

Keresse meg az Azure Data Factory vagy a Synapse-munkaterület Kezelés lapját, és válassza a Társított szolgáltatások lehetőséget, majd kattintson az Új gombra:
- Azure Data Factory
- Azure Synapse
Keresse meg a PostgreSQL-t, és válassza ki az Azure Database for PostgreSQL-összekötőt.
Konfigurálja a szolgáltatás részleteit, tesztelje a kapcsolatot, és hozza létre az új társított szolgáltatást.

Csatlakozás or konfigurációjának részletei

Az alábbi szakaszok az Azure Database for PostgreSQL-összekötőre jellemző Data Factory-entitások meghatározásához használt tulajdonságok részleteit ismertetik.

Társított szolgáltatás tulajdonságai

Az Azure Database for PostgreSQL társított szolgáltatáshoz a következő tulajdonságok támogatottak:

Property	Leírás	Required
típus	A típustulajdonságnak a következőre kell állítania: AzurePostgreSql.	Igen
connectionString	Egy ODBC-kapcsolati sztring az Azure Database for PostgreSQL-hez való csatlakozáshoz. Jelszót is elhelyezhet az Azure Key Vaultban, és lekérheti a `password` konfigurációt a kapcsolati sztring. További részletekért tekintse meg az alábbi mintákat és a hitelesítő adatok tárolását az Azure Key Vaultban .	Igen
connectVia	Ez a tulajdonság az adattárhoz való csatlakozáshoz használandó integrációs modult jelöli. Használhatja az Azure Integration Runtime-ot vagy a saját üzemeltetésű integrációs modult (ha az adattár magánhálózaton található). Ha nincs megadva, az alapértelmezett Azure Integration Runtime-t használja.	Nem

Egy tipikus kapcsolati sztring a Server=<server>.postgres.database.azure.com;Database=<database>;Port=<port>;UID=<username>;Password=<Password>. Az alábbiakban további tulajdonságokat állíthat be esetenként:

Property	Leírás	Beállítások	Szükséges
EncryptionMethod (EM)	Az illesztőprogram által az illesztőprogram és az adatbázis-kiszolgáló között küldött adatok titkosításának módszere. Például: `EncryptionMethod=<0/1/6>;`	0 (Nincs titkosítás) (alapértelmezett) / 1 (SSL) / 6 (RequestSSL)	Nem
ValidateServerCertificate (VSC)	Meghatározza, hogy az illesztőprogram érvényesíti-e az adatbázis-kiszolgáló által az SSL-titkosítás engedélyezésekor küldött tanúsítványt (Encryption Method=1). Például: `ValidateServerCertificate=<0/1>;`	0 (Letiltva) (alapértelmezett) / 1 (engedélyezve)	Nem

Példa

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "typeProperties": {
            "connectionString": "Server=<server>.postgres.database.azure.com;Database=<database>;Port=<port>;UID=<username>;Password=<Password>"
        }
    }
}

Példa

Jelszó tárolása az Azure Key Vaultban

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "typeProperties": {
            "connectionString": "Server=<server>.postgres.database.azure.com;Database=<database>;Port=<port>;UID=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        }
    }
}

Adathalmaz tulajdonságai

Az adathalmazok meghatározásához elérhető szakaszok és tulajdonságok teljes listáját az Adathalmazok című témakörben találja. Ez a szakasz az Azure Database for PostgreSQL által az adathalmazokban támogatott tulajdonságok listáját tartalmazza.

Ha adatokat szeretne másolni az Azure Database for PostgreSQL-ből, állítsa be az adathalmaz típustulajdonságát az AzurePostgreSqlTable-ra. A következő tulajdonságok támogatottak:

Property	Leírás	Required
típus	Az adathalmaz típustulajdonságának az AzurePostgreSqlTable értékre kell állítania	Igen
tableName	A tábla neve	Nem (ha "lekérdezés" van megadva a tevékenységforrásban)

Példa

{
    "name": "AzurePostgreSqlDataset",
    "properties": {
        "type": "AzurePostgreSqlTable",
        "linkedServiceName": {
            "referenceName": "<AzurePostgreSql linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {}
    }
}

Másolási tevékenység tulajdonságai

A tevékenységek meghatározásához elérhető szakaszok és tulajdonságok teljes listáját a Folyamatok és tevékenységek című témakörben találja. Ez a szakasz az Azure Database for PostgreSQL-forrás által támogatott tulajdonságok listáját tartalmazza.

Azure Database for PostgreSql forrásként

Ha adatokat szeretne másolni az Azure Database for PostgreSQL-ből, állítsa be a másolási tevékenység forrástípusát az AzurePostgreSqlSource-ra. A másolási tevékenység forrás szakaszában a következő tulajdonságok támogatottak:

Property	Leírás	Required
típus	A másolási tevékenység forrásának típustulajdonságát az AzurePostgreSqlSource-ra kell állítani	Igen
Lekérdezés	Az adatok olvasásához használja az egyéni SQL-lekérdezést. Például: `SELECT * FROM mytable` vagy `SELECT * FROM "MyTable"`. Megjegyzés a PostgreSQL-ben, hogy az entitás neve kis- és nagybetűket nem érzéketlenként kezel, ha nincs idézve.	Nem (ha az adathalmaz tableName tulajdonsága meg van adva)
partitionOptions	Az Azure SQL Database-ből való adatbetöltéshez használt adatparticionálási beállításokat adja meg. Az engedélyezett értékek a következők: Nincs (alapértelmezett), PhysicalPartitionsOfTable és DynamicRange. Ha egy partíciós beállítás engedélyezve van (vagyis nem `None`), a párhuzamosság mértékét, hogy egyidejűleg betöltse az adatokat egy Azure SQL Database-ből, a `parallelCopies` másolási tevékenység beállításai vezérlik.	Nem
partíció Gépház	Adja meg az adatparticionálás beállításainak csoportját. Akkor alkalmazható, ha a partíciós beállítás nem `None`.	Nem
A következő alatt `partitionSettings`:
partitionNames	A másolandó fizikai partíciók listája. Akkor alkalmazható, ha a partíció beállítás.`PhysicalPartitionsOfTable` Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon `?AdfTabularPartitionName` be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát.	Nem
partitionColumnName	Adja meg annak a forrásoszlopnak a nevét egész számban vagy dátum/dátum/idő típusban (`int`, , `smallint`, `bigint`, `date`, `timestamp without time zone`vagy `timestamp with time zonetime without time zone`), amelyet a tartomány particionálása használ a párhuzamos másoláshoz. Ha nincs megadva, a rendszer automatikusan észleli a tábla elsődleges kulcsát, és partícióoszlopként használja. Akkor alkalmazható, ha a partíció beállítás.`DynamicRange` Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon `?AdfRangePartitionColumnName` be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát.	Nem
partitionUpperBound	A partícióoszlop maximális értéke az adatok kimásolásához. Akkor alkalmazható, ha a partíció beállítás.`DynamicRange` Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon `?AdfRangePartitionUpbound` be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát.	Nem
partitionLowerBound	Az adatok másolásához szükséges partícióoszlop minimális értéke. Akkor alkalmazható, ha a partíció beállítás.`DynamicRange` Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon `?AdfRangePartitionLowbound` be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát.	Nem

Példa

"activities":[
    {
        "name": "CopyFromAzurePostgreSql",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<AzurePostgreSql input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzurePostgreSqlSource",
                "query": "<custom query e.g. SELECT * FROM mytable>"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Database for PostgreSQL fogadóként

Ha adatokat szeretne átmásolni az Azure Database for PostgreSQL-be, a másolási tevékenység fogadó szakaszában az alábbi tulajdonságok támogatottak:

Property	Leírás	Required
típus	A másolási tevékenység fogadójának típustulajdonságát Az AzurePostgreSQLSink értékre kell állítani.	Igen
preCopyScript	Adjon meg egy SQL-lekérdezést a másolási tevékenységhez, mielőtt adatokat írna az Azure Database for PostgreSQL-be minden futtatás során. Ezzel a tulajdonságkal törölheti az előre betöltött adatokat.	Nem
writeMethod	Az adatok Azure Database for PostgreSQL-be való írásához használt módszer. Az engedélyezett értékek a következők: CopyCommand (alapértelmezett, amely nagyobb teljesítményű), BulkInsert.	Nem
writeBatchSize	Az Azure Database for PostgreSQL-be betöltött sorok száma kötegenként. Az engedélyezett érték egy egész szám, amely a sorok számát jelöli.	Nem (az alapértelmezett érték 1 000 000)
writeBatchTimeout	Várakozási idő, amíg a kötegbeszúrási művelet befejeződik, mielőtt túllépi az időkorlátot. Az engedélyezett értékek időbélyeg-sztringek. Ilyen például a 00:30:00 (30 perc).	Nem (az alapértelmezett érték 00:30:00)

Példa

"activities":[
    {
        "name": "CopyToAzureDatabaseForPostgreSQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure PostgreSQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzurePostgreSQLSink",
                "preCopyScript": "<custom SQL script>",
                "writeMethod": "CopyCommand",
                "writeBatchSize": 1000000
            }
        }
    }
]

Párhuzamos másolás az Azure Database for PostgreSQL-ből

Az Azure Database for PostgreSQL-összekötő másolási tevékenységben beépített adatparticionálást biztosít az adatok párhuzamos másolásához. Az adatparticionálási beállításokat a másolási tevékenység Forrás lapján találja.

Screenshot of partition options

Ha engedélyezi a particionált másolást, a másolási tevékenység párhuzamos lekérdezéseket futtat az Azure Database for PostgreSQL-forráson az adatok partíciók szerinti betöltéséhez. A párhuzamos fokot a másolási parallelCopies tevékenység beállításai vezérlik. Ha például négyre van állítva parallelCopies , a szolgáltatás egyszerre generál és futtat négy lekérdezést a megadott partícióbeállítás és beállítások alapján, és minden lekérdezés lekéri az adatok egy részét az Azure Database for PostgreSQL-ből.

Javasoljuk, hogy engedélyezze a párhuzamos másolást adatparticionálással, különösen akkor, ha nagy mennyiségű adatot tölt be az Azure Database for PostgreSQL-ből. A következő javasolt konfigurációk különböző forgatókönyvekhez. Ha fájlalapú adattárba másol adatokat, ajánlott több fájlként írni egy mappába (csak a mappa nevét kell megadni), ebben az esetben a teljesítmény jobb, mint egyetlen fájlba írni.

Eset	Javasolt beállítások
Teljes terhelés nagy táblából, fizikai partíciókkal.	Partíciós beállítás: A tábla fizikai partíciói. A végrehajtás során a szolgáltatás automatikusan észleli a fizikai partíciókat, és partíciók alapján másolja az adatokat.
Teljes terhelés nagy táblából fizikai partíciók nélkül, az adatparticionáláshoz pedig egész szám oszlopmal.	Partícióbeállítások: Dinamikus tartomány partíciója. Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot. Ha nincs megadva, a rendszer az elsődleges kulcs oszlopát használja.
Nagy mennyiségű adat betöltése egyéni lekérdezéssel, fizikai partíciókkal.	Partíciós beállítás: A tábla fizikai partíciói. Lekérdezés: `SELECT * FROM ?AdfTabularPartitionName WHERE <your_additional_where_clause>`. Partíció neve: Adja meg az adatok másolásához használni kívánt partíciónevet. Ha nincs megadva, a szolgáltatás automatikusan észleli a Fizikai partíciókat a PostgreSQL-adatkészletben megadott táblában. A végrehajtás során a szolgáltatás lecseréli `?AdfTabularPartitionName` a tényleges partíciónevet, és elküldi az Azure Database for PostgreSQL-nek.
Nagy mennyiségű adat betöltése egyéni lekérdezéssel fizikai partíciók nélkül, az adatparticionáláshoz pedig egész szám oszlopmal.	Partícióbeállítások: Dinamikus tartomány partíciója. Lekérdezés: `SELECT * FROM ?AdfTabularPartitionName WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>`. Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot. Az oszlophoz egész számmal vagy dátum/dátum/idő típusú adattípussal is particionálhat. Partíció felső határa és a partíció alsó határa: Adja meg, hogy a partícióoszlopra szeretne-e szűrni, hogy csak az alsó és a felső tartomány közötti adatokat kérje le. A végrehajtás során a szolgáltatás lecseréli az egyes partíciók `?AdfRangePartitionColumnName?AdfRangePartitionUpbound?AdfRangePartitionLowbound` tényleges oszlopnevét és értéktartományait, és elküldi az Azure Database for PostgreSQL-nek. Ha például az "ID" partícióoszlop az alsó kötéssel 1, a felső kötés pedig 80, a párhuzamos másolás 4-zel van beállítva, a szolgáltatás 4 partícióval kéri le az adatokat. Azonosítójuk [1,20], [21, 40], [41, 60] és [61, 80] között van.

Ajánlott eljárások az adatok partíciós beállítással való betöltéséhez:

Válassza a megkülönböztető oszlopot partícióoszlopként (például elsődleges kulcs vagy egyedi kulcs) az adateltérés elkerülése érdekében.
Ha a tábla beépített partícióval rendelkezik, a jobb teljesítmény érdekében használja a "Tábla fizikai partíciói" partícióbeállítást.
Ha az Azure Integration Runtime-t használja az adatok másolásához, nagyobb "adatintegráció egységeket (DIU)" (>4) állíthat be a nagyobb számítási erőforrások használatához. Ellenőrizze a vonatkozó forgatókönyveket.
A "másolási párhuzamosság foka" szabályozza a partíciószámokat, a túl nagy szám beállítása néha rontja a teljesítményt, javasoljuk, hogy állítsa be ezt a számot (DIU vagy a saját üzemeltetésű INTEGRÁCIÓs csomópontok száma) * (2–4).

Példa: teljes terhelés nagy táblából fizikai partíciókkal

"source": {
    "type": "AzurePostgreSqlSource",
    "partitionOption": "PhysicalPartitionsOfTable"
}

Példa: lekérdezés dinamikus tartománypartícióval

"source": {
    "type": "AzurePostgreSqlSource",
    "query": "SELECT * FROM <TableName> WHERE ?AdfDynamicRangePartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
        "partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
    }
}

Adatfolyam-tulajdonságok leképezése

A leképezési adatfolyam adatainak átalakításakor az Azure Database for PostgreSQL-ből olvashat és írhat táblákba. További információkért tekintse meg a forrásátalakítást és a fogadóátalakítást a leképezési adatfolyamokban. Választhat, hogy egy Azure Database for PostgreSQL-adatkészletet vagy egy beágyazott adatkészletet használ forrás- és fogadótípusként.

Forrásátalakítás

Az alábbi táblázat az Azure Database for PostgreSQL-forrás által támogatott tulajdonságokat sorolja fel. Ezeket a tulajdonságokat a Forrás beállításai lapon szerkesztheti.

Name	Leírás	Required	Megengedett értékek	Adatfolyam-szkript tulajdonság
Tábla	Ha bemenetként a Táblázat lehetőséget választja, az adatfolyam lekéri az adathalmazban megadott táblából az összes adatot.	Nem	-	(csak beágyazott adathalmaz esetén) tableName
Query	Ha bemenetként a Lekérdezés lehetőséget választja, adjon meg egy SQL-lekérdezést az adatok forrásból való lekéréséhez, amely felülírja az adathalmazban megadott táblázatokat. A lekérdezések használatával csökkenthetők a tesztelési és keresési sorok. Az Order By záradék nem támogatott, de beállíthat egy teljes Standard kiadás LECT FROM utasítást. Felhasználó által definiált táblafüggvényeket is használhat. *A elemet az udfGetData()** egy UDF az SQL-ben, amely egy olyan táblát ad vissza, amelyet az adatfolyamban használhat. Lekérdezési példa: `select * from mytable where customerId > 1000 and customerId < 2000` vagy `select * from "MyTable"`. Megjegyzés a PostgreSQL-ben, hogy az entitás neve kis- és nagybetűket nem érzéketlenként kezel, ha nincs idézve.	Nem	Sztring	Lekérdezés
Séma neve	Ha bemenetként a Tárolt eljárást választja, adja meg a tárolt eljárás sémanevét, vagy a Frissítés lehetőséget választva kérje meg a szolgáltatást a sémanevek felderítésére.	Nem	Sztring	schemaName
Tárolt eljárás	Ha bemenetként a Tárolt eljárást választja, adja meg a tárolt eljárás nevét, hogy adatokat olvasson be a forrástáblából, vagy a Frissítés lehetőséget választva kérje meg a szolgáltatást az eljárásnevek felderítésére.	Igen (ha a Tárolt eljárást választja bemenetként)	Sztring	procedureName
Eljárásparaméterek	Ha bemenetként a Tárolt eljárást választja, adja meg a tárolt eljárás bemeneti paramétereit az eljárásban megadott sorrendben, vagy válassza az Importálás lehetőséget az összes eljárásparaméter importálásához az űrlap `@paraName`használatával.	Nem	Tömb	Bemenetek
Köteg mérete	Adjon meg egy kötegméretet, amely nagy méretű adatokat kötegekké alakít.	Nem	Egész	batchSize
Elkülönítési szint	Válasszon az alábbi elkülönítési szintek közül: - Lekötött olvasás – Nem véglegesített olvasás (alapértelmezett) - Ismételhető olvasás -Szerializálható - Nincs (az elkülönítési szint figyelmen kívül hagyása)	Nem	READ_COMMITTED READ_UNCOMMITTED REPEATABLE_READ Standard kiadás RIALIZABLE NINCS	isolationLevel

Példa az Azure Database for PostgreSQL forrásszkriptre

Ha az Azure Database for PostgreSQL-t használja forrástípusként, a társított adatfolyam-szkript a következő:

source(allowSchemaDrift: true,
    validateSchema: false,
    isolationLevel: 'READ_UNCOMMITTED',
    query: 'select * from mytable',
    format: 'query') ~> AzurePostgreSQLSource

Fogadó átalakítása

Az alábbi táblázat az Azure Database for PostgreSQL-fogadó által támogatott tulajdonságokat sorolja fel. Ezeket a tulajdonságokat a Fogadó beállításai lapon szerkesztheti.

Name	Leírás	Required	Megengedett értékek	Adatfolyam-szkript tulajdonság
Frissítési módszer	Adja meg, hogy milyen műveletek engedélyezettek az adatbázis célhelyén. Az alapértelmezett beállítás csak a beszúrások engedélyezése. A sorok frissítéséhez, frissítéséhez vagy törléséhez a sorok címkézéséhez alter sorátalakítás szükséges.	Igen	`true` vagy `false`	törölhető beszúrható Frissíthető upsertable
Kulcsoszlopok	Frissítések, upserts és deletes esetén a kulcsoszlop(ok) beállításához meg kell határozni, hogy melyik sort kell módosítani. A kulcsként megadott oszlopnevet a rendszer a következő frissítés, a frissítés, a törlés részeként fogja használni. Ezért ki kell választania egy olyan oszlopot, amely a fogadóleképezésben található.	Nem	Tömb	keys
Kulcsoszlopok írásának kihagyása	Ha nem szeretné az értéket a kulcsoszlopba írni, válassza a "Kulcsoszlopok írásának kihagyása" lehetőséget.	Nem	`true` vagy `false`	skipKeyWrites
Táblaművelet	Meghatározza, hogy az írás előtt újra létre kell-e hozni vagy eltávolítani az összes sort a céltáblából. - Nincs: A rendszer nem hajt végre műveletet a táblán. - Újra: A tábla elvetve és újra létrehozva lesz. Új tábla dinamikus létrehozása esetén kötelező. - Csonkolási: A céltábla összes sora el lesz távolítva.	Nem	`true` vagy `false`	Újra megcsonkít
Köteg mérete	Adja meg, hogy hány sor legyen megírva az egyes kötegekben. A nagyobb kötegméretek javítják a tömörítést és a memóriaoptimalizálást, de az adatok gyorsítótárazásakor a memóriakivételek kiesnek.	Nem	Egész	batchSize
Felhasználói ADATBÁZIS-séma kiválasztása	Alapértelmezés szerint átmeneti tábla jön létre a fogadóséma alatt előkészítésként. Másik lehetőségként törölje a jelet a Fogadó séma használata lehetőségből, és ehelyett adjon meg egy sémanevet, amely alatt a Data Factory létrehoz egy átmeneti táblát, amely betölti a felsőbb rétegbeli adatokat, és a befejezéskor automatikusan törli őket. Győződjön meg arról, hogy táblaengedélyt hoz létre az adatbázisban, és módosítja a sémára vonatkozó engedélyt.	Nem	Sztring	stagingSchemaName
SQL-szkriptek elő- és postálása	Adja meg azokat a többsoros SQL-szkripteket, amelyek a fogadó adatbázisba való írása előtt (előzetes feldolgozás) és (utófeldolgozás) után hajtanak végre.	Nem	Sztring	preSQLs postSQLs

Tipp.

Ajánlott több parancsot tartalmazó kötegszkripteket több kötegre bontani.
A köteg részeként csak a data definition language (DDL) és az adatmanipulációs nyelv (DML) utasítások futtathatók, amelyek egyszerű frissítésszámot adnak vissza. További információ a kötegműveletek végrehajtásáról

Növekményes kinyerés engedélyezése: Ezzel a beállítással tudathatja az ADF-sel, hogy csak azokat a sorokat dolgozza fel, amelyek a folyamat legutóbbi végrehajtása óta megváltoztak.
Növekményes oszlop: A növekményes kinyerési funkció használatakor ki kell választania a forrástáblában vízjelként használni kívánt dátum/idő vagy numerikus oszlopot.
Kezdje el az olvasást az elejétől: Ha ezt a beállítást növekményes kivonattal állítja be, az ADF arra utasítja az ADF-et, hogy olvassa be az összes sort egy folyamat első végrehajtásakor, és be van kapcsolva a növekményes kivonat.

Példa az Azure Database for PostgreSQL fogadószkriptre

Ha az Azure Database for PostgreSQL-t használja fogadótípusként, a társított adatfolyam-szkript a következő:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    deletable:false,
    insertable:true,
    updateable:true,
    upsertable:true,
    keys:['keyColumn'],
    format: 'table',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzurePostgreSQLSink

Keresési tevékenység tulajdonságai

A tulajdonságokról további információt a Keresési tevékenység című témakörben talál.

A másolási tevékenység által forrásként és fogadóként támogatott adattárak listáját lásd : Támogatott adattárak.

Adatok másolása és átalakítása az Azure Database for PostgreSQL-ben az Azure Data Factory vagy a Synapse Analytics használatával

Támogatott képességek

Első lépések

Társított szolgáltatás létrehozása az Azure Database for PostgreSQL-hez felhasználói felületen

Csatlakozás or konfigurációjának részletei

Társított szolgáltatás tulajdonságai

Adathalmaz tulajdonságai

Másolási tevékenység tulajdonságai

Azure Database for PostgreSql forrásként

Azure Database for PostgreSQL fogadóként

Párhuzamos másolás az Azure Database for PostgreSQL-ből

Adatfolyam-tulajdonságok leképezése

Forrásátalakítás

Példa az Azure Database for PostgreSQL forrásszkriptre

Fogadó átalakítása

Példa az Azure Database for PostgreSQL fogadószkriptre

Keresési tevékenység tulajdonságai

Kapcsolódó tartalom

További források