Az Azure Database for PostgreSQL konfigurálása másolási tevékenységben

Ez a cikk azt ismerteti, hogyan használhatja a másolási tevékenységet az adatfolyamban adatok másolására az Azure Database for PostgreSQL-ből és az Azure Database for PostgreSQL-be.

Támogatott konfiguráció

A másolási tevékenység alatt lévő lapok konfigurációjához tekintse meg a következő szakaszokat.

• Általános
• Forrás
• Cél
• Hozzárendelés
• Beállítások

Általános

Az Általános beállítások lap konfigurálásához tekintse meg az Általános beállításokat ismertető útmutatót.

Forrás

A másolási tevékenység forrásának konfigurálásához lépjen a Forrás lapra. A részletes konfigurációért tekintse meg az alábbi tartalmat.

A következő három tulajdonság szükséges:

• Adattár típusa: Válassza a Külső lehetőséget.
• Csatlakozás ion: Válasszon ki egy Azure Database for PostgreSQL-kapcsolatot a kapcsolatlistából. Ha nincs kapcsolat, hozzon létre egy új Azure Database for PostgreSQL-kapcsolatot az Új lehetőség kiválasztásával.
• Csatlakozás ion típusa: Válassza az Azure Database for PostgreSQL-t.
• Lekérdezés használata: A Tábla kiválasztása a megadott táblából származó adatok beolvasásához, vagy a Lekérdezés lehetőséget választva olvassa be az adatokat lekérdezésekkel.

  • Ha a Táblázat lehetőséget választja:

    • Táblázat: Jelölje ki a táblázatot a legördülő listából, vagy válassza a Szerkesztés lehetőséget az adatok manuális beírásához.

      

  • Ha a Lekérdezés lehetőséget választja:

    • Lekérdezés: Adja meg az adatokat beolvasni kívánt egyéni SQL-lekérdezést. Például: SELECT * FROM mytable vagy SELECT * FROM "MyTable".

      Feljegyzés

      A PostgreSQL-ben az entitás nevét a kis- és nagybetűk nem érzéketlenként kezelik, ha nincs idézve.

      

A Speciális területen a következő mezőket adhatja meg:

• Partíciós beállítás: Az Azure Database for PostgreSQL-ből való adatok betöltéséhez használt adatparticionálási beállításokat adja meg. Ha egy partíciós beállítás engedélyezve van (vagyis nem Nincs), a párhuzamosság mértékét az Azure Database for PostgreSQL-ből való egyidejű betöltéshez a másolási tevékenység beállításai lapon található másolási párhuzamosság határozza meg.

  Ha a Nincs lehetőséget választja, úgy dönt, hogy nem használja a partíciót.

  Ha a tábla fizikai partícióit választja:

  • Partíciónevek: Adja meg a másolandó fizikai partíciók listáját.

    Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfTabularPartitionName be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát.

    

  Ha a dinamikus tartományt választja:

  • Partícióoszlop neve: Adja meg a forrásoszlop nevét egész számban vagy dátum/dátum/idő típusban (int, , smallint, bigint, date, vagy time without time zonetimestamp without time zonetimestamp with time zone ), amelyet a tartomány particionálása használ a párhuzamos másoláshoz. Ha nincs megadva, a rendszer automatikusan észleli a tábla elsődleges kulcsát, és partícióoszlopként használja.

    Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionColumnName be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát.

  • Partíció felső határa: Adja meg a partícióoszlop maximális értékét az adatok kimásolásához.

    Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionUpbound be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát. .

  • A partíció alsó határa: Adja meg az adatok másolásához szükséges partícióoszlop minimális értékét.

    Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionLowbound be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát.

    

• További oszlopok: További adatoszlopok hozzáadása a forrásfájlok relatív elérési útjának vagy statikus értékének tárolásához. A kifejezés az utóbbi esetében támogatott.

Cél

A másolási tevékenység célhelyének konfigurálásához lépjen a Cél lapra. A részletes konfigurációért tekintse meg az alábbi tartalmat.

A következő három tulajdonság szükséges:

• Adattár típusa: Válassza a Külső lehetőséget.
• Csatlakozás ion: Válasszon ki egy Azure Database for PostgreSQL-kapcsolatot a kapcsolatlistából. Ha nincs kapcsolat, hozzon létre egy új Azure Database for PostgreSQL-kapcsolatot az Új lehetőség kiválasztásával.
• Csatlakozás ion típusa: Válassza az Azure Database for PostgreSQL-t.
• Táblázat: Jelölje ki a táblát a legördülő listából, vagy válassza a Szerkesztés lehetőséget az adatok manuális beírásához.

A Speciális területen a következő mezőket adhatja meg:

• Írási módszer: Válassza ki azt a módszert, amellyel adatokat írhat az Azure Database for PostgreSQL-be. Válassza a Másolás parancsot (alapértelmezett, ami nagyobb teljesítményű) és a Tömeges beszúrás lehetőséget.

• Előzetes másolási szkript: Adjon meg egy SQL-lekérdezést a futtatandó másolási tevékenységhez, mielőtt adatokat írna az Azure Database for PostgreSQL-be minden futtatás során. Ezzel a tulajdonságkal törölheti az előre betöltött adatokat.

• Köteg időtúllépésének írása: Adja meg a köteg beszúrási művelet befejezésének várakozási idejét, mielőtt túllépi az időkorlátot. Az engedélyezett érték az időbélyeg. Az alapértelmezett érték 00:30:00 (30 perc).

• Kötegméret írása: Adja meg az Azure Database for PostgreSQL-be betöltött sorok számát kötegenként. Az engedélyezett érték egy egész szám, amely a sorok számát jelöli. Az alapértelmezett érték 1 000 000.

Hozzárendelés

A Leképezés lap konfigurálásához tekintse meg a leképezések konfigurálása a leképezési lapon című témakört.

Beállítások

A Gépház lap konfigurációjához válassza a Beállítások lap egyéb beállításainak konfigurálását.

Párhuzamos másolás az Azure Database for PostgreSQL-ből

Az Azure Database for PostgreSQL-összekötő másolási tevékenységben beépített adatparticionálást biztosít az adatok párhuzamos másolásához. Az adatparticionálási beállításokat a másolási tevékenység Forrás lapján találja.

Ha engedélyezi a particionált másolást, a másolási tevékenység párhuzamos lekérdezéseket futtat az Azure Database for PostgreSQL-forráson az adatok partíciók szerinti betöltéséhez. A párhuzamos fokot a másolási tevékenység beállításai lap másolási párhuzamossági foka szabályozza. Ha például a másolási párhuzamosság fokát négyre állítja, a szolgáltatás egyszerre generál és futtat négy lekérdezést a megadott partícióbeállítás és beállítások alapján, és mindegyik lekérdezés lekéri az adatok egy részét az Azure Database for PostgreSQL-ből.

Javasoljuk, hogy engedélyezze a párhuzamos másolást adatparticionálással, különösen akkor, ha nagy mennyiségű adatot tölt be az Azure Database for PostgreSQL-ből. A következő javasolt konfigurációk különböző forgatókönyvekhez. Ha fájlalapú adattárba másol adatokat, ajánlott több fájlként írni egy mappába (csak a mappa nevét kell megadni), ebben az esetben a teljesítmény jobb, mint egyetlen fájlba írni.

Eset	Javasolt beállítások
Teljes terhelés nagy táblából, fizikai partíciókkal.	Partíciós beállítás: A tábla fizikai partíciói. A végrehajtás során a szolgáltatás automatikusan észleli a fizikai partíciókat, és partíciók alapján másolja az adatokat.
Teljes terhelés nagy táblából fizikai partíciók nélkül, az adatparticionáláshoz pedig egész szám oszlopmal.	Partícióbeállítások: Dinamikus tartomány. Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot. Ha nincs megadva, a rendszer az elsődleges kulcs oszlopát használja.
Nagy mennyiségű adat betöltése egyéni lekérdezéssel, fizikai partíciókkal.	Partíciós beállítás: A tábla fizikai partíciói. Lekérdezés: SELECT * FROM ?AdfTabularPartitionName WHERE <your_additional_where_clause>. Partíció neve: Adja meg az adatok másolásához használni kívánt partíciónevet. Ha nincs megadva, a szolgáltatás automatikusan észleli a Fizikai partíciókat a PostgreSQL-adatkészletben megadott táblában. A végrehajtás során a szolgáltatás lecseréli ?AdfTabularPartitionName a tényleges partíciónevet, és elküldi az Azure Database for PostgreSQL-nek.
Nagy mennyiségű adat betöltése egyéni lekérdezéssel fizikai partíciók nélkül, az adatparticionáláshoz pedig egész szám oszlopmal.	Partícióbeállítások: Dinamikus tartomány. Lekérdezés: SELECT * FROM ?AdfTabularPartitionName WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>. Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot. Az oszlophoz egész számmal vagy dátum/dátum/idő típusú adattípussal is particionálhat. Partíció felső határa és a partíció alsó határa: Adja meg, hogy a partícióoszlopra szeretne-e szűrni, hogy csak az alsó és a felső tartomány közötti adatokat kérje le. A végrehajtás során a szolgáltatás lecseréli az egyes partíciók ?AdfRangePartitionColumnName?AdfRangePartitionUpbound?AdfRangePartitionLowbound tényleges oszlopnevét és értéktartományait, és elküldi az Azure Database for PostgreSQL-nek. Ha például az "ID" partícióoszlop az alsó kötéssel 1, a felső kötés pedig 80, a párhuzamos másolás 4-zel van beállítva, a szolgáltatás 4 partícióval kéri le az adatokat. Azonosítójuk [1,20], [21, 40], [41, 60] és [61, 80] között van.

Ajánlott eljárások az adatok partíciós beállítással való betöltéséhez:

• Válassza a megkülönböztető oszlopot partícióoszlopként (például elsődleges kulcs vagy egyedi kulcs) az adateltérés elkerülése érdekében.
• Ha a tábla beépített partícióval rendelkezik, a jobb teljesítmény érdekében használja a "Tábla fizikai partíciói" partícióbeállítást.

Táblázat összefoglalása

Az alábbi táblázat további információkat tartalmaz az Azure Database for PostgreSQL másolási tevékenységéről.

Forrásadatok

Név	Leírás	Érték	Szükséges	JSON-szkripttulajdonság
Adattár típusa	Az adattár típusa.	Külső	Igen	/
Kapcsolat	A forrásadattárhoz való kapcsolódás.	< Az Azure Database for PostgreSQL-kapcsolat >	Igen	kapcsolat
Kapcsolat típusa	A forráskapcsolat típusa.	Azure Database for PostgreSQL	Igen	/
Lekérdezés használata	Az adatok olvasásának módja. Tábla alkalmazása a megadott táblából származó adatok beolvasására, vagy lekérdezések használatával történő adatolvasásra a Lekérdezés alkalmazásával.	• Táblázat • Lekérdezés	Igen	• typeProperties (under typeProperties ->source)   -Séma   -Táblázat •Lekérdezés
Partíciónevek	A másolandó fizikai partíciók listája. Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfTabularPartitionName be.	< a partíciónevek >	Nem	partitionNames
Partícióoszlop neve	A forrásoszlop neve egész számban vagy dátum/dátum/idő típusban (int, , smallint, bigint, date, timestamp without time zonevagy timestamp with time zonetime without time zone), amelyet a tartomány particionálása használ a párhuzamos másoláshoz. Ha nincs megadva, a rendszer automatikusan észleli a tábla elsődleges kulcsát, és partícióoszlopként használja.	< a partícióoszlopok nevei >	Nem	partitionColumnName
Partíció felső határa	A partícióoszlop maximális értéke az adatok kimásolásához. Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionUpbound be.	< a partíció felső határa >	Nem	partitionUpperBound
Partíció alsó határa	Az adatok másolásához szükséges partícióoszlop minimális értéke. Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionLowbound be.	< a partíció alsó határa >	Nem	partitionLowerBound
További oszlopok	Adjon hozzá további adatoszlopokat a forrásfájlok relatív elérési útjának vagy statikus értékének tárolásához. A kifejezés az utóbbi esetében támogatott.	•Név •Érték	Nem	továbbicolumnok: •név •Érték

Céladatok

Név	Leírás	Érték	Szükséges	JSON-szkripttulajdonság
Adattár típusa	Az adattár típusa.	Külső	Igen	/
Kapcsolat	A céladattárhoz való kapcsolódás.	< Az Azure Database for PostgreSQL-kapcsolat >	Igen	kapcsolat
Kapcsolat típusa	A célkapcsolat típusa.	Azure Database for PostgreSQL	Igen	/
Tábla	A céladattábla az adatok írásához.	< a céltábla neve >	Igen	typeProperties (under typeProperties ->sink):   -Séma   -Táblázat
Írási módszer	Az adatok Azure Database for PostgreSQL-be való írásához használt módszer.	• Másolási parancs (alapértelmezett) • Tömeges beszúrás	Nem	writeMethod: • CopyCommand • BulkInsert
Szkript előzetes másolása	SQL-lekérdezés a másolási tevékenységhez, mielőtt adatokat írna az Azure Database for PostgreSQL-be minden futtatás során. Ezzel a tulajdonságkal törölheti az előre betöltött adatokat.	< az előmásolási szkript >	Nem	preCopyScript
Köteg időtúllépésének írása	A köteg beszúrási műveletének várakozási ideje, mielőtt túllépi az időkorlátot.	időtartomány (az alapértelmezett érték 00:30:00 – 30 perc)	Nem	writeBatchTimeout
Kötegméret írása	Az Azure Database for PostgreSQL-be betöltött sorok száma kötegenként.	egész szám (az alapértelmezett érték 1 000 000)	Nem	writeBatchSize

Kapcsolódó tartalom

• Az Azure Database for PostgreSQL-összekötő áttekintése