Megosztás a következőn keresztül:

Az Azure Database for PostgreSQL konfigurálása másolási tevékenységben

  • Cikk

Ez a cikk azt ismerteti, hogyan használhatja a másolási tevékenységet az adatfolyamban adatok másolására az Azure Database for PostgreSQL-ből és az Azure Database for PostgreSQL-be.

Támogatott konfiguráció

A másolási tevékenység alatt lévő lapok konfigurációjához tekintse meg a következő szakaszokat.

Általános

Az Általános beállítások lap konfigurálásához tekintse meg az Általános beállításokat ismertető útmutatót.

Forrás

A másolási tevékenység forrásának konfigurálásához lépjen a Forrás lapra. A részletes konfigurációért tekintse meg az alábbi tartalmat.

Screenshot showing source tab and the list of properties.

A következő három tulajdonság szükséges:

  • Adattár típusa: Válassza a Külső lehetőséget.
  • Csatlakozás ion: Válasszon ki egy Azure Database for PostgreSQL-kapcsolatot a kapcsolatlistából. Ha nincs kapcsolat, hozzon létre egy új Azure Database for PostgreSQL-kapcsolatot az Új lehetőség kiválasztásával.
  • Csatlakozás ion típusa: Válassza az Azure Database for PostgreSQL-t.
  • Lekérdezés használata: A Tábla kiválasztása a megadott táblából származó adatok beolvasásához, vagy a Lekérdezés lehetőséget választva olvassa be az adatokat lekérdezésekkel.

    • Ha a Táblázat lehetőséget választja:

      • Táblázat: Jelölje ki a táblázatot a legördülő listából, vagy válassza a Szerkesztés lehetőséget az adatok manuális beírásához.

        Screenshot showing Use query - Table.

    • Ha a Lekérdezés lehetőséget választja:

      • Lekérdezés: Adja meg az adatokat beolvasni kívánt egyéni SQL-lekérdezést. Például: SELECT * FROM mytable vagy SELECT * FROM "MyTable".

        Feljegyzés

        A PostgreSQL-ben az entitás nevét a kis- és nagybetűk nem érzéketlenként kezelik, ha nincs idézve.

        Screenshot showing Use query - Query.

A Speciális területen a következő mezőket adhatja meg:

  • Partíciós beállítás: Az Azure Database for PostgreSQL-ből való adatok betöltéséhez használt adatparticionálási beállításokat adja meg. Ha egy partíciós beállítás engedélyezve van (vagyis nem Nincs), a párhuzamosság mértékét az Azure Database for PostgreSQL-ből való egyidejű betöltéshez a másolási tevékenység beállításai lapon található másolási párhuzamosság határozza meg.

    Ha a Nincs lehetőséget választja, úgy dönt, hogy nem használja a partíciót.

    Ha a tábla fizikai partícióit választja:

    • Partíciónevek: Adja meg a másolandó fizikai partíciók listáját.

      Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfTabularPartitionName be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát.

      Screenshot showing the configuration when you select Physical partitions of table.

    Ha a dinamikus tartományt választja:

    • Partícióoszlop neve: Adja meg a forrásoszlop nevét egész számban vagy dátum/dátum/idő típusban (int, , smallint, bigint, date, vagy time without time zonetimestamp without time zonetimestamp with time zone ), amelyet a tartomány particionálása használ a párhuzamos másoláshoz. Ha nincs megadva, a rendszer automatikusan észleli a tábla elsődleges kulcsát, és partícióoszlopként használja.

      Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionColumnName be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát.

    • Partíció felső határa: Adja meg a partícióoszlop maximális értékét az adatok kimásolásához.

      Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionUpbound be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát. .

    • A partíció alsó határa: Adja meg az adatok másolásához szükséges partícióoszlop minimális értékét.

      Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionLowbound be. Például tekintse meg az Azure Database for PostgreSQL párhuzamos példányát.

      Screenshot showing the configuration when you select Dynamic range.

  • További oszlopok: További adatoszlopok hozzáadása a forrásfájlok relatív elérési útjának vagy statikus értékének tárolásához. A kifejezés az utóbbi esetében támogatott.

Cél

A másolási tevékenység célhelyének konfigurálásához lépjen a Cél lapra. A részletes konfigurációért tekintse meg az alábbi tartalmat.

Screenshot showing destination tab and the list of properties.

A következő három tulajdonság szükséges:

  • Adattár típusa: Válassza a Külső lehetőséget.
  • Csatlakozás ion: Válasszon ki egy Azure Database for PostgreSQL-kapcsolatot a kapcsolatlistából. Ha nincs kapcsolat, hozzon létre egy új Azure Database for PostgreSQL-kapcsolatot az Új lehetőség kiválasztásával.
  • Csatlakozás ion típusa: Válassza az Azure Database for PostgreSQL-t.
  • Táblázat: Jelölje ki a táblát a legördülő listából, vagy válassza a Szerkesztés lehetőséget az adatok manuális beírásához.

A Speciális területen a következő mezőket adhatja meg:

  • Írási módszer: Válassza ki azt a módszert, amellyel adatokat írhat az Azure Database for PostgreSQL-be. Válassza a Másolás parancsot (alapértelmezett, ami nagyobb teljesítményű) és a Tömeges beszúrás lehetőséget.

  • Előzetes másolási szkript: Adjon meg egy SQL-lekérdezést a futtatandó másolási tevékenységhez, mielőtt adatokat írna az Azure Database for PostgreSQL-be minden futtatás során. Ezzel a tulajdonságkal törölheti az előre betöltött adatokat.

  • Köteg időtúllépésének írása: Adja meg a köteg beszúrási művelet befejezésének várakozási idejét, mielőtt túllépi az időkorlátot. Az engedélyezett érték az időbélyeg. Az alapértelmezett érték 00:30:00 (30 perc).

  • Kötegméret írása: Adja meg az Azure Database for PostgreSQL-be betöltött sorok számát kötegenként. Az engedélyezett érték egy egész szám, amely a sorok számát jelöli. Az alapértelmezett érték 1 000 000.

Hozzárendelés

A Leképezés lap konfigurálásához tekintse meg a leképezések konfigurálása a leképezési lapon című témakört.

Beállítások

A Gépház lap konfigurációjához válassza a Beállítások lap egyéb beállításainak konfigurálását.

Párhuzamos másolás az Azure Database for PostgreSQL-ből

Az Azure Database for PostgreSQL-összekötő másolási tevékenységben beépített adatparticionálást biztosít az adatok párhuzamos másolásához. Az adatparticionálási beállításokat a másolási tevékenység Forrás lapján találja.

Ha engedélyezi a particionált másolást, a másolási tevékenység párhuzamos lekérdezéseket futtat az Azure Database for PostgreSQL-forráson az adatok partíciók szerinti betöltéséhez. A párhuzamos fokot a másolási tevékenység beállításai lap másolási párhuzamossági foka szabályozza. Ha például a másolási párhuzamosság fokát négyre állítja, a szolgáltatás egyszerre generál és futtat négy lekérdezést a megadott partícióbeállítás és beállítások alapján, és mindegyik lekérdezés lekéri az adatok egy részét az Azure Database for PostgreSQL-ből.

Javasoljuk, hogy engedélyezze a párhuzamos másolást adatparticionálással, különösen akkor, ha nagy mennyiségű adatot tölt be az Azure Database for PostgreSQL-ből. A következő javasolt konfigurációk különböző forgatókönyvekhez. Ha fájlalapú adattárba másol adatokat, ajánlott több fájlként írni egy mappába (csak a mappa nevét kell megadni), ebben az esetben a teljesítmény jobb, mint egyetlen fájlba írni.

Eset Javasolt beállítások
Teljes terhelés nagy táblából, fizikai partíciókkal. Partíciós beállítás: A tábla fizikai partíciói.

A végrehajtás során a szolgáltatás automatikusan észleli a fizikai partíciókat, és partíciók alapján másolja az adatokat.
Teljes terhelés nagy táblából fizikai partíciók nélkül, az adatparticionáláshoz pedig egész szám oszlopmal. Partícióbeállítások: Dinamikus tartomány.
Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot. Ha nincs megadva, a rendszer az elsődleges kulcs oszlopát használja.
Nagy mennyiségű adat betöltése egyéni lekérdezéssel, fizikai partíciókkal. Partíciós beállítás: A tábla fizikai partíciói.
Lekérdezés: SELECT * FROM ?AdfTabularPartitionName WHERE <your_additional_where_clause>.
Partíció neve: Adja meg az adatok másolásához használni kívánt partíciónevet. Ha nincs megadva, a szolgáltatás automatikusan észleli a Fizikai partíciókat a PostgreSQL-adatkészletben megadott táblában.

A végrehajtás során a szolgáltatás lecseréli ?AdfTabularPartitionName a tényleges partíciónevet, és elküldi az Azure Database for PostgreSQL-nek.
Nagy mennyiségű adat betöltése egyéni lekérdezéssel fizikai partíciók nélkül, az adatparticionáláshoz pedig egész szám oszlopmal. Partícióbeállítások: Dinamikus tartomány.
Lekérdezés: SELECT * FROM ?AdfTabularPartitionName WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>.
Partícióoszlop: Adja meg az adatok particionálásához használt oszlopot. Az oszlophoz egész számmal vagy dátum/dátum/idő típusú adattípussal is particionálhat.
Partíció felső határa és a partíció alsó határa: Adja meg, hogy a partícióoszlopra szeretne-e szűrni, hogy csak az alsó és a felső tartomány közötti adatokat kérje le.

A végrehajtás során a szolgáltatás lecseréli az egyes partíciók ?AdfRangePartitionColumnName?AdfRangePartitionUpbound?AdfRangePartitionLowbound tényleges oszlopnevét és értéktartományait, és elküldi az Azure Database for PostgreSQL-nek.
Ha például az "ID" partícióoszlop az alsó kötéssel 1, a felső kötés pedig 80, a párhuzamos másolás 4-zel van beállítva, a szolgáltatás 4 partícióval kéri le az adatokat. Azonosítójuk [1,20], [21, 40], [41, 60] és [61, 80] között van.

Ajánlott eljárások az adatok partíciós beállítással való betöltéséhez:

  • Válassza a megkülönböztető oszlopot partícióoszlopként (például elsődleges kulcs vagy egyedi kulcs) az adateltérés elkerülése érdekében.
  • Ha a tábla beépített partícióval rendelkezik, a jobb teljesítmény érdekében használja a "Tábla fizikai partíciói" partícióbeállítást.

Táblázat összefoglalása

Az alábbi táblázat további információkat tartalmaz az Azure Database for PostgreSQL másolási tevékenységéről.

Forrásadatok

Név Leírás Érték Szükséges JSON-szkripttulajdonság
Adattár típusa Az adattár típusa. Külső Igen /
Kapcsolat A forrásadattárhoz való kapcsolódás. < Az Azure Database for PostgreSQL-kapcsolat > Igen kapcsolat
Kapcsolat típusa A forráskapcsolat típusa. Azure Database for PostgreSQL Igen /
Lekérdezés használata Az adatok olvasásának módja. Tábla alkalmazása a megadott táblából származó adatok beolvasására, vagy lekérdezések használatával történő adatolvasásra a Lekérdezés alkalmazásával. • Táblázat
• Lekérdezés		 Igen • typeProperties (under typeProperties ->source)
  -Séma
  -Táblázat
•Lekérdezés
Partíciónevek A másolandó fizikai partíciók listája. Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfTabularPartitionName be. < a partíciónevek > Nem partitionNames
Partícióoszlop neve A forrásoszlop neve egész számban vagy dátum/dátum/idő típusban (int, , smallint, bigint, date, timestamp without time zonevagy timestamp with time zone time without time zone), amelyet a tartomány particionálása használ a párhuzamos másoláshoz. Ha nincs megadva, a rendszer automatikusan észleli a tábla elsődleges kulcsát, és partícióoszlopként használja. < a partícióoszlopok nevei > Nem partitionColumnName
Partíció felső határa A partícióoszlop maximális értéke az adatok kimásolásához. Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionUpbound be. < a partíció felső határa > Nem partitionUpperBound
Partíció alsó határa Az adatok másolásához szükséges partícióoszlop minimális értéke. Ha lekérdezést használ a forrásadatok lekéréséhez, a WHERE záradékban kapcsoljon ?AdfRangePartitionLowbound be. < a partíció alsó határa > Nem partitionLowerBound
További oszlopok Adjon hozzá további adatoszlopokat a forrásfájlok relatív elérési útjának vagy statikus értékének tárolásához. A kifejezés az utóbbi esetében támogatott. •Név
•Érték		 Nem továbbicolumnok:
•név
•Érték

Céladatok

Név Leírás Érték Szükséges JSON-szkripttulajdonság
Adattár típusa Az adattár típusa. Külső Igen /
Kapcsolat A céladattárhoz való kapcsolódás. < Az Azure Database for PostgreSQL-kapcsolat > Igen kapcsolat
Kapcsolat típusa A célkapcsolat típusa. Azure Database for PostgreSQL Igen /
Tábla A céladattábla az adatok írásához. < a céltábla neve > Igen typeProperties (under typeProperties ->sink):
  -Séma
  -Táblázat
Írási módszer Az adatok Azure Database for PostgreSQL-be való írásához használt módszer. • Másolási parancs (alapértelmezett)
• Tömeges beszúrás
 Nem writeMethod:
• CopyCommand
• BulkInsert
Szkript előzetes másolása SQL-lekérdezés a másolási tevékenységhez, mielőtt adatokat írna az Azure Database for PostgreSQL-be minden futtatás során. Ezzel a tulajdonságkal törölheti az előre betöltött adatokat. < az előmásolási szkript > Nem preCopyScript
Köteg időtúllépésének írása A köteg beszúrási műveletének várakozási ideje, mielőtt túllépi az időkorlátot. időtartomány
(az alapértelmezett érték 00:30:00 – 30 perc)		 Nem writeBatchTimeout
Kötegméret írása Az Azure Database for PostgreSQL-be betöltött sorok száma kötegenként. egész szám
(az alapértelmezett érték 1 000 000)		 Nem writeBatchSize

Kapcsolódó tartalom