Adatok betöltése az Azure Data Factory használatával az Azure Cosmos DB for PostgreSQL-ben

A KÖVETKEZŐKRE VONATKOZIK: Azure Cosmos DB for PostgreSQL (a Citus adatbázisbővítménye a PostgreSQL-re)

Az Azure Data Factory egy felhőalapú ETL- és adatintegrációs szolgáltatás. Lehetővé teszi adatvezérelt munkafolyamatok létrehozását az adatok nagy léptékű áthelyezéséhez és átalakításához.

A Data Factory használatával olyan adatvezérelt munkafolyamatokat (úgynevezett folyamatokat) hozhat létre és ütemezhet, amelyek különböző adattárakból származó adatokat használnak be. A folyamatok futtathatók a helyszínen, az Azure-ban vagy más felhőszolgáltatókon elemzés és jelentéskészítés céljából.

A Data Factory rendelkezik egy adatgyűjtővel az Azure Cosmos DB for PostgreSQL-hez. Az adatgyűjtő lehetővé teszi, hogy az adatokat (relációs, NoSQL- és data lake-fájlok) az Azure Cosmos DB for PostgreSQL-táblákba hozza tárolási, feldolgozási és jelentéskészítési célokra.

Fontos

A Data Factory jelenleg nem támogatja az Azure Cosmos DB for PostgreSQL privát végpontjait.

Data Factory valós idejű betöltéshez

Az alábbiakban az Azure Data Factoryt választjuk az adatok Azure Cosmos DB for PostgreSQL-be való betöltéséhez:

• Könnyen használható – Kód nélküli vizuális környezetet biztosít az adatáthelyezés vezényléséhez és automatizálásához.
• Nagy teljesítményű – A mögöttes hálózati sávszélesség teljes kapacitását használja, akár 5 GiB/s átviteli sebességgel.
• Beépített összekötők – Az összes adatforrást integrálja több mint 90 beépített összekötővel.
• Költséghatékony – Használatalapú fizetéses, teljes mértékben felügyelt kiszolgáló nélküli felhőszolgáltatást támogat, amely igény szerint skálázható.

A Data Factory használatának lépései

Ebben a cikkben egy adatfolyamot hoz létre a Data Factory felhasználói felületének (UI) használatával. A data factory folyamata adatokat másol az Azure Blob Storage-ból egy adatbázisba. A forrásként és fogadóként támogatott adattárak listája a támogatott adattárakat tartalmazó táblázatban található.

A Data Factoryben a másolási tevékenység használatával adatokat másolhat a helyszínen és a felhőben található adattárak között az Azure Cosmos DB for PostgreSQL-be. Ha még nem ismerkedik a Data Factoryvel, az első lépésekről az alábbi rövid útmutatóban tájékozódhat:

1. A Data Factory üzembe helyezése után nyissa meg a data factoryt, és indítsa el az Azure Data Factory Studiót. A Data Factory kezdőlapja az alábbi képen látható módon jelenik meg:

   

2. Az Azure Data Factory Studio kezdőlapján válassza az Orchestrate lehetőséget.

   

3. A Tulajdonságok csoportban adja meg a folyamat nevét.

4. A Tevékenységek eszközkészletben bontsa ki az Áthelyezés > átalakítás kategóriát, és húzza az adatmásolási tevékenységet a folyamattervező felületére. A tervezőpanel alján, az Általános lapon adja meg a másolási tevékenység nevét.

   

5. Forrás konfigurálása.

   1. A Tevékenységek lapon válassza a Forrás lapot. Forrásadatkészlet létrehozásához válassza az Új lehetőséget.

   2. Az Új adathalmaz párbeszédpanelen válassza az Azure Blob Storage lehetőséget, majd a Folytatás lehetőséget.

   3. Válassza ki az adatok formátumtípusát, majd válassza a Folytatás lehetőséget.

   4. A Tulajdonságok beállítása lap Csatolt szolgáltatás területén válassza az Új lehetőséget.

   5. Az Új társított szolgáltatás lapon adja meg a társított szolgáltatás nevét, és válassza ki a tárfiókot a Tárfiók névlistájából.

      

   6. A Kapcsolat tesztelése területen válassza a Fájl elérési útja lehetőséget, adja meg a tárolót és a könyvtárat, amelyhez csatlakozni szeretne, majd válassza a Kapcsolat tesztelése lehetőséget.

   7. A konfiguráció mentéséhez válassza a Létrehozás lehetőséget .

   8. A Tulajdonságok beállítása képernyőn válassza az OK gombot.

6. Konfigurálja a fogadót.

   1. A Tevékenységek lapon válassza a Fogadó lapot. A Fogadó adatkészlet létrehozásához válassza az Új lehetőséget.

   2. Az Új adathalmaz párbeszédpanelen válassza az Azure Database for PostgreSQL lehetőséget, majd válassza a Folytatás lehetőséget.

   3. A Tulajdonságok beállítása lap Csatolt szolgáltatás területén válassza az Új lehetőséget.

   4. Az Új társított szolgáltatás lapon adja meg a társított szolgáltatás nevét, majd a Fiókválasztási módszerben válassza az Enter manuálisan lehetőséget.

   5. Adja meg a fürt koordinátorának nevét a Teljes tartománynév mezőben. A koordinátor nevét az Azure Cosmos DB for PostgreSQL-fürt Áttekintés oldaláról másolhatja.

   6. Hagyja meg az alapértelmezett 5432-s portot a Port mezőben, hogy közvetlen kapcsolatot létesítsen a koordinátorral, vagy cserélje le a 6432-s portra a felügyelt PgBouncer-porthoz való csatlakozáshoz.

   7. Adja meg az adatbázis nevét a fürtön, és adjon meg hitelesítő adatokat a fürthöz való csatlakozáshoz.

   8. Válassza ki az SSL-t a Titkosítási módszer legördülő listában.

      

   9. Válassza a panel alján található Kapcsolat tesztelése lehetőséget a fogadó konfigurációjának ellenőrzéséhez.

   10. A konfiguráció mentéséhez válassza a Létrehozás lehetőséget .

   11. A Tulajdonságok beállítása képernyőn válassza az OK gombot.

   12. A Tevékenységek lap Fogadó lapján válassza a Megnyitás gombot a Fogadó adathalmaz legördülő lista mellett, és válassza ki a célfürt azon táblanevét, ahová az adatokat be szeretné venni.

   13. Az Írási módszer csoportban válassza a Másolás parancsot.

   

7. A vászon feletti eszköztáron válassza az Ellenőrzés lehetőséget a folyamatbeállítások érvényesítéséhez. Javítsa ki a hibákat, értékelje újra, és győződjön meg arról, hogy a folyamat sikeresen érvényesítve van.

8. Válassza a Hibakeresés lehetőséget az eszköztáron a folyamat végrehajtásához.

   

9. Miután a folyamat sikeresen lefutott, a felső eszköztáron válassza az Összes közzététele lehetőséget. Ez a művelet közzéteszi a Data Factoryben létrehozott entitásokat (adathalmazokat és folyamatokat).

Tárolt eljárás meghívása a Data Factoryben

Bizonyos esetekben érdemes lehet meghívni egy tárolt eljárást/függvényt, amely összesített adatokat küld le az előkészítési táblából az összefoglaló táblába. A Data Factory nem kínál tárolt eljárástevékenységet az Azure Cosmos DB for PostgreSQL-hez, de áthidaló megoldásként a keresési tevékenység lekérdezéssel meghívhat egy tárolt eljárást az alábbiak szerint:

Következő lépések

• Megtudhatja, hogyan hozhat létre valós idejű irányítópultot az Azure Cosmos DB for PostgreSQL használatával.
• Megtudhatja, hogyan helyezheti át a számítási feladatokat az Azure Cosmos DB for PostgreSQL-be