Adatok migrálása Az Azure Cosmos DB for NoSQL-fiókba a Striim használatával

A KÖVETKEZŐRE VONATKOZIK: NoSQL

Az Azure Marketplace Striim-rendszerképe folyamatos valós idejű adatáthelyezést biztosít adattárházakból és adatbázisokból az Azure-ba. Az adatok áthelyezése közben elvégezheti a helyszíni denormalizálást, az adatátalakítást, lehetővé teheti a valós idejű elemzéseket és az adatjelentési forgatókönyveket. A Striim használata egyszerű, ha folyamatosan áthelyezi a vállalati adatokat az Azure Cosmos DB for NoSQL-be. Az Azure egy piactéri ajánlat, amely megkönnyíti a Striim üzembe helyezését és az adatok Azure Cosmos DB-be való migrálását.

Ez a cikk bemutatja, hogyan lehet a Striim használatával adatokat migrálni egy Oracle-adatbázisból egy Azure Cosmos DB for NoSQL-fiókba.

Előfeltételek

• Ha nem rendelkezik Azure-előfizetéssel, első lépésként mindössze néhány perc alatt létrehozhat egy ingyenes fiókot.

• Egy helyszíni Oracle-adatbázis, benne néhány adattal.

A Striim Marketplace-megoldás üzembe helyezése

1. Jelentkezzen be az Azure Portalra.

2. Válassza az Erőforrás létrehozása lehetőséget, és keressen rá a Striimre az Azure Marketplace-en. Válassza ki az első lehetőséget, és hozza létre.

   

3. Ezután adja meg a Striim-példány konfigurációs tulajdonságait. A Striim-környezet egy virtuális gépen van üzembe helyezve. Az Alapszintű beállítások panelen adja meg a virtuális gép felhasználónevét és a virtuális gép jelszavát (ezt a jelszót használja az SSH a virtuális gépbe). Válassza ki az előfizetés, az erőforráscsoport és a hely adatait , ahol telepíteni szeretné a Striimet. Ha végzett, válassza az OK gombot.

   

4. A Striim-fürt beállításai panelen válassza ki a Striim üzembe helyezésének típusát és a virtuális gép méretét.

   Beállítás	Érték	Leírás
   Striim üzembehelyezési típus	Különálló	A Striim önálló vagy fürttelepítési típusokban is futtatható. Az önálló mód egyetlen virtuális gépen helyezi üzembe a Striim-kiszolgálót, és az adatkötettől függően kiválaszthatja a virtuális gépek méretét. A fürt mód a Striim-kiszolgálót két vagy több kiválasztott méretű virtuális gépen fogja üzembe helyezni. A több mint 2 csomópontot tartalmazó fürtkörnyezetek automatikusan magas rendelkezésre állást és feladatátvételt biztosítanak. Ebben az oktatóanyagban kiválaszthatja az Önálló lehetőséget. Használja az alapértelmezett "Standard_F4s" méretű virtuális gépet.
   A Striim-fürt neve	<Striim_cluster_Name>	A Striim-fürt neve.
   Striim-fürt jelszava	<Striim_cluster_password>	A fürt jelszava.

   Az űrlap kitöltése után kattintson az OK gombra a folytatáshoz.

5. A Striim hozzáférési beállításai panelen konfigurálja a nyilvános IP-címet (válassza ki az alapértelmezett értékeket), a Striim tartománynevét, a Striim felhasználói felületére való bejelentkezéshez használni kívánt rendszergazdai jelszót. Virtuális hálózat és alhálózat konfigurálása (válassza ki az alapértelmezett értékeket). A részletek kitöltése után kattintson az OK gombra a folytatáshoz.

   

6. Az Azure ellenőrzi az üzembe helyezést, és gondoskodik arról, hogy minden rendben legyen; az ellenőrzés végrehajtása néhány percet vesz igénybe. Az ellenőrzés befejezése után kattintson az OK gombra.

7. Végül tekintse át a használati feltételeket, és válassza a Létrehozás lehetőséget a Striim-példány létrehozásához.

A forrásadatbázis konfigurálása

Ebben a szakaszban az Oracle-adatbázist konfigurálja az adatáthelyezés forrásaként. A Striim-kiszolgálóhoz tartozik az Oracle JDBC-illesztője, amely az Oracle-hez való csatlakozáshoz használható. A forrás Oracle-adatbázis módosításainak olvasásához használhatja a LogMinert vagy az XStream API-kat. Az Oracle JDBC-illesztő jelen van a Striim Java-osztályútján az Oracle-adatbázisból származó adatok olvasásához, írásához vagy megőrzéséhez.

A céladatbázis konfigurálása

Ebben a szakaszban az Azure Cosmos DB for NoSQL-fiókot fogja konfigurálni adatáthelyezési célként.

1. Hozzon létre egy Azure Cosmos DB for NoSQL-fiókot az Azure Portal használatával.

2. Lépjen az Adatkezelő panelre az Azure Cosmos DB-fiókjában. Új tároló létrehozásához válassza az Új tároló lehetőséget. Tegyük fel, hogy termékeket migrál, és adatokat rendel az Oracle-adatbázisból az Azure Cosmos DB-be. Hozzon létre egy StriimDemo nevű új adatbázist egy Orders nevű tárolóval. A tároló kiépítése 1000 kérelemegységtel (ez a példa 1000 kérelemegységet használ, de a számítási feladathoz becsült átviteli sebességet kell használnia), és /ORDER_ID partíciókulcsként. Ezek az értékek a forrásadatoktól függően eltérőek lesznek.

   

Az Oracle konfigurálása az Azure Cosmos DB-adatfolyamba

1. Lépjen az Azure Portalon üzembe helyezett Striim-példányra. Válassza a Csatlakozás gombot a felső menüsávon, majd az SSH lapon másolja ki a Bejelentkezés url-címét a virtuális gép helyi fiók mezőjével.

   

2. Nyisson meg egy új terminálablakot, és futtassa az Azure Portalról másolt SSH-parancsot. Ez a cikk terminált használ a MacOS-ben, és hasonló utasításokat követhet egy SSH-ügyféllel windowsos gépen. Amikor a rendszer kéri, írja be az igent a folytatáshoz, és adja meg a virtuális géphez beállított jelszót az előző lépésben.

   

3. Ugyanabból a terminálablakból indítsa újra a Striim-kiszolgálót a következő parancsok végrehajtásával:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Striimnek egy perce van, hogy elinduljon. Ha látni szeretné az állapotot, futtassa a következő parancsot:

   tail -f /opt/striim/logs/striim-node.log
   

5. Most lépjen vissza az Azure-ba, és másolja ki a Striim virtuális gép nyilvános IP-címét.

   

6. A Striim webes felhasználói felületére való navigáláshoz nyisson meg egy új lapot egy böngészőben, és másolja ki a nyilvános IP-címet, majd a következőt: 9080. Jelentkezzen be a rendszergazdai felhasználónévvel és az Azure Portalon megadott rendszergazdai jelszóval.

   

7. Most megérkezik Striim kezdőlapjára. Három különböző panel van: irányítópultok, alkalmazások és SourcePreview. Az Irányítópultok panel lehetővé teszi az adatok valós idejű áthelyezését és vizualizációját. Az Alkalmazások panel a streamelt adatfolyamokat vagy adatfolyamokat tartalmazza. A lap jobb oldalán található a SourcePreview, ahol az áthelyezés előtt megtekintheti az adatokat.

8. Válassza az Alkalmazások panelt, és egyelőre erre a panelre összpontosítunk. Számos mintaalkalmazást használhat a Striim megismeréséhez, de ebben a cikkben saját alkalmazást fog létrehozni. Válassza az Alkalmazás hozzáadása gombot a jobb felső sarokban.

   

9. A Striim-alkalmazások létrehozásának néhány különböző módja van. Válassza a Start with Template (Kezdés sablonnal) lehetőséget egy meglévő sablonnal való kezdéshez.

   

10. A Keresési sablonok mezőbe írja be a "Cosmos" kifejezést, és válassza a Cél: Azure Cosmos DB, majd az Oracle CDC lehetőséget az Azure Cosmos DB-be.

    

11. A következő lapon nevezze el az alkalmazást. Megadhat egy nevet, például az oraToCosmosDB-t, majd válassza a Mentés lehetőséget.

12. Ezután adja meg a forrás oracle-példány forráskonfigurációját. Adjon meg egy értéket a forrásnévhez. A forrásnév csak egy elnevezési konvenció a Striim-alkalmazáshoz. Ehhez hasonlót használhat src_onPremOracle. Adjon meg értékeket a forrásparaméterek url-címéhez, felhasználónévhez, jelszóhoz, és válassza a LogMiner elemet olvasóként az Oracle adatainak olvasásához. A folytatáshoz válassza a Tovább gombra.

    

13. A Striim ellenőrzi a környezetet, és meggyőződik arról, hogy képes csatlakozni a forrás Oracle-példányhoz, rendelkezik a megfelelő jogosultságokkal, és hogy a CDC megfelelően lett konfigurálva. Az összes érték ellenőrzése után válassza a Tovább gombot.

    

14. Válassza ki a migrálni kívánt Oracle-adatbázisból származó táblákat. Például válassza ki a Rendelések táblát, és válassza a Tovább gombot.

    

15. A forrástábla kiválasztása után bonyolultabb műveleteket végezhet, például leképezést és szűrést. Ebben az esetben csak a forrástábla replikáját fogja létrehozni az Azure Cosmos DB-ben. Ezért válassza a Tovább lehetőséget a cél konfigurálásához

16. Most konfiguráljuk a célt:

    • Célnév – Adjon meg egy rövid nevet a célnak.
    • Input From – A legördülő listából válassza ki a bemeneti streamet a forrás Oracle-konfigurációban létrehozottból.
    • Gyűjtemények – Adja meg a cél Azure Cosmos DB konfigurációs tulajdonságait. A gyűjtemények szintaxisa: SourceSchema.SourceTable, TargetDatabase.TargetContainer. Ebben a példában a "SYSTEM" érték jelenik meg. ORDERS, StriimDemo.Orders".
    • AccessKey – Az Azure Cosmos DB-fiók elsődleges kulcsa.
    • ServiceEndpoint – Az Azure Cosmos DB-fiók URI-ja, amely az Azure Portal Kulcsok szakaszában található.

    Válassza a Mentés és a Tovább lehetőséget.

    

17. Ezután megérkezik a folyamattervezőhöz, ahol húzással és húzással hozhatja létre a streamelési alkalmazásokat. Ezen a ponton nem módosítja a folyamatot. az alkalmazás üzembe helyezéséhez válassza az Alkalmazás üzembe helyezése gombot.

    

18. Az üzembe helyezési ablakban megadhatja, hogy az alkalmazás bizonyos részeit az üzembehelyezési topológia egyes részein szeretné-e futtatni. Mivel egyszerű üzembehelyezési topológiában futunk az Azure-on keresztül, az alapértelmezett beállítást fogjuk használni.

    

19. Az üzembe helyezés után megtekintheti a stream előnézetét, hogy láthassa az adatfolyamon áthaladó adatokat. Válassza ki a hullám ikont és a mellette lévő szemgolyót. Válassza az Üzembe helyezés gombot a felső menüsávon, és válassza az Alkalmazás indítása lehetőséget.

    

20. A CDC(Change Data Capture) olvasó használatával Striim csak új módosításokat fog felvenni az adatbázisban. Ha az adatok a forrástáblákon keresztül áramlanak, látni fogja. Mivel azonban ez egy bemutató tábla, a forrás nem csatlakozik egyik alkalmazáshoz sem. Ha mintaadat-generátort használ, események láncát szúrhatja be az Oracle-adatbázisba.

21. Az adatok a Striim platformon keresztül áramlanak. A Striim a táblához társított összes metaadatot is felveszi, ami hasznos az adatok monitorozásához, és annak ellenőrzéséhez, hogy az adatok a megfelelő célhoz kerülnek-e.

    

22. Végül jelentkezzen be az Azure-ba, és lépjen az Azure Cosmos DB-fiókjához. Frissítse az Adatkezelőt, és láthatja, hogy az adatok megérkeztek.

    

A Striim-megoldás azure-beli használatával folyamatosan migrálhatja az adatokat az Azure Cosmos DB-be különböző forrásokból, például az Oracle-ből, a Cassandra-ból, a MongoDB-ből és más forrásokból az Azure Cosmos DB-be. További információért látogasson el a Striim webhelyére, töltse le a Striim ingyenes 30 napos próbaverzióját, és a Striim migrálási útvonalának beállításakor felmerülő problémák esetén küldjön támogatási kérelmet.

Következő lépések

• Kapacitástervezést szeretne végezni az Azure Cosmos DB-be való migráláshoz?

  • Ha csak annyit tud, hogy hány virtuális mag és kiszolgáló található a meglévő adatbázisfürtben, olvassa el a kérelemegységek becslését virtuális magok vagy vCPU-k használatával
  • Ha ismeri az aktuális adatbázis számítási feladataira vonatkozó tipikus kérési arányokat, olvassa el a kérelemegységek becslését az Azure Cosmos DB kapacitástervezővel

• Ha adatokat migrál az Azure Cosmos DB for NoSQL-be, tekintse meg , hogyan migrálhatja az adatokat a Cassandra-fiók API-ba a Striim használatával

• Adatok monitorozása és hibakeresése Azure Cosmos DB-metrikákkal