Adatok migrálása Az Azure Cosmos DB for NoSQL-fiókba a Striim használatával
A KÖVETKEZŐRE VONATKOZIK: NoSQL
Az Azure Marketplace Striim-rendszerképe folyamatos valós idejű adatáthelyezési lehetőséget biztosít az adattárházakból és adatbázisokból az Azure-ba. Az adatok áthelyezése közben végezheti el az in-line denormalizálást, az adatátalakítást, a valós idejű elemzések és az adatjelentési forgatókönyvek engedélyezését. A Striim használatának első lépéseként folyamatosan áthelyezheti a vállalati adatokat az Azure Cosmos DB for NoSQL-be. Az Azure egy piactéri ajánlat, amely megkönnyíti a Striim üzembe helyezését és az adatok Azure Cosmos DB-be való migrálását.
Ez a cikk bemutatja, hogyan lehet a Striim használatával adatokat migrálni egy Oracle-adatbázisból egy Azure Cosmos DB for NoSQL-fiókba.
Előfeltételek
Ha nem rendelkezik Azure-előfizetéssel, a kezdés előtt hozzon létre egy ingyenes fiókot .
Egy helyszíni Oracle-adatbázis, benne néhány adattal.
A Striim Marketplace-megoldás üzembe helyezése
Jelentkezzen be az Azure Portalra.
Válassza az Erőforrás létrehozása lehetőséget, és keressen rá a Striim kifejezésre az Azure Marketplace-en. Válassza az első lehetőséget és a Létrehozás lehetőséget.
Ezután adja meg a Striim-példány konfigurációs tulajdonságait. A Striim-környezet egy virtuális gépen van üzembe helyezve. Az Alapszintű beállítások panelen adja meg a virtuális gép felhasználónevét, a virtuális gép jelszavát (ezt a jelszót használja az SSH a virtuális gépbe való SSH-hoz). Válassza ki az előfizetés, az erőforráscsoport és a hely adatait , ahol telepíteni szeretné a Striim-et. Ha elkészült, válassza az OK gombot.
A Striim-fürt beállításai panelen válassza ki a Striim üzembe helyezésének típusát és a virtuális gép méretét.
Beállítás Érték Leírás Striim üzembehelyezési típus Különálló A Striim önálló vagy fürttelepítési típusokban is futtatható. Az önálló mód a Striim-kiszolgálót egyetlen virtuális gépen helyezi üzembe, és az adatmennyiségtől függően kiválaszthatja a virtuális gépek méretét. A fürt mód a Striim-kiszolgálót két vagy több, a kiválasztott méretű virtuális gépen helyezi üzembe. A több mint 2 csomóponttal rendelkező fürtkörnyezetek automatikusan magas rendelkezésre állást és feladatátvételt biztosítanak.
Ebben az oktatóanyagban kiválaszthatja az Önálló lehetőséget. Használja az alapértelmezett "Standard_F4s" méretű virtuális gépet.A Striim-fürt neve <Striim_cluster_Name> A Striim-fürt neve. Striim-fürt jelszava <Striim_cluster_password> A fürt jelszava. Az űrlap kitöltése után kattintson az OK gombra a folytatáshoz.
A Striim hozzáférési beállításai panelen konfigurálja a Nyilvános IP-címet (válassza ki az alapértelmezett értékeket), a Striim tartománynevét, Rendszergazda jelszót, amelyet a Striim felhasználói felületére való bejelentkezéshez szeretne használni. Virtuális hálózat és alhálózat konfigurálása (válassza ki az alapértelmezett értékeket). A részletek kitöltése után kattintson az OK gombra a folytatáshoz.
Az Azure ellenőrzi az üzembe helyezést, és meggyőződik arról, hogy minden rendben van; az ellenőrzés végrehajtása néhány percet vesz igénybe. Az ellenőrzés befejezése után válassza az OK gombot.
Végül tekintse át a használati feltételeket, és válassza a Létrehozás lehetőséget a Striim-példány létrehozásához.
A forrásadatbázis konfigurálása
Ebben a szakaszban az Oracle-adatbázist konfigurálja az adatáthelyezési forrásként. A Striim-kiszolgálóhoz tartozik az Oracle JDBC-illesztő, amely az Oracle-hez való csatlakozáshoz használható. A forrás Oracle-adatbázis módosításainak olvasásához használhatja a LogMinert vagy az XStream API-kat. Az Oracle JDBC-illesztő megtalálható a Striim Java-osztályútvonalán az Oracle-adatbázisból származó adatok olvasásához, írásához vagy megőrzéséhez.
A céladatbázis konfigurálása
Ebben a szakaszban az Azure Cosmos DB for NoSQL-fiókot fogja konfigurálni az adatáthelyezési célként.
Hozzon létre egy Azure Cosmos DB for NoSQL-fiókot a Azure Portal használatával.
Lépjen az Azure Cosmos DB-fiók Data Explorer paneljére. Új tároló létrehozásához válassza az Új tároló lehetőséget. Tegyük fel, hogy termékeket migrál, és adatokat rendel az Oracle-adatbázisból az Azure Cosmos DB-be. Hozzon létre egy StriimDemo nevű új adatbázist egy Orders nevű tárolóval. A tároló kiépítése 1000 kérelemegységgel (ez a példa 1000 kérelemegységet használ, de a számítási feladathoz becsült átviteli sebességet kell használnia), és /ORDER_ID partíciókulcsként. Ezek az értékek a forrásadatoktól függően eltérőek lesznek.
Oracle konfigurálása az Azure Cosmos DB-hez adatfolyamként
Lépjen a Azure Portal üzembe helyezett Striim-példányra. Válassza a Csatlakozás gombot a felső menüsávon, majd az SSH lapon másolja az URL-címet a Bejelentkezés a virtuális gép helyi fiókjával mezőbe.
Nyisson meg egy új terminálablakot, és futtassa a Azure Portal kimásolt SSH-parancsot. Ez a cikk terminált használ a MacOS-ben, és hasonló utasításokat követhet egy SSH-ügyféllel Egy Windows rendszerű gépen. Amikor a rendszer kéri, írja be az igen értéket a folytatáshoz, és adja meg a virtuális géphez az előző lépésben beállított jelszót .
Ugyanabból a terminálablakból indítsa újra a Striim-kiszolgálót a következő parancsok végrehajtásával:
systemctl stop striim-node systemctl stop striim-dbms systemctl start striim-dbms systemctl start striim-node
A Striim indítása egy percet vesz igénybe. Ha látni szeretné az állapotot, futtassa a következő parancsot:
tail -f /opt/striim/logs/striim-node.log
Most lépjen vissza az Azure-ba, és másolja ki a Striim virtuális gép nyilvános IP-címét.
A Striim webes felhasználói felületére való navigáláshoz nyisson meg egy új lapot egy böngészőben, és másolja a nyilvános IP-címet, majd a következőt: 9080. Jelentkezzen be a rendszergazdai felhasználónévvel, valamint a Azure Portal megadott rendszergazdai jelszóval.
Most megérkezik Striim kezdőlapjára. Három különböző panel található : Irányítópultok, Alkalmazások és SourcePreview. Az Irányítópultok panelen valós időben helyezhet át adatokat, és megjelenítheti azokat. Az Alkalmazások panel a streamelt adatfolyamokat vagy adatfolyamokat tartalmazza. A lap jobb oldalán található a SourcePreview, ahol az áthelyezés előtt megtekintheti az adatokat.
Válassza az Alkalmazások panelt, és egyelőre erre a panelre összpontosítunk. Számos mintaalkalmazást használhat a Striim megismeréséhez, de ebben a cikkben saját alkalmazásokat fog létrehozni. Válassza az Alkalmazás hozzáadása gombot a jobb felső sarokban.
A Striim-alkalmazások létrehozásának néhány különböző módja van. Válassza a Start with Template (Kezdés sablonnal ) lehetőséget egy meglévő sablonnal való kezdéshez.
A Sablonok keresése mezőbe írja be a "Cosmos" kifejezést, és válassza a Cél: Azure Cosmos DB lehetőséget, majd válassza az Oracle CDC-t az Azure Cosmos DB-be.
A következő lapon nevezze el az alkalmazást. Megadhat egy nevet, például oraToCosmosDB , majd válassza a Mentés lehetőséget.
Ezután adja meg a forrás Oracle-példány forráskonfigurációját. Adjon meg egy értéket a Forrásnév mezőben. A forrásnév csak egy elnevezési konvenció a Striim-alkalmazáshoz. Ehhez hasonlót használhat src_onPremOracle. Adjon meg értékeket a forrásparaméterek URL-címéhez, a felhasználónévhez, a jelszóhoz, majd válassza a LogMiner elemet olvasóként az Oracle adatainak olvasásához. A folytatáshoz válassza a Tovább gombot.
A Striim ellenőrzi a környezetet, és ellenőrzi, hogy képes-e csatlakozni a forrás Oracle-példányhoz, rendelkezik-e a megfelelő jogosultságokkal, és hogy a CDC megfelelően lett-e konfigurálva. Az összes érték ellenőrzése után válassza a Tovább gombot.
Válassza ki a migrálni kívánt Oracle-adatbázis tábláját. Például válassza ki a Rendelések táblát, és válassza a Tovább gombot.
A forrástábla kiválasztása után összetettebb műveleteket is elvégezhet, például a leképezést és a szűrést. Ebben az esetben csak a forrástábla replikáját fogja létrehozni az Azure Cosmos DB-ben. A cél konfigurálásához válassza a Tovább gombot
Most konfiguráljuk a célt:
- Cél neve – Adjon meg egy rövid nevet a célnak.
- Input From – A legördülő listából válassza ki a forrás Oracle-konfigurációban létrehozott bemeneti adatfolyamot.
- Gyűjtemények – Adja meg a cél Azure Cosmos DB konfigurációs tulajdonságait. A gyűjtemények szintaxisa: SourceSchema.SourceTable, TargetDatabase.TargetContainer. Ebben a példában az érték a következő lenne: "SYSTEM. ORDERS, StriimDemo.Orders".
- AccessKey – Az Azure Cosmos DB-fiók PrimaryKey kulcsa.
- ServiceEndpoint – Az Azure Cosmos DB-fiók URI-ja, amely a Azure Portal Kulcsok szakaszában található.
Válassza a Mentés és a Tovább lehetőséget.
Ezután megérkezik a folyamattervezőhöz, ahol húzással hozhatja létre a streamelési alkalmazásokat a dobozos összekötőkből. A folyamat ezen a ponton nem módosul. lépjen tovább, és telepítse az alkalmazást az Alkalmazás telepítése gombra kattintva.
Az üzembe helyezési ablakban megadhatja, hogy az alkalmazás bizonyos részeit az üzembehelyezési topológia egyes részein szeretné-e futtatni. Mivel egyszerű üzembehelyezési topológiában futunk az Azure-on keresztül, az alapértelmezett beállítást fogjuk használni.
Az üzembe helyezés után megtekintheti az adatfolyam előnézetét, hogy láthassa az adatfolyamot. Válassza ki a hullám ikont és a mellette lévő szemgolyót. Válassza az Üzembe helyezés gombot a felső menüsávon, és válassza az Alkalmazás indítása lehetőséget.
A CDC(Change Data Capture) olvasó használatával a Striim csak az új módosításokat fogja átvenni az adatbázisban. Ha az adatok a forrástáblákon keresztül áramlanak, látni fogja. Mivel azonban ez egy bemutató tábla, a forrás nem csatlakozik egyetlen alkalmazáshoz sem. Ha mintaadatgenerátort használ, eseményláncot szúrhat be az Oracle-adatbázisba.
Az adatok a Striim platformon keresztül áramlanak. A Striim a táblához társított összes metaadatot is felveszi, ami hasznos lehet az adatok monitorozásához és annak biztosításához, hogy az adatok a megfelelő célhoz érjenek.
Végül jelentkezzen be az Azure-ba, és lépjen az Azure Cosmos DB-fiókjához. Frissítse a Data Explorer, és láthatja, hogy az adatok megérkeztek.
A Striim megoldás azure-beli használatával folyamatosan migrálhatja az adatokat az Azure Cosmos DB-be különböző forrásokból, például oracle, Cassandra, MongoDB és más forrásokból az Azure Cosmos DB-be. További információért látogasson el a Striim webhelyére, töltse le a Striim ingyenes 30 napos próbaverzióját, és a Striim migrálási útvonalának beállításával kapcsolatos problémák esetén küldjön támogatási kérést.
Következő lépések
Kapacitástervezést szeretne végezni az Azure Cosmos DB-be való migráláshoz?
- Ha csak a meglévő adatbázisfürt virtuális magjainak és kiszolgálóinak számát ismeri, olvassa el a kérelemegységek virtuális magok vagy vCPU-k használatával történő becslését ismertető cikket.
- Ha ismeri az aktuális adatbázis számítási feladatának jellemző kérési arányait, olvassa el a kérelemegységek becslését az Azure Cosmos DB Capacity Planner használatával
Ha adatokat migrál az Azure Cosmos DB for NoSQL-be, tekintse meg, hogyan migrálhat adatokat a Cassandra-fiók API-ba a Striim használatával
Adatok monitorozása és hibakeresése Azure Cosmos DB-metrikákkal