Adatok migrálása a Cassandrából az Apache Cassandra-fiókhoz készült Azure Cosmos DB-be az Arcion használatával

  • Cikk

A KÖVETKEZŐKRE VONATKOZIK: Cassandra

Az Azure Cosmos DB-ben a Cassandra API nagyszerű választássá vált az Apache Cassandra-on futó nagyvállalati számítási feladatokhoz, többek között az alábbiak miatt:

  • A felügyelet és a monitorozás nem jár többletterheléssel: Kiküszöböli a számos beállítás kezelésével és monitorozásával kapcsolatos többletterhelést az operációs rendszer, a JVM és a Yaml-fájlok és azok interakciói között.

  • Jelentős költségmegtakarítás: Az Azure Cosmos DB-vel pénzt takaríthat meg, amely magában foglalja a virtuális gépek költségeit, a sávszélességet és a vonatkozó licenceket. Emellett nem kell kezelnie az adatközpontokat, kiszolgálókat, SSD-tárolókat, hálózatkezelési és villamosenergia-költségeket.

  • Meglévő kód és eszközök használatának lehetősége: Az Azure Cosmos DB vezetékes protokollszintű kompatibilitást biztosít a meglévő Cassandra SDK-kkal és -eszközökkel. Ez a kompatibilitás biztosítja, hogy a meglévő kódbázist az Apache Cassandra-hoz készült Azure Cosmos DB-vel triviális módosításokkal használja.

Az adatbázis számítási feladatait többféleképpen is migrálhatja egyik platformról a másikra. Az Arcion egy olyan eszköz, amely biztonságos és megbízható módot kínál a más adatbázisokból az Azure Cosmos DB-be történő állásidő nélküli migrálás végrehajtására. Ez a cikk az Adatok Apache Cassandra-adatbázisból az Apache Cassandra-hoz készült Azure Cosmos DB-be az Arcion használatával történő migrálásához szükséges lépéseket ismerteti.

Megjegyzés

Az Arcion ajánlata jelenleg bétaverzióban érhető el. További információért forduljon hozzájuk az Arcion ügyfélszolgálatánál.

Az Arcion migráláshoz való használatának előnyei

Az Arcion migrálási megoldása lépésről lépésre követi az összetett üzemeltetési számítási feladatok migrálását. Az Arcion leállási idő nélküli migrálási tervének főbb szempontjai a következők:

  • Az Apache Cassandra-adatbázisból az Azure Cosmos DB-be automatikusan migrálhatja az üzleti logikát (táblákat, indexeket, nézeteket). Nem kell manuálisan sémákat létrehoznia.

  • Az Arcion nagy mennyiségű és párhuzamos adatbázis-replikációt kínál. Lehetővé teszi a forrás- és célplatformok szinkronizálását a migrálás során a Change-Data-Capture (CDC) nevű technikával. A CDC használatával az Arcion folyamatosan lekéri a módosítások adatfolyamát a forrásadatbázisból (Apache Cassandra), és alkalmazza azt a céladatbázisra (Azure Cosmos DB).

  • Hibatűrő, és pontosan egyszeri adatkézbesítést biztosít a rendszerben hardver- vagy szoftverhiba esetén is.

  • Biztonságossá teszi az adatokat az átvitel során olyan biztonsági módszerek használatával, mint a TLS, a titkosítás.

Az adatok migrálásának lépései

Ez a szakasz az Arcion beállításához szükséges lépéseket ismerteti, és adatokat migrál az Apache Cassandra-adatbázisból az Azure Cosmos DB-be.

  1. Adjon hozzá egy biztonsági tanúsítványt attól a számítógéptől, amelyen telepíteni szeretné az Arcion-replikánst. Az Arcion-replikánsnak erre a tanúsítványra van szüksége ahhoz, hogy TLS-kapcsolatot létesítsen a megadott Azure Cosmos DB-fiókkal. A tanúsítványt a következő lépésekkel adhatja hozzá:

    wget https://cacert.omniroot.com/bc2025.crt
mv bc2025.crt bc2025.cer
keytool -keystore $JAVA_HOME/lib/security/cacerts -importcert -alias bc2025ca -file bc2025.cer

  2. Az Arcion telepítését és a bináris fájlokat az Arcion webhelyén található bemutató kérésével szerezheti be. Másik lehetőségként e-mailt is küldhet a csapatnak.

    Arcion replikáns eszköz letöltése

    Arcion replikáns fájlok

  3. A CLI-terminálon állítsa be a forrásadatbázis konfigurációját. Nyissa meg a konfigurációs fájlt vi conf/conn/cassandra.yml a paranccsal, és adja hozzá a Cassandra-csomópontok IP-címeinek, portszámának, felhasználónevének, jelszavának és egyéb szükséges adatainak vesszővel tagolt listáját. Az alábbiakban egy példa látható a konfigurációs fájl tartalmára:

    type: CASSANDRA

host: 172.17.0.2
port: 9042

username: 'cassandra'
password: 'cassandra'

max-connections: 30

    A Cassandra kapcsolatszerkesztőjének megnyitása

    Cassandra-kapcsolat konfigurálása

    A konfiguráció részleteinek kitöltése után mentse és zárja be a fájlt.

  4. Igény szerint beállíthatja a forrásadatbázis szűrőfájlját is. A szűrőfájl határozza meg, hogy mely sémákat vagy táblákat kell migrálni. Nyissa meg a konfigurációs fájlt vi filter/cassandra_filter.yml a paranccsal, és adja meg a következő konfigurációs adatokat:

    
allow:
-	schema: “io_arcion”
Types: [TABLE]

    Az adatbázisszűrő részleteinek kitöltése után mentse és zárja be a fájlt.

  5. Ezután beállítja a céladatbázis konfigurációját. A konfiguráció definiálása előtt hozzon létre egy Azure Cosmos DB-t az Apache Cassandra-fiókhoz , majd hozzon létre egy kulcsteret és egy táblát a migrált adatok tárolásához. Mivel az Apache Cassandra-ból az Azure Cosmos DB-hez készült API-ba migrál, használhatja ugyanazt a partíciókulcsot, amelyet az Apache Cassandra esetében is használt.

  6. Az adatok migrálása előtt növelje a tároló átviteli sebességét az alkalmazás gyors migrálásához szükséges mennyiségre. Növelheti például az átviteli sebességet 100000 kérelemegységre. A migrálás megkezdése előtt az átviteli sebesség skálázásával kevesebb idő alatt migrálhatja az adatokat.

    Az Azure Cosmos DB-tároló skálázása az egész skálázás során

    Csökkentse az átviteli sebességet a migrálás befejezése után. A tárolt adatok mennyisége és az egyes műveletekhez szükséges kérelemegységek alapján megbecsülheti az adatmigrálás után szükséges átviteli sebességet. További információ a szükséges kérelemegységek becsléséről: Átviteli sebesség kiosztása tárolókon és adatbázisokon ésru/s becslése az Azure Cosmos DB capacity planner használatával .

  7. Kérje le az Azure Cosmos DB-fiók kapcsolattartó pontját, portját, felhasználónevét és elsődleges jelszavát a Kapcsolati sztring panelről. Ezeket az értékeket a konfigurációs fájlban fogja használni.

  8. A CLI-terminálon állítsa be a céladatbázis konfigurációját. Nyissa meg a konfigurációs fájlt vi conf/conn/cosmosdb.yml a paranccsal, és adjon hozzá egy vesszővel tagolt listát a gazdagép URI-járól, a portszámáról, a felhasználónévről, a jelszóról és más szükséges paraméterekről. Az alábbi példa a konfigurációs fájl tartalmát mutatja be:

    type: COSMOSDB

host: '<Azure Cosmos DB account’s Contact point>'
port: 10350

username: 'arciondemo'
password: '<Your Azure Cosmos DB account’s primary password>'

max-connections: 30

  9. Ezután migrálja az adatokat az Arcion használatával. Az Arcion replikáns teljes vagy pillanatkép módban is futtatható:

    • Teljes mód – Ebben a módban a replikáns továbbra is fut a migrálás után, és figyeli a forrás Apache Cassandra rendszer módosításait. Ha bármilyen módosítást észlel, azok valós időben replikálódnak a cél Azure Cosmos DB-fiókban.

    • Pillanatkép mód – Ebben a módban sémamigrálást és egyszeri adatreplikálást hajthat végre. Ez a lehetőség nem támogatja a valós idejű replikációt.

    A fenti két mód használatával a migrálás nulla állásidővel végezhető el.

  10. Az adatok migrálásához futtassa a következő parancsot az Arcion replikáns parancssori felületéről:

    ./bin/replicant full conf/conn/cassandra.yaml conf/conn/cosmosdb.yaml --filter filter/cassandra_filter.yaml --replace-existing

    A replikáns felhasználói felület megjeleníti a replikáció állapotát. A séma migrálási és pillanatkép-műveletet követően a folyamat 100%-ot mutat. A migrálás befejezése után ellenőrizheti a cél Azure Cosmos DB-adatbázis adatait.

    Cassandra-adatmigrálás kimenete

  11. Mivel a migráláshoz teljes módot használt, olyan műveleteket hajthat végre, mint például adatok beszúrása, frissítése vagy törlése a forrás Apache Cassandra-adatbázison. Később ellenőrizze, hogy valós időben vannak-e replikálva a cél Azure Cosmos DB-adatbázisban. A migrálás után mindenképpen csökkentse az Azure Cosmos DB-tárolóhoz konfigurált átviteli sebességet.

  12. A replikánst bármikor leállíthatja, és újraindíthatja a --resume kapcsolóval. A replikáció onnantól folytatódik, hogy leállt anélkül, hogy veszélyeztetné az adatkonzisztenciát. Az alábbi parancs bemutatja, hogyan használhatja az önéletrajzkapcsolót.

    ./bin/replicant full conf/conn/cassandra.yaml conf/conn/cosmosdb.yaml --filter filter/cassandra_filter.yaml --replace-existing --resume

A célhelyre történő adatmigrálással, a valós idejű migrálással kapcsolatos további információkért tekintse meg az Arcion replikáns bemutatóját.

Következő lépések