Migrace dat do účtu Azure Cosmos DB for Apache Cassandra pomocí Striim

PLATÍ PRO: Cassandra

Image Striim na Azure Marketplace nabízí nepřetržitý přesun dat z datových skladů a databází do Azure v reálném čase. Při přesouvání dat můžete provádět in-line denormalizaci, transformaci dat, povolit analýzu v reálném čase a scénáře vytváření sestav dat. S Striimem můžete snadno začít průběžně přesouvat podniková data do služby Azure Cosmos DB pro Apache Cassandra. Azure nabízí nabídku z marketplace, která usnadňuje nasazení striimu a migraci dat do služby Azure Cosmos DB.

Tento článek ukazuje, jak pomocí Striim migrovat data z databáze Oracle do účtu Azure Cosmos DB for Apache Cassandra.

Požadavky

• Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet před tím, než začnete.

• Databáze Oracle spuštěná místně s některými daty.

Nasazení řešení Striim marketplace

1. Přihlaste se k portálu Azure.

2. Vyberte Vytvořit prostředek a na webu Azure Marketplace vyhledejte Striim . Vyberte první možnost a vytvořte.

   

3. Dále zadejte vlastnosti konfigurace instance Striim. Prostředí Striim je nasazené ve virtuálním počítači. V podokně Základy zadejte uživatelské jméno virtuálního počítače, heslo virtuálního počítače (toto heslo se používá k připojení SSH k virtuálnímu počítači). Vyberte podrobnosti o předplatném, skupině prostředků a umístění, kam chcete nasadit Striim. Po dokončení vyberte OK.

   

4. V podokně Nastavení clusteru Striim zvolte typ nasazení Striim a velikost virtuálního počítače.

   Nastavení	Hodnota	Popis
   Typ nasazení Striim	Samostatné	Striim může běžet v samostatném nebo clusterovém typu nasazení. Samostatný režim nasadí server Striim na jeden virtuální počítač a v závislosti na datovém svazku můžete vybrat velikost virtuálních počítačů. Režim clusteru nasadí server Striim na dva nebo více virtuálních počítačů s vybranou velikostí. Clusterová prostředí s více než 2 uzly nabízejí automatickou vysokou dostupnost a převzetí služeb při selhání. V tomto kurzu můžete vybrat samostatnou možnost. Použijte výchozí virtuální počítač velikosti Standard_F4s.
   Název clusteru Striim	<Striim_cluster_Name>	Název clusteru Striim.
   Heslo clusteru Striim	<Striim_cluster_password>	Heslo pro cluster.

   Po vyplnění formuláře pokračujte výběrem tlačítka OK .

5. V podokně nastavení přístupu Striim nakonfigurujte veřejnou IP adresu (zvolte výchozí hodnoty), název domény pro Striim, heslo správce, které chcete použít pro přihlášení k uživatelskému rozhraní Striim. Nakonfigurujte virtuální síť a podsíť (zvolte výchozí hodnoty). Po vyplnění podrobností pokračujte výběrem tlačítka OK .

   

6. Azure ověří nasazení a zajistí, aby všechno vypadalo dobře; Dokončení ověření trvá několik minut. Po dokončení ověření vyberte OK.

7. Nakonec zkontrolujte podmínky použití a vyberte Vytvořit a vytvořte instanci Striim.

Konfigurace zdrojové databáze

V této části nakonfigurujete databázi Oracle jako zdroj pro přesun dat. Server Striim se dodává s ovladačem Oracle JDBC, který se používá pro připojení k Oracle. Ke čtení změn ze zdrojové databáze Oracle můžete použít buď LogMiner , nebo XStream API. Ovladač Oracle JDBC je k dispozici v cestě třídy Java Striim ke čtení, zápisu nebo uchování dat z databáze Oracle.

Konfigurace cílové databáze

V této části nakonfigurujete účet Azure Cosmos DB for Apache Cassandra jako cíl pro přesun dat.

1. Vytvořte účet Azure Cosmos DB for Apache Cassandra pomocí webu Azure Portal.

2. V účtu služby Azure Cosmos DB přejděte do podokna Průzkumník dat. Vyberte Možnost Nová tabulka a vytvořte nový kontejner. Předpokládejme, že migrujete produkty a objednáváte data z databáze Oracle do služby Azure Cosmos DB. Vytvořte nový prostor klíčů s názvem StriimDemo s kontejnerem Orders. Zřiďte kontejner s 1000 RU (v tomto příkladu se používá 1000 RU, ale měli byste použít odhadovanou propustnost pro vaši úlohu) a /ORDER_ID jako primární klíč. Tyto hodnoty se budou lišit v závislosti na vašich zdrojových datech.

   

Konfigurace toku dat Oracle do služby Azure Cosmos DB

1. Přejděte na instanci Striim, kterou jste nasadili na webu Azure Portal. Na horním řádku nabídek vyberte tlačítko Připojit a na kartě SSH zkopírujte adresu URL v části Přihlášení pomocí pole místního účtu virtuálního počítače.

   

2. Otevřete nové okno terminálu a spusťte příkaz SSH, který jste zkopírovali z webu Azure Portal. Tento článek používá terminál v systému macOS, můžete postupovat podle podobných pokynů pomocí klienta SSH na počítači s Windows. Po zobrazení výzvy zadejte ano , abyste mohli pokračovat, a zadejte heslo , které jste nastavili pro virtuální počítač v předchozím kroku.

   

3. Ve stejném okně terminálu restartujte server Striim spuštěním následujících příkazů:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Striim bude trvat minutu, než se spustí. Pokud chcete zobrazit stav, spusťte následující příkaz:

   tail -f /opt/striim/logs/striim-node.log
   

5. Teď přejděte zpět do Azure a zkopírujte veřejnou IP adresu virtuálního počítače Striim.

   

6. Pokud chcete přejít do webového uživatelského rozhraní Striim, otevřete novou kartu v prohlížeči a zkopírujte veřejnou IP adresu následovanou 9080. Přihlaste se pomocí uživatelského jména správce a hesla správce , které jste zadali na webu Azure Portal.

   

7. Teď se dostanete na domovskou stránku Striim. Existují tři různá podokna – řídicí panely, aplikace a SourcePreview. Podokno Řídicí panely umožňuje přesouvat data v reálném čase a vizualizovat je. Podokno Aplikace obsahuje streamované datové kanály nebo toky dat. Na pravé straně stránky je SourcePreview, kde si můžete před přesunutím zobrazit náhled dat.

8. Vyberte podokno Aplikace. Prozatím se zaměříme na toto podokno. Existují různé ukázkové aplikace, které můžete použít k získání informací o Striimu, ale v tomto článku si vytvoříte vlastní. V pravém horním rohu vyberte tlačítko Přidat aplikaci.

   

9. Existuje několik různých způsobů, jak vytvářet aplikace Striim. V tomto scénáři vyberte Začít od začátku .

   

10. Zadejte popisný název aplikace, třeba oraToCosmosDB , a vyberte Uložit.

    

11. Dorazíte do Návrháře toku, kde můžete přetáhnout z boxových konektorů a vytvořit streamované aplikace. Na panelu hledání zadejte Oracle , přetáhněte zdroj Oracle CDC na plátno aplikace.

    

12. Zadejte vlastnosti konfigurace zdroje vaší instance Oracle. Název zdroje je jen konvence pojmenování pro aplikaci Striim, můžete použít název, například src_onPremOracle. Zadejte také další podrobnosti, jako je typ adaptéru, adresa URL připojení, uživatelské jméno, heslo, název tabulky. Pokračujte výběrem možnosti Uložit .

    

13. Teď klikněte na ikonu vlny datového proudu a připojte cílovou instanci Azure Cosmos DB.

    

14. Před konfigurací cíle se ujistěte, že jste do prostředí Java v Striim přidali kořenový certifikát Baltimore.

15. Zadejte vlastnosti konfigurace cílové instance služby Azure Cosmos DB a pokračujte výběrem možnosti Uložit . Tady jsou klíčové parametry, které si poznamenejte:

    • Adaptér – použijte DatabaseWriter. Při zápisu do služby Azure Cosmos DB pro Apache Cassandra se vyžaduje DatabaseWriter. Ovladač Cassandra 3.6.0 je součástí Striim. Pokud databaseWriter překročí počet RU zřízených v kontejneru Azure Cosmos DB, aplikace se chybově ukončí.

    • Adresa URL připojení – Zadejte adresu URL připojení JDBC služby Azure Cosmos DB. Adresa URL je ve formátu. jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • Uživatelské jméno – Zadejte název účtu služby Azure Cosmos DB.

    • Heslo – Zadejte primární klíč účtu služby Azure Cosmos DB.

    • Tabulky – Cílové tabulky musí mít primární klíče a primární klíče nelze aktualizovat.

    

    

16. Teď budeme pokračovat a spustíme aplikaci Striim. V horním řádku nabídek vyberte Vytvořit a pak Nasadit aplikaci. V okně nasazení můžete určit, jestli chcete spouštět určité části aplikace na konkrétních částech topologie nasazení. Vzhledem k tomu, že používáme jednoduchou topologii nasazení prostřednictvím Azure, použijeme výchozí možnost.

    

17. Teď se podíváme na náhled datového proudu, abychom viděli tok dat přes Striim. Klikněte na ikonu vlny a klikněte na ikonu oka vedle ní. Po nasazení můžete zobrazit náhled datového proudu, abyste viděli tok dat. Vyberte ikonu vlny a oční kulku vedle ní. V horním řádku nabídek vyberte tlačítko Nasazeno a vyberte Spustit aplikaci.

    

18. Pomocí čtečky CDC(Change Data Capture) strim vyzvedne pouze nové změny v databázi. Pokud máte data procházející zdrojovými tabulkami, uvidíte je. Vzhledem k tomu, že se jedná o ukázkovou tabulku, zdroj, který není připojený k žádné aplikaci. Pokud používáte ukázkový generátor dat, můžete do databáze Oracle vložit řetěz událostí.

19. Uvidíte, že data procházejí platformou Striim. Striim vybere také všechna metadata přidružená k tabulce, což je užitečné k monitorování dat a zajištění toho, aby data přistála na správném cíli.

    

20. Nakonec se přihlásíme k Azure a přejdeme k účtu služby Azure Cosmos DB. Aktualizujte Průzkumníka dat a uvidíte, že data přišla.

Pomocí řešení Striim v Azure můžete průběžně migrovat data do služby Azure Cosmos DB z různých zdrojů, jako jsou Oracle, Cassandra, MongoDB a různé další do služby Azure Cosmos DB. Další informace najdete na webu Striim, stáhněte si bezplatnou 30denní zkušební verzi Striimu a v případě jakýchkoli problémů při nastavování cesty migrace pomocí Striim vytvořte žádost o podporu.

Další kroky

• Pokud migrujete data do Azure Cosmso DB for NoSQL, podívejte se, jak migrovat data do účtu API for Cassandra pomocí Striim.

• Monitorování a ladění dat pomocí metrik služby Azure Cosmos DB