Migrace dat do účtu Azure Cosmos DB pro Apache Cassandra pomocí Striimu

PLATÍ PRO: Cassandra

Obrázek Striim na Azure Marketplace nabízí nepřetržitý přesun dat z datových skladů a databází do Azure v reálném čase. Při přesouvání dat můžete provádět in-line denormalizaci, transformaci dat, povolit analýzy v reálném čase a scénáře generování sestav dat. Začít se striimem a nepřetržitě přesouvat podniková data do Azure Cosmos DB pro Apache Cassandra je snadné. Azure nabízí marketplace, která usnadňuje nasazení Striimu a migraci dat do služby Azure Cosmos DB.

Tento článek ukazuje, jak pomocí striimu migrovat data z databáze Oracle do účtu Azure Cosmos DB for Apache Cassandra.

Požadavky

• Pokud nemáte předplatné Azure, vytvořte si před zahájením bezplatného účtu .

• Databáze Oracle spuštěná místně s určitými daty.

Nasazení řešení Striim marketplace

1. Přihlaste se k webu Azure Portal.

2. Vyberte Vytvořit prostředek a na Webu Azure Marketplace vyhledejte Striim. Vyberte první možnost a Vytvořit.

   

3. Dále zadejte vlastnosti konfigurace instance Striim. Prostředí Striim je nasazené na virtuálním počítači. V podokně Základy zadejte uživatelské jméno virtuálního počítače a heslo virtuálního počítače (toto heslo se používá k připojení SSH k virtuálnímu počítači). Vyberte podrobnosti o předplatném, skupině prostředků a umístění , kam chcete Striim nasadit. Po dokončení vyberte OK.

   

4. V podokně Nastavení clusteru Striim zvolte typ nasazení Striim a velikost virtuálního počítače.

   Nastavení	Hodnota	Popis
   Typ nasazení Striim	Standalone	Striim může běžet v samostatném nebo clusterovém typu nasazení. Samostatný režim nasadí server Striim na jeden virtuální počítač a v závislosti na datovém objemu můžete vybrat velikost virtuálních počítačů. Režim clusteru nasadí server Striim na dva nebo více virtuálních počítačů s vybranou velikostí. Prostředí clusteru s více než 2 uzly nabízejí automatickou vysokou dostupnost a převzetí služeb při selhání. V tomto kurzu můžete vybrat možnost Samostatná. Použijte výchozí velikost virtuálního počítače Standard_F4s.
   Název clusteru Striim	<Striim_cluster_Name>	Název clusteru Striim.
   Heslo clusteru Striim	<Striim_cluster_password>	Heslo pro cluster.

   Po vyplnění formuláře pokračujte výběrem OK .

5. V podokně Nastavení přístupu ke Striimu nakonfigurujte veřejnou IP adresu (zvolte výchozí hodnoty), název domény pro StriimSpráva heslo, které chcete použít k přihlášení k uživatelskému rozhraní Striim. Nakonfigurujte virtuální síť a podsíť (zvolte výchozí hodnoty). Po vyplnění podrobností pokračujte výběrem OK .

   

6. Azure ověří nasazení a zajistí, aby všechno vypadalo dobře. ověření trvá několik minut. Po dokončení ověření vyberte OK.

7. Nakonec si projděte podmínky použití a výběrem možnosti Vytvořit vytvořte instanci Striim.

Konfigurace zdrojové databáze

V této části nakonfigurujete databázi Oracle jako zdroj pro přesun dat. Server Striim se dodává s ovladačem Oracle JDBC, který se používá pro připojení k Oracle. Ke čtení změn ze zdrojové databáze Oracle můžete použít rozhraní LOGMiner nebo rozhraní XStream API. Ovladač Oracle JDBC je k dispozici v cestě třídy Java společnosti Striim ke čtení, zápisu nebo uchovávání dat z databáze Oracle.

Konfigurace cílové databáze

V této části nakonfigurujete účet Azure Cosmos DB for Apache Cassandra jako cíl pro přesun dat.

1. Pomocí Azure Portal vytvořte účet Azure Cosmos DB for Apache Cassandra.

2. V účtu služby Azure Cosmos DB přejděte do podokna Data Explorer. Vyberte Nová tabulka a vytvořte nový kontejner. Předpokládejme, že migrujete data produktů a objednávek z databáze Oracle do služby Azure Cosmos DB. Vytvořte nový prostor klíčů s názvem StriimDemo s kontejnerem Orders. Zřiďte kontejner s 1000 RU (v tomto příkladu se používá 1 000 RU, ale měli byste použít propustnost odhadovanou pro vaši úlohu) a /ORDER_ID jako primární klíč. Tyto hodnoty se budou lišit v závislosti na vašich zdrojových datech.

   

Konfigurace toku dat z Oracle na Azure Cosmos DB

1. Přejděte na instanci Striim, kterou jste nasadili v Azure Portal. V horním řádku nabídek vyberte tlačítko Připojit a na kartě SSH zkopírujte adresu URL do pole Přihlásit se pomocí místního účtu virtuálního počítače .

   

2. Otevřete nové okno terminálu a spusťte příkaz SSH, který jste zkopírovali z Azure Portal. Tento článek používá terminál v systému MacOS, můžete postupovat podle podobných pokynů pomocí klienta SSH na počítači s Windows. Po zobrazení výzvy pokračujte zadáním yes a zadejte heslo , které jste pro virtuální počítač nastavili v předchozím kroku.

   

3. Ze stejného okna terminálu restartujte server Striim spuštěním následujících příkazů:

   Systemctl stop striim-node
   Systemctl stop striim-dbms
   Systemctl start striim-dbms
   Systemctl start striim-node
   

4. Striim bude chvíli trvat, než začne. Pokud chcete zobrazit stav, spusťte následující příkaz:

   tail -f /opt/striim/logs/striim-node.log
   

5. Teď přejděte zpět do Azure a zkopírujte veřejnou IP adresu virtuálního počítače Striim.

   

6. Pokud chcete přejít do webového uživatelského rozhraní striimu, otevřete v prohlížeči novou kartu a zkopírujte veřejnou IP adresu následovanou číslem 9080. Přihlaste se pomocí uživatelského jména správce a hesla správce, které jste zadali v Azure Portal.

   

7. Teď se dostanete na striimovu domovskou stránku. K dispozici jsou tři různá podokna – Řídicí panely, Aplikace a SourcePreview. Podokno Řídicí panely umožňuje přesouvat data v reálném čase a vizualizovat je. Podokno Aplikace obsahuje streamované datové kanály neboli toky dat. Na pravé straně stránky je SourcePreview, kde si můžete před přesunutím zobrazit náhled dat.

8. Vyberte podokno Aplikace . Teď se na toto podokno zaměříme. Existuje celá řada ukázkových aplikací, které můžete použít k získání informací o Striim, ale v tomto článku si vytvoříte vlastní aplikace. V pravém horním rohu vyberte tlačítko Přidat aplikaci .

   

9. Existuje několik různých způsobů, jak vytvořit aplikace Striim. Pro tento scénář vyberte Začít od začátku .

   

10. Zadejte popisný název aplikace, třeba oraToCosmosDB , a vyberte Uložit.

    

11. Dostanete se do Návrháře flow, kde můžete přetáhnout konektory a vytvářet streamovací aplikace. Do vyhledávacího panelu zadejte Oracle a přetáhněte zdroj Oracle CDC na plátno aplikace.

    

12. Zadejte vlastnosti zdrojové konfigurace vaší instance Oracle. Název zdroje je jen konvencí vytváření názvů pro aplikaci Striim. Můžete použít název, například src_onPremOracle. Zadejte také další podrobnosti, jako je typ adaptéru, adresa URL připojení, uživatelské jméno, heslo nebo název tabulky. Pokračujte výběrem možnosti Uložit .

    

13. Teď klikněte na ikonu vlny streamu a připojte cílovou instanci Azure Cosmos DB.

    

14. Před konfigurací cíle se ujistěte, že jste do prostředí Striim v Javě přidali kořenový certifikát Baltimore.

15. Zadejte vlastnosti konfigurace cílové instance služby Azure Cosmos DB a pokračujte výběrem možnosti Uložit . Tady jsou klíčové parametry, které je potřeba si uvědomit:

    • Adaptér – použijte DatabaseWriter. Při zápisu do služby Azure Cosmos DB for Apache Cassandra se vyžaduje DatabaseWriter. Ovladač Cassandra 3.6.0 je dodáván se Striim. Pokud DatabaseWriter překročí počet jednotek RU zřízených ve vašem kontejneru Azure Cosmos DB, aplikace dojde k chybovému ukončení.

    • Adresa URL připojení – Zadejte adresu URL připojení JDBC služby Azure Cosmos DB. Adresa URL je ve formátu jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • Uživatelské jméno – zadejte název účtu služby Azure Cosmos DB.

    • Heslo – Zadejte primární klíč účtu služby Azure Cosmos DB.

    • Tabulky – cílové tabulky musí mít primární klíče a primární klíče nelze aktualizovat.

    

    

16. Teď spustíme aplikaci Striim. V horním řádku nabídek vyberte Vytvořeno a pak Nasadit aplikaci. V okně nasazení můžete určit, jestli chcete spouštět určité části aplikace na konkrétních částech topologie nasazení. Vzhledem k tomu, že používáme jednoduchou topologii nasazení prostřednictvím Azure, použijeme výchozí možnost.

    

17. Teď se podíváme na náhled streamu, abychom viděli tok dat přes Striim. Klikněte na ikonu vlny a klikněte na ikonu oka vedle ní. Po nasazení si můžete zobrazit náhled streamu, abyste viděli tok dat. Vyberte ikonu vlny a oční bulvy vedle ní. V horním řádku nabídek vyberte tlačítko Nasazeno a vyberte Spustit aplikaci.

    

18. Pomocí čtečky CDC (Change Data Capture) striim provede pouze nové změny v databázi. Pokud data procházejí zdrojovými tabulkami, uvidíte je. Protože se ale jedná o ukázkovou tabulku, zdroj, který není připojený k žádné aplikaci. Pokud používáte ukázkový generátor dat, můžete do databáze Oracle vložit řetězec událostí.

19. Uvidíte, jak data procházejí platformou Striim. Striim také přebírá všechna metadata přidružená k vaší tabulce, což je užitečné při monitorování dat a zajištění, že data přistane na správný cíl.

    

20. Nakonec se přihlásíme k Azure a přejdeme na váš účet Služby Azure Cosmos DB. Aktualizujte Data Explorer a uvidíte, že dorazila data.

Pomocí řešení Striim v Azure můžete do Azure Cosmos DB průběžně migrovat data z různých zdrojů, jako jsou Oracle, Cassandra, MongoDB a různé další. Další informace najdete na webu Striim, stáhněte si bezplatnou 30denní zkušební verzi striimu a v případě jakýchkoli problémů při nastavování cesty migrace se striim vytvořte žádost o podporu.

Další kroky

• Pokud migrujete data do služby Azure Cosmso DB for NoSQL, přečtěte si, jak migrovat data do účtu ROZHRANÍ API pro Cassandra pomocí Striim.

• Monitorování a ladění dat pomocí metrik služby Azure Cosmos DB