Migrace dat do účtu Azure Cosmos DB for Apache Cassandra pomocí Striimu

PLATÍ PRO: Cassandra

Image Striim na Azure Marketplace nabízí průběžný přesun dat z datových skladů a databází do Azure v reálném čase. Při přesouvání dat můžete provádět rovnoběžnou denormalizaci, transformaci dat, povolit analýzy v reálném čase a scénáře generování sestav dat. Začít se striimem a nepřetržitě přesouvat podniková data do služby Azure Cosmos DB for Apache Cassandra je snadné. Azure nabízí marketplace, která usnadňuje nasazení nástroje Striim a migraci dat do služby Azure Cosmos DB.

Tento článek ukazuje, jak pomocí nástroje Striim migrovat data z databáze Oracle do účtu Azure Cosmos DB for Apache Cassandra.

Požadavky

• Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet , než začnete.

• Databáze Oracle spuštěná místně, ve které jsou nějaká data.

Nasazení řešení Striim marketplace

1. Přihlaste se k webu Azure Portal.

2. Vyberte Vytvořit prostředek a vyhledejte Striim na Azure Marketplace. Vyberte první možnost a vyberte Vytvořit.

   

3. Dále zadejte vlastnosti konfigurace instance Striim. Prostředí Striim je nasazené ve virtuálním počítači. V podokně Základy zadejte uživatelské jméno virtuálního počítače a heslo virtuálního počítače (toto heslo se používá k připojení k virtuálnímu počítači SSH). Vyberte podrobnosti o předplatném, skupině prostředků a umístění , kam chcete Nástroj Striim nasadit. Po dokončení vyberte OK.

   

4. V podokně Nastavení clusteru Striim zvolte typ nasazení Striim a velikost virtuálního počítače.

   Nastavení	Hodnota	Popis
   Typ nasazení Striim	Standalone	Nástroj Striim může běžet v samostatném nasazení nebo v clusteru . Samostatný režim nasadí server Striim na jeden virtuální počítač a můžete vybrat velikost virtuálních počítačů v závislosti na datovém svazku. Režim clusteru nasadí server Striim na dva nebo více virtuálních počítačů s vybranou velikostí. Prostředí clusteru s více než 2 uzly nabízejí automatickou vysokou dostupnost a převzetí služeb při selhání. V tomto kurzu můžete vybrat možnost Samostatná. Použijte výchozí velikost virtuálního počítače "Standard_F4s".
   Název clusteru Striim	<Striim_cluster_Name>	Název clusteru Striim.
   Heslo clusteru Striim	<Striim_cluster_password>	Heslo pro cluster.

   Po vyplnění formuláře pokračujte kliknutím na OK .

5. V podokně Nastavení přístupu ke striimu nakonfigurujte veřejnou IP adresu (zvolte výchozí hodnoty), název domény pro StriimSpráva heslo, které chcete použít pro přihlášení k uživatelskému rozhraní Striim. Nakonfigurujte virtuální síť a podsíť (zvolte výchozí hodnoty). Po vyplnění podrobností pokračujte výběrem OK .

   

6. Azure ověří nasazení a ověří, že všechno vypadá v pořádku. Ověření trvá několik minut. Po dokončení ověření vyberte OK.

7. Nakonec si projděte podmínky použití a vyberte Vytvořit a vytvořte instanci Striim.

Konfigurace zdrojové databáze

V této části nakonfigurujete databázi Oracle jako zdroj pro přesun dat. Server Striim se dodává s ovladačem Oracle JDBC, který se používá pro připojení k Oracle. Ke čtení změn ze zdrojové databáze Oracle můžete použít rozhraní API LogMiner nebo XStream. Ovladač Oracle JDBC je k dispozici v cestě třídy Java společnosti Striim ke čtení, zápisu nebo uchovávání dat z databáze Oracle.

Konfigurace cílové databáze

V této části nakonfigurujete účet Azure Cosmos DB for Apache Cassandra jako cíl pro přesun dat.

1. Vytvořte účet Azure Cosmos DB for Apache Cassandra pomocí Azure Portal.

2. Ve svém účtu služby Azure Cosmos DB přejděte do podokna Data Explorer. Vyberte Nová tabulka a vytvořte nový kontejner. Předpokládejme, že migrujete data produktů a objednávek z databáze Oracle do služby Azure Cosmos DB. Vytvořte nový prostor klíčů s názvem StriimDemo s kontejnerem Orders. Zřiďte kontejner s 1000 RU (v tomto příkladu se používá 1 000 RU, ale měli byste použít odhadovanou propustnost pro vaši úlohu) a /ORDER_ID jako primární klíč. Tyto hodnoty se budou lišit v závislosti na vašich zdrojových datech.

   

Konfigurace toku dat z Oracle do Azure Cosmos DB

1. Přejděte k instanci Striim, kterou jste nasadili v Azure Portal. V horním řádku nabídek vyberte tlačítko Připojit a na kartě SSH zkopírujte adresu URL do pole Přihlášení pomocí místního účtu virtuálního počítače .

   

2. Otevřete nové okno terminálu a spusťte příkaz SSH, který jste zkopírovali z Azure Portal. Tento článek používá terminál v systému macOS. Podobné pokyny můžete postupovat při použití klienta SSH na počítači s Windows. Po zobrazení výzvy pokračujte zadáním yes a zadejte heslo , které jste pro virtuální počítač nastavili v předchozím kroku.

   

3. Ze stejného okna terminálu restartujte server Striim spuštěním následujících příkazů:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Striim bude chvíli trvat, než začne. Pokud chcete zobrazit stav, spusťte následující příkaz:

   tail -f /opt/striim/logs/striim-node.log
   

5. Teď přejděte zpět do Azure a zkopírujte veřejnou IP adresu virtuálního počítače Striim.

   

6. Pokud chcete přejít do webového uživatelského rozhraní Striim, otevřete v prohlížeči novou kartu a zkopírujte veřejnou IP adresu následovanou číslem 9080. Přihlaste se pomocí uživatelského jména správce spolu s heslem správce, které jste zadali v Azure Portal.

   

7. Teď se dostanete na Striimovu domovskou stránku. Existují tři různá podokna – Řídicí panely, Aplikace a SourcePreview. Podokno Řídicí panely umožňuje přesouvat data v reálném čase a vizualizovat je. Podokno Aplikace obsahuje vaše streamované datové kanály neboli toky dat. Na pravé straně stránky je SourcePreview, kde si můžete před přesunutím zobrazit náhled dat.

8. Vyberte podokno Aplikace . Prozatím se zaměříme na toto podokno. Existuje celá řada ukázkových aplikací, které můžete použít k seznámení se striim, ale v tomto článku si vytvoříte vlastní. V pravém horním rohu vyberte tlačítko Přidat aplikaci .

   

9. Existuje několik různých způsobů, jak vytvořit aplikace Striim. Pro tento scénář vyberte Začít od začátku .

   

10. Zadejte popisný název aplikace, třeba oraToCosmosDB , a vyberte Uložit.

    

11. Dostanete se do Designer Flow, kde můžete přetažením konektorů vytvořit streamovací aplikace. Do vyhledávacího pole zadejte Oracle a přetáhněte zdroj Oracle CDC na plátno aplikace.

    

12. Zadejte vlastnosti konfigurace zdroje vaší instance Oracle. Název zdroje je jen konvence vytváření názvů pro aplikaci Striim, můžete použít název, například src_onPremOracle. Zadejte také další podrobnosti, jako je typ adaptéru, adresa URL připojení, uživatelské jméno, heslo a název tabulky. Pokračujte výběrem možnosti Uložit .

    

13. Teď klikněte na ikonu vlny datového proudu a připojte cílovou instanci Azure Cosmos DB.

    

14. Před konfigurací cíle se ujistěte, že jste do prostředí Java Striim přidali kořenový certifikát Baltimore.

15. Zadejte vlastnosti konfigurace cílové instance Služby Azure Cosmos DB a pokračujte výběrem možnosti Uložit . Tady jsou klíčové parametry, které je potřeba si uvědomit:

    • Adaptér – použijte DatabaseWriter. Při zápisu do služby Azure Cosmos DB pro Apache Cassandra se vyžaduje nástroj DatabaseWriter. Ovladač Cassandra 3.6.0 je dodáván se společností Striim. Pokud objekt DatabaseWriter překročí počet RU zřízených v kontejneru Azure Cosmos DB, aplikace se chybově ukončí.

    • Adresa URL připojení – Zadejte adresu URL připojení JDBC služby Azure Cosmos DB. Adresa URL je ve formátu . jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • Uživatelské jméno – Zadejte název účtu služby Azure Cosmos DB.

    • Heslo – Zadejte primární klíč účtu služby Azure Cosmos DB.

    • Tabulky – Cílové tabulky musí mít primární klíče a primární klíče nelze aktualizovat.

    

    

16. Teď spustíme aplikaci Striim. V horním řádku nabídek vyberte Vytvořeno a pak Nasadit aplikaci. V okně nasazení můžete určit, jestli chcete určité části aplikace spouštět na konkrétních částech topologie nasazení. Vzhledem k tomu, že používáme jednoduchou topologii nasazení prostřednictvím Azure, použijeme výchozí možnost.

    

17. Teď se pustíme do náhledu streamu, abychom viděli tok dat přes Striim. Klikněte na ikonu vlny a klikněte na ikonu oka vedle ní. Po nasazení můžete zobrazit náhled streamu, abyste viděli tok dat. Vyberte ikonu vlny a oko vedle ní. V horním řádku nabídek vyberte tlačítko Deployed (Nasazeno ) a vyberte Start App (Spustit aplikaci).

    

18. Pomocí čtečky CDC (Change Data Capture) striim přebere pouze nové změny v databázi. Pokud data procházejí zdrojovými tabulkami, uvidíte je. Vzhledem k tomu, že se jedná o ukázkovou tabulku, zdroj, který není připojený k žádné aplikaci. Pokud používáte ukázkový generátor dat, můžete do databáze Oracle vložit řetězec událostí.

19. Uvidíte, jak data procházejí platformou Striim. Striim také přebírá všechna metadata přidružená k tabulce, což je užitečné při monitorování dat a zajištění, že data přistane na správný cíl.

    

20. Nakonec se přihlásíme k Azure a přejdeme k vašemu účtu služby Azure Cosmos DB. Aktualizujte Data Explorer a uvidíte, že data přišla.

Pomocí řešení Striim v Azure můžete do Azure Cosmos DB průběžně migrovat data z různých zdrojů, jako jsou Oracle, Cassandra, MongoDB a různé další. Další informace najdete na webu Striim, stáhněte si bezplatnou 30denní zkušební verzi společnosti Striim a v případě jakýchkoli problémů při nastavování cesty migrace se striim vytvořte žádost o podporu.

Další kroky

• Pokud migrujete data do azure Cosmso DB for NoSQL, přečtěte si, jak migrovat data do účtu ROZHRANÍ API pro Cassandra pomocí Striim.

• Monitorování a ladění dat s využitím metrik služby Azure Cosmos DB