Migrace dat do účtu Azure Cosmos DB for NoSQL pomocí Striim

PLATÍ PRO: NoSQL

Image Striim na Azure Marketplace nabízí nepřetržitý přesun dat z datových skladů a databází do Azure v reálném čase. Při přesouvání dat můžete provádět in-line denormalizaci, transformaci dat, povolit analýzu v reálném čase a scénáře vytváření sestav dat. S Striimem můžete snadno začít průběžně přesouvat podniková data do služby Azure Cosmos DB for NoSQL. Azure nabízí nabídku z marketplace, která usnadňuje nasazení striimu a migraci dat do služby Azure Cosmos DB.

Tento článek ukazuje, jak pomocí Striim migrovat data z databáze Oracle do účtu Azure Cosmos DB for NoSQL.

Požadavky

• Pokud ještě nemáte předplatné Azure, vytvořte si bezplatný účet před tím, než začnete.

• Databáze Oracle spuštěná místně s některými daty.

Nasazení řešení Striim marketplace

1. Přihlaste se k portálu Azure.

2. Vyberte Vytvořit prostředek a na webu Azure Marketplace vyhledejte Striim . Vyberte první možnost a vytvořte.

   

3. Dále zadejte vlastnosti konfigurace instance Striim. Prostředí Striim je nasazené ve virtuálním počítači. V podokně Základy zadejte uživatelské jméno virtuálního počítače, heslo virtuálního počítače (toto heslo se používá k připojení SSH k virtuálnímu počítači). Vyberte podrobnosti o předplatném, skupině prostředků a umístění, kam chcete nasadit Striim. Po dokončení vyberte OK.

   

4. V podokně Nastavení clusteru Striim zvolte typ nasazení Striim a velikost virtuálního počítače.

   Nastavení	Hodnota	Popis
   Typ nasazení Striim	Samostatné	Striim může běžet v samostatném nebo clusterovém typu nasazení. Samostatný režim nasadí server Striim na jeden virtuální počítač a v závislosti na datovém svazku můžete vybrat velikost virtuálních počítačů. Režim clusteru nasadí server Striim na dva nebo více virtuálních počítačů s vybranou velikostí. Clusterová prostředí s více než 2 uzly nabízejí automatickou vysokou dostupnost a převzetí služeb při selhání. V tomto kurzu můžete vybrat samostatnou možnost. Použijte výchozí virtuální počítač velikosti Standard_F4s.
   Název clusteru Striim	<Striim_cluster_Name>	Název clusteru Striim.
   Heslo clusteru Striim	<Striim_cluster_password>	Heslo pro cluster.

   Po vyplnění formuláře pokračujte výběrem tlačítka OK .

5. V podokně nastavení přístupu Striim nakonfigurujte veřejnou IP adresu (zvolte výchozí hodnoty), název domény pro Striim, heslo správce, které chcete použít pro přihlášení k uživatelskému rozhraní Striim. Nakonfigurujte virtuální síť a podsíť (zvolte výchozí hodnoty). Po vyplnění podrobností pokračujte výběrem tlačítka OK .

   

6. Azure ověří nasazení a zajistí, aby všechno vypadalo dobře; Dokončení ověření trvá několik minut. Po dokončení ověření vyberte OK.

7. Nakonec zkontrolujte podmínky použití a vyberte Vytvořit a vytvořte instanci Striim.

Konfigurace zdrojové databáze

V této části nakonfigurujete databázi Oracle jako zdroj pro přesun dat. Server Striim se dodává s ovladačem Oracle JDBC, který se používá pro připojení k Oracle. Ke čtení změn ze zdrojové databáze Oracle můžete použít buď LogMiner , nebo XStream API. Ovladač Oracle JDBC je k dispozici v cestě třídy Java Striim ke čtení, zápisu nebo uchování dat z databáze Oracle.

Konfigurace cílové databáze

V této části nakonfigurujete účet Azure Cosmos DB for NoSQL jako cíl pro přesun dat.

1. Pomocí webu Azure Portal vytvořte účet Azure Cosmos DB for NoSQL.

2. V účtu služby Azure Cosmos DB přejděte do podokna Průzkumník dat. Vyberte Nový kontejner a vytvořte nový kontejner. Předpokládejme, že migrujete produkty a objednáváte data z databáze Oracle do služby Azure Cosmos DB. Vytvořte novou databázi s názvem StriimDemo s kontejnerem s názvem Orders. Zřiďte kontejner s 1000 RU (v tomto příkladu se používá 1000 RU, ale měli byste použít odhadovanou propustnost pro vaši úlohu) a /ORDER_ID jako klíč oddílu. Tyto hodnoty se budou lišit v závislosti na vašich zdrojových datech.

   

Konfigurace toku dat Oracle do služby Azure Cosmos DB

1. Přejděte na instanci Striim, kterou jste nasadili na webu Azure Portal. Na horním řádku nabídek vyberte tlačítko Připojit a na kartě SSH zkopírujte adresu URL v části Přihlášení pomocí pole místního účtu virtuálního počítače.

   

2. Otevřete nové okno terminálu a spusťte příkaz SSH, který jste zkopírovali z webu Azure Portal. Tento článek používá terminál v macOS, můžete postupovat podle podobných pokynů pomocí klienta SSH na počítači s Windows. Po zobrazení výzvy zadejte ano , abyste mohli pokračovat, a zadejte heslo , které jste nastavili pro virtuální počítač v předchozím kroku.

   

3. Ve stejném okně terminálu restartujte server Striim spuštěním následujících příkazů:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Striim bude trvat minutu, než se spustí. Pokud chcete zobrazit stav, spusťte následující příkaz:

   tail -f /opt/striim/logs/striim-node.log
   

5. Teď přejděte zpět do Azure a zkopírujte veřejnou IP adresu virtuálního počítače Striim.

   

6. Pokud chcete přejít do webového uživatelského rozhraní Striim, otevřete novou kartu v prohlížeči a zkopírujte veřejnou IP adresu následovanou 9080. Přihlaste se pomocí uživatelského jména správce a hesla správce , které jste zadali na webu Azure Portal.

   

7. Teď se dostanete na domovskou stránku Striim. Existují tři různá podokna – řídicí panely, aplikace a SourcePreview. Podokno Řídicí panely umožňuje přesouvat data v reálném čase a vizualizovat je. Podokno Aplikace obsahuje streamované datové kanály nebo toky dat. Na pravé straně stránky je SourcePreview, kde si můžete před přesunutím zobrazit náhled dat.

8. Vyberte podokno Aplikace. Prozatím se zaměříme na toto podokno. Existují různé ukázkové aplikace, které můžete použít k získání informací o Striimu, ale v tomto článku si vytvoříte vlastní. V pravém horním rohu vyberte tlačítko Přidat aplikaci.

   

9. Existuje několik různých způsobů, jak vytvářet aplikace Striim. Pokud chcete začít s existující šablonou, vyberte Začít se šablonou .

   

10. Do pole Šablony vyhledávání zadejte "Cosmos" a vyberte Target: Azure Cosmos DB a pak vyberte Oracle CDC do Azure Cosmos DB.

    

11. Na další stránce pojmenujte aplikaci. Můžete zadat název, například oraToCosmosDB , a pak vybrat Uložit.

12. Dále zadejte zdrojová konfigurace vaší zdrojové instance Oracle. Zadejte hodnotu pro název zdroje. Název zdroje je jen konvence vytváření názvů pro aplikaci Striim, můžete použít něco jako src_onPremOracle. Zadejte hodnoty pro zbytek adresy URL zdrojových parametrů, Uživatelské jméno, Heslo, zvolte LogMiner jako čtenář pro čtení dat z Oracle. Pokračujte výběrem tlačítka Další.

    

13. Striim zkontroluje vaše prostředí a ověří, že se může připojit ke zdrojové instanci Oracle, mít správná oprávnění a že cdC byl správně nakonfigurovaný. Po ověření všech hodnot vyberte Další.

    

14. Vyberte tabulky z databáze Oracle, kterou chcete migrovat. Pojďme například zvolit tabulku Objednávky a vybrat Další.

    

15. Po výběru zdrojové tabulky můžete provádět složitější operace, jako je mapování a filtrování. V takovém případě jednoduše vytvoříte repliku zdrojové tabulky ve službě Azure Cosmos DB. Vyberte Další a nakonfigurujte cíl.

16. Teď nakonfigurujeme cíl:

    • Cílový název – Zadejte popisný název cíle.
    • Input From – Z rozevíracího seznamu vyberte vstupní datový proud z datového proudu, který jste vytvořili ve zdrojové konfiguraci Oracle.
    • Kolekce – Zadejte vlastnosti konfigurace cílové služby Azure Cosmos DB. Syntaxe kolekcí je SourceSchema.SourceTable, TargetDatabase.TargetContainer. V tomto příkladu by hodnota byla SYSTEM. ORDERS, StriimDemo.Orders".
    • AccessKey – primární klíč vašeho účtu služby Azure Cosmos DB.
    • ServiceEndpoint – identifikátor URI vašeho účtu služby Azure Cosmos DB najdete v části Klíče na webu Azure Portal.

    Vyberte Uložit a Další.

    

17. V dalším kroku se dostanete do návrháře toku, kde můžete přetáhnout z boxových konektorů a vytvořit streamované aplikace. V tuto chvíli nebudete provádět žádné změny toku. takže pokračujte a nasaďte aplikaci tak , že vyberete tlačítko Nasadit aplikaci .

    

18. V okně nasazení můžete určit, jestli chcete spouštět určité části aplikace na konkrétních částech topologie nasazení. Vzhledem k tomu, že používáme jednoduchou topologii nasazení prostřednictvím Azure, použijeme výchozí možnost.

    

19. Po nasazení můžete zobrazit náhled datového proudu, abyste viděli tok dat. Vyberte ikonu vlny a oční kulku vedle ní. V horním řádku nabídek vyberte tlačítko Nasazeno a vyberte Spustit aplikaci.

    

20. Pomocí čtečky CDC(Change Data Capture) strim vyzvedne pouze nové změny v databázi. Pokud máte data procházející zdrojovými tabulkami, uvidíte je. Vzhledem k tomu, že se jedná o ukázkovou tabulku, není zdroj připojený k žádné aplikaci. Pokud používáte ukázkový generátor dat, můžete do databáze Oracle vložit řetěz událostí.

21. Uvidíte, že data procházejí platformou Striim. Striim vybere také všechna metadata přidružená k tabulce, což je užitečné k monitorování dat a zajištění toho, aby data přistála na správném cíli.

    

22. Nakonec se přihlásíme k Azure a přejdeme k účtu služby Azure Cosmos DB. Aktualizujte Průzkumníka dat a uvidíte, že data přišla.

    

Pomocí řešení Striim v Azure můžete průběžně migrovat data do služby Azure Cosmos DB z různých zdrojů, jako jsou Oracle, Cassandra, MongoDB a různé další do služby Azure Cosmos DB. Další informace najdete na webu Striim, stáhněte si bezplatnou 30denní zkušební verzi Striimu a v případě jakýchkoli problémů při nastavování cesty migrace pomocí Striim vytvořte žádost o podporu.

Další kroky

• Pokoušíte se naplánovat kapacitu migrace do služby Azure Cosmos DB?

  • Pokud víte, že je počet virtuálních jader a serverů ve vašem existujícím databázovém clusteru, přečtěte si o odhadu jednotek žádostí pomocí virtuálních jader nebo virtuálních procesorů.
  • Pokud znáte typické sazby požadavků pro vaši aktuální úlohu databáze, přečtěte si informace o odhadu jednotek žádostí pomocí plánovače kapacity služby Azure Cosmos DB.

• Pokud migrujete data do služby Azure Cosmos DB for NoSQL, podívejte se, jak migrovat data do účtu API for Cassandra pomocí Striim.

• Monitorování a ladění dat pomocí metrik služby Azure Cosmos DB