Migrera data till Ett Azure Cosmos DB for NoSQL-konto med Striim

GÄLLER FÖR: NoSQL

Striim-avbildningen på Azure Marketplace erbjuder kontinuerlig dataflytt i realtid från informationslager och databaser till Azure. När du flyttar data kan du utföra in-line avnormalisering, datatransformering, aktivera realtidsanalys och datarapporteringsscenarier. Det är enkelt att komma igång med Striim för att kontinuerligt flytta företagsdata till Azure Cosmos DB for NoSQL. Azure tillhandahåller ett marketplace-erbjudande som gör det enkelt att distribuera Striim och migrera data till Azure Cosmos DB.

Den här artikeln visar hur du använder Striim för att migrera data från en Oracle-databas till ett Azure Cosmos DB for NoSQL-konto.

Förutsättningar

• Om du inte har någon Azure-prenumeration kan du skapa ett kostnadsfritt konto innan du börjar.

• En Oracle-databas som körs lokalt med vissa data.

Distribuera Striim Marketplace-lösningen

1. Logga in på Azure-portalen.

2. Välj Skapa en resurs och sök efter Striim på Azure Marketplace. Välj det första alternativet och Skapa.

   

3. Ange sedan konfigurationsegenskaperna för Striim-instansen. Striim-miljön distribueras på en virtuell dator. I fönstret Grundläggande anger du användarnamnet för den virtuella datorn och lösenordet för den virtuella datorn (det här lösenordet används för att SSH till den virtuella datorn). Välj din prenumeration, resursgrupp och platsinformation där du vill distribuera Striim. När du är klar väljer du OK.

   

4. I fönstret Striim-klusterinställningar väljer du typen av Striim-distribution och storleken på den virtuella datorn.

   Inställning	Värde	Beskrivning
   Striim-distributionstyp	Fristående	Striim kan köras i fristående distributionstyper eller klusterdistributionstyper . Fristående läge distribuerar Striim-servern på en enda virtuell dator och du kan välja storleken på de virtuella datorerna beroende på din datavolym. Klusterläget distribuerar Striim-servern på två eller flera virtuella datorer med den valda storleken. Klustermiljöer med fler än 2 noder erbjuder automatisk hög tillgänglighet och redundans. I den här självstudien kan du välja alternativet Fristående. Använd den virtuella datorn med standardstorleken "Standard_F4s".
   Namnet på Striim-klustret	<Striim_cluster_Name>	Namnet på Striim-klustret.
   Striim-klusterlösenord	<Striim_cluster_password>	Lösenord för klustret.

   När du har fyllt i formuläret väljer du OK för att fortsätta.

5. I fönstret Striim-åtkomstinställningar konfigurerar du den offentliga IP-adressen (välj standardvärden), Domännamn för StriimAdmin lösenord som du vill använda för att logga in på Striim-användargränssnittet. Konfigurera ett VNET och undernät (välj standardvärdena). När du har fyllt i informationen väljer du OK för att fortsätta.

   

6. Azure verifierar distributionen och ser till att allt ser bra ut. valideringen tar några minuter att slutföra. När verifieringen är klar väljer du OK.

7. Granska slutligen användningsvillkoren och välj Skapa för att skapa din Striim-instans.

Konfigurera källdatabasen

I det här avsnittet konfigurerar du Oracle-databasen som källa för dataflytt. Striim-servern levereras med Oracle JDBC-drivrutinen som används för att ansluta till Oracle. Om du vill läsa ändringar från oracle-källdatabasen kan du antingen använda LogMiner eller XStream-API:erna. Oracle JDBC-drivrutinen finns i Striims Java-klassökväg för att läsa, skriva eller bevara data från Oracle-databasen.

Konfigurera måldatabasen

I det här avsnittet konfigurerar du Azure Cosmos DB för NoSQL-kontot som mål för dataflytt.

1. Skapa ett Azure Cosmos DB for NoSQL-konto med hjälp av Azure Portal.

2. Gå till fönstret Data Explorer i ditt Azure Cosmos DB-konto. Välj Ny container för att skapa en ny container. Anta att du migrerar produkter och beställer data från Oracle-databasen till Azure Cosmos DB. Skapa en ny databas med namnet StriimDemo med en container med namnet Orders. Etablera containern med 1 000 RU:er (i det här exemplet används 1 000 RU:er, men du bör använda det beräknade dataflödet för din arbetsbelastning) och /ORDER_ID som partitionsnyckel. Dessa värden varierar beroende på dina källdata.

   

Konfigurera Oracle till Azure Cosmos DB-dataflöde

1. Gå till Striim-instansen som du distribuerade i Azure Portal. Välj knappen Anslut på den övre menyraden och kopiera URL:en i fältet Inloggning med lokalt vm-konto på fliken SSH.

   

2. Öppna ett nytt terminalfönster och kör SSH-kommandot som du kopierade från Azure Portal. Den här artikeln använder terminalen i en MacOS. Du kan följa liknande instruktioner med hjälp av en SSH-klient på en Windows-dator. När du uppmanas till det skriver du ja för att fortsätta och anger lösenordet som du har angett för den virtuella datorn i föregående steg.

   

3. Starta om Striim-servern från samma terminalfönster genom att köra följande kommandon:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Striim tar en minut att starta. Om du vill se statusen kör du följande kommando:

   tail -f /opt/striim/logs/striim-node.log
   

5. Gå nu tillbaka till Azure och kopiera den offentliga IP-adressen för din virtuella Striim-dator.

   

6. Om du vill navigera till Striims webbgränssnitt öppnar du en ny flik i en webbläsare och kopierar den offentliga IP-adressen följt av: 9080. Logga in med administratörsanvändarnamnet tillsammans med det administratörslösenord som du angav i Azure Portal.

   

7. Nu kommer du till Striims startsida. Det finns tre olika fönster – Instrumentpaneler, Appar och SourcePreview. I fönstret Instrumentpaneler kan du flytta data i realtid och visualisera dem. Fönstret Appar innehåller dina strömmande datapipelines eller dataflöden. Till höger på sidan finns SourcePreview där du kan förhandsgranska dina data innan du flyttar dem.

8. Välj fönstret Appar . Nu ska vi fokusera på det här fönstret. Det finns en mängd olika exempelappar som du kan använda för att lära dig mer om Striim, men i den här artikeln skapar du en egen. Välj knappen Lägg till app i det övre högra hörnet.

   

9. Det finns några olika sätt att skapa Striim-program. Välj Börja med mall för att börja med en befintlig mall.

   

10. I fältet Sök mallar skriver du "Cosmos" och väljer Mål: Azure Cosmos DB och väljer sedan Oracle CDC till Azure Cosmos DB.

    

11. På nästa sida namnger du ditt program. Du kan ange ett namn som oraToCosmosDB och sedan välja Spara.

12. Ange sedan källkonfigurationen för din Oracle-källinstans. Ange ett värde för Källnamn. Källnamnet är bara en namngivningskonvention för Striim-programmet. Du kan använda något i stil med src_onPremOracle. Ange värden för resten av källparametrarnas URL, användarnamn, lösenord, välj LogMiner som läsare för att läsa data från Oracle. Fortsätt genom att välja Nästa.

    

13. Striim kontrollerar din miljö och ser till att den kan ansluta till oracle-källinstansen, ha rätt behörigheter och att CDC har konfigurerats korrekt. När alla värden har verifierats väljer du Nästa.

    

14. Välj de tabeller från Oracle-databasen som du vill migrera. Låt oss till exempel välja tabellen Beställningar och välja Nästa.

    

15. När du har valt källtabellen kan du utföra mer komplicerade åtgärder, till exempel mappning och filtrering. I det här fallet skapar du bara en replik av källtabellen i Azure Cosmos DB. Så välj Nästa för att konfigurera målet

16. Nu ska vi konfigurera målet:

    • Målnamn – Ange ett eget namn för målet.
    • Input From – I listrutan väljer du indataströmmen från den som du skapade i Oracle-källkonfigurationen.
    • Samlingar – Ange azure Cosmos DB-målkonfigurationsegenskaperna. Samlingssyntaxen är SourceSchema.SourceTable, TargetDatabase.TargetContainer. I det här exemplet skulle värdet vara "SYSTEM. ORDERS, StriimDemo.Orders".
    • AccessKey – Primärnyckel för ditt Azure Cosmos DB-konto.
    • ServiceEndpoint – URI:n för ditt Azure Cosmos DB-konto finns under avsnittet Nycklar i Azure Portal.

    Välj Spara och Nästa.

    

17. Därefter kommer du till flödesdesignern, där du kan dra och hoppa ur boxanslutningarna för att skapa dina strömmande program. Du kommer inte att göra några ändringar i flödet just nu. så gå vidare och distribuera programmet genom att välja knappen Distribuera app .

    

18. I distributionsfönstret kan du ange om du vill köra vissa delar av programmet på specifika delar av distributionstopologin. Eftersom vi kör i en enkel distributionstopologi via Azure använder vi standardalternativet.

    

19. När du har distribuerat kan du förhandsgranska strömmen för att se data flöda genom. Välj vågikonen och ögongloben bredvid den. Välj knappen Distribuerad i det översta menyfältet och välj Starta app.

    

20. Genom att använda en CDC-läsare (Change Data Capture) hämtar Striim bara nya ändringar i databasen. Om du har data som flödar genom källtabellerna ser du dem. Men eftersom det här är en demotabell är källan inte ansluten till något program. Om du använder en exempeldatagenerator kan du infoga en händelsekedja i Oracle-databasen.

21. Du ser data som flödar genom Striim-plattformen. Striim hämtar även alla metadata som är associerade med tabellen, vilket är användbart för att övervaka data och se till att data hamnar på rätt mål.

    

22. Slutligen loggar vi in på Azure och går till ditt Azure Cosmos DB-konto. Uppdatera Data Explorer så ser du att data har anlänt.

    

Genom att använda Striim-lösningen i Azure kan du kontinuerligt migrera data till Azure Cosmos DB från olika källor som Oracle, Cassandra, MongoDB och andra till Azure Cosmos DB. Mer information finns på Striims webbplats, ladda ned en kostnadsfri 30-dagars utvärderingsversion av Striim och för eventuella problem när du konfigurerar migreringssökvägen med Striim kan du skicka en supportbegäran.

Nästa steg

• Försöker du göra kapacitetsplanering för en migrering till Azure Cosmos DB?

  • Om allt du vet är antalet virtuella kärnor och servrar i ditt befintliga databaskluster läser du om att uppskatta enheter för begäranden med hjälp av virtuella kärnor eller virtuella processorer
  • Om du känner till vanliga begärandefrekvenser för din aktuella databasarbetsbelastning kan du läsa om att uppskatta enheter för begäranden med azure Cosmos DB-kapacitetsplanering

• Om du migrerar data till Azure Cosmos DB för NoSQL kan du läsa om hur du migrerar data till API för Cassandra-konto med hjälp av Striim

• Övervaka och felsöka dina data med Azure Cosmos DB-mått