Gegevens migreren naar een Azure Cosmos DB for NoSQL-account met behulp van Striim

VAN TOEPASSING OP: NoSQL

De Striim-installatiekopieën in de Azure Marketplace bieden continue realtime gegevensverplaatsing van datawarehouses en databases naar Azure. Tijdens het verplaatsen van de gegevens kunt u inline denormalisatie, gegevenstransformatie uitvoeren, realtime analyses en scenario's voor gegevensrapportage inschakelen. Het is eenvoudig om aan de slag te gaan met Striim om continu bedrijfsgegevens te verplaatsen naar Azure Cosmos DB for NoSQL. Azure biedt een marketplace-aanbieding waarmee u eenvoudig Striim kunt implementeren en gegevens kunt migreren naar Azure Cosmos DB.

In dit artikel wordt beschreven hoe u Striim gebruikt om gegevens te migreren van een Oracle-database naar een Azure Cosmos DB for NoSQL-account.

Vereisten

• Als u geen Azure-abonnement hebt, maakt u een gratis account voordat u begint.

• Een Oracle-database die on-premises wordt uitgevoerd met enkele gegevens erin.

De Striim Marketplace-oplossing implementeren

1. Meld u aan bij de Azure-portal.

2. Selecteer Een resource maken en zoek naar Striim in de Azure Marketplace. Selecteer de eerste optie en Selecteer Maken.

   

3. Voer vervolgens de configuratie-eigenschappen van het Striim-exemplaar in. De Striim-omgeving wordt geïmplementeerd in een virtuele machine. Voer in het deelvenster Basisinformatie de gebruikersnaam van de virtuele machine en het VM-wachtwoord in (dit wachtwoord wordt gebruikt voor SSH in de VM). Selecteer uw abonnement, resourcegroep en locatiegegevens waar u Striim wilt implementeren. Als u klaar bent, selecteert u OK.

   

4. Kies in het deelvenster Striim-clusterinstellingen het type Striim-implementatie en de grootte van de virtuele machine.

   Instelling	Waarde	Beschrijving
   Striim-implementatietype	Zelfstandig	Striim kan worden uitgevoerd in een zelfstandig implementatietype of in een clusterimplementatie . De zelfstandige modus implementeert de Striim-server op één virtuele machine en u kunt de grootte van de VM's selecteren, afhankelijk van uw gegevensvolume. In de clustermodus wordt de Striim-server geïmplementeerd op twee of meer VM's met de geselecteerde grootte. Clusteromgevingen met meer dan 2 knooppunten bieden automatische hoge beschikbaarheid en failover. In deze zelfstudie kunt u de optie Zelfstandig selecteren. Gebruik de standaard vm met de grootte 'Standard_F4s'.
   Naam van het Striim-cluster	<Striim_cluster_Name>	Naam van het Striim-cluster.
   Wachtwoord voor Striim-cluster	<Striim_cluster_password>	Wachtwoord voor het cluster.

   Nadat u het formulier hebt ingevuld, selecteert u OK om door te gaan.

5. Configureer in het deelvenster Striim-toegangsinstellingen het openbare IP-adres (kies de standaardwaarden), Domeinnaam voor StriimBeheer wachtwoord dat u wilt gebruiken om u aan te melden bij de gebruikersinterface van Striim. Configureer een VNET en subnet (kies de standaardwaarden). Nadat u de details hebt ingevuld, selecteert u OK om door te gaan.

   

6. Azure valideert de implementatie en zorgt ervoor dat alles er goed uitziet; het duurt enkele minuten om de validatie te voltooien. Nadat de validatie is voltooid, selecteert u OK.

7. Controleer ten slotte de gebruiksvoorwaarden en selecteer Maken om uw Striim-exemplaar te maken.

De brondatabase configureren

In deze sectie configureert u de Oracle-database als de bron voor gegevensverplaatsing. De Striim-server wordt geleverd met het Oracle JDBC-stuurprogramma dat wordt gebruikt om verbinding te maken met Oracle. Als u wijzigingen uit uw Oracle-brondatabase wilt lezen, kunt u de LogMiner - of de XStream-API's gebruiken. Het Oracle JDBC-stuurprogramma is aanwezig in het Java-klassepad van Striim om gegevens uit de Oracle-database te lezen, schrijven of persistent te maken.

De doeldatabase configureren

In deze sectie configureert u het Azure Cosmos DB for NoSQL-account als het doel voor gegevensverplaatsing.

1. Maak een Azure Cosmos DB for NoSQL-account met behulp van de Azure Portal.

2. Navigeer naar het deelvenster Data Explorer in uw Azure Cosmos DB-account. Selecteer Nieuwe container om een nieuwe container te maken. Stel dat u producten en ordergegevens migreert van de Oracle-database naar Azure Cosmos DB. Maak een nieuwe database met de naam StriimDemo met een container met de naam Orders. Richt de container in met 1000 RU's (in dit voorbeeld worden 1000 RU's gebruikt, maar u moet de geschatte doorvoer voor uw workload gebruiken) en /ORDER_ID als de partitiesleutel. Deze waarden verschillen, afhankelijk van uw brongegevens.

   

Oracle naar Azure Cosmos DB-gegevensstroom configureren

1. Navigeer naar het Striim-exemplaar dat u hebt geïmplementeerd in de Azure Portal. Selecteer de knop Verbinding maken in de bovenste menubalk en kopieer op het tabblad SSH de URL in het veld Aanmelden met lokaal VM-account .

   

2. Open een nieuw terminalvenster en voer de SSH-opdracht uit die u hebt gekopieerd uit de Azure Portal. In dit artikel wordt gebruikgemaakt van terminal in een MacOS. U kunt de vergelijkbare instructies volgen met behulp van een SSH-client op een Windows-computer. Wanneer u hierom wordt gevraagd, typt u Ja om door te gaan en voert u het wachtwoord in dat u in de vorige stap hebt ingesteld voor de virtuele machine.

   

3. Start vanuit hetzelfde terminalvenster de Striim-server opnieuw op door de volgende opdrachten uit te voeren:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Het duurt even voordat striim is opgestart. Als u de status wilt zien, voert u de volgende opdracht uit:

   tail -f /opt/striim/logs/striim-node.log
   

5. Ga nu terug naar Azure en kopieer het openbare IP-adres van uw Striim-VM.

   

6. Als u naar de webgebruikersinterface van Striim wilt navigeren, opent u een nieuw tabblad in een browser en kopieert u het openbare IP-adres gevolgd door: 9080. Meld u aan met de gebruikersnaam van de beheerder, samen met het beheerderswachtwoord dat u hebt opgegeven in de Azure Portal.

   

7. Nu komt u op de startpagina van Striim. Er zijn drie verschillende deelvensters: Dashboards, Apps en SourcePreview. In het deelvenster Dashboards kunt u gegevens in realtime verplaatsen en visualiseren. Het deelvenster Apps bevat uw pijplijnen voor streaminggegevens of gegevensstromen. Aan de rechterkant van de pagina bevindt zich SourcePreview, waar u een voorbeeld van uw gegevens kunt bekijken voordat u deze verplaatst.

8. Selecteer het deelvenster Apps . We richten ons voorlopig op dit deelvenster. Er zijn verschillende voorbeeld-apps die u kunt gebruiken om meer te weten te komen over Striim, maar in dit artikel maakt u onze eigen apps. Selecteer de knop App toevoegen in de rechterbovenhoek.

   

9. Er zijn een aantal verschillende manieren om Striim-toepassingen te maken. Selecteer Beginnen met sjabloon om te beginnen met een bestaande sjabloon.

   

10. Typ 'Cosmos' in het veld Sjablonen zoeken , selecteer Doel: Azure Cosmos DB en selecteer vervolgens Oracle CDC naar Azure Cosmos DB.

    

11. Geef op de volgende pagina de naam van uw toepassing. U kunt een naam opgeven zoals oraToCosmosDB en vervolgens Opslaan selecteren.

12. Voer vervolgens de bronconfiguratie van uw Oracle-bronexemplaar in. Voer een waarde in voor de bronnaam. De bronnaam is slechts een naamconventie voor de Striim-toepassing. U kunt iets als src_onPremOracle gebruiken. Voer waarden in voor de rest van de bronparameters URL, Gebruikersnaam, Wachtwoord, kies LogMiner als de lezer om gegevens uit Oracle te lezen. Selecteer Volgende om door te gaan.

    

13. Striim controleert uw omgeving en zorgt ervoor dat deze verbinding kan maken met uw bronexemplaren van Oracle, de juiste bevoegdheden heeft en dat CDC correct is geconfigureerd. Nadat alle waarden zijn gevalideerd, selecteert u Volgende.

    

14. Selecteer de tabellen uit de Oracle-database die u wilt migreren. Laten we bijvoorbeeld de tabel Orders kiezen en Volgende selecteren.

    

15. Nadat u de brontabel hebt geselecteerd, kunt u complexere bewerkingen uitvoeren, zoals toewijzen en filteren. In dit geval maakt u alleen een replica van de brontabel in Azure Cosmos DB. Selecteer daarom Volgende om het doel te configureren

16. Nu gaan we het doel configureren:

    • Doelnaam : geef een beschrijvende naam op voor het doel.
    • Invoer van : selecteer in de vervolgkeuzelijst de invoerstroom van de stroom die u hebt gemaakt in de oracle-bronconfiguratie.
    • Verzamelingen: voer de doelconfiguratie-eigenschappen van Azure Cosmos DB in. De syntaxis van de verzamelingen is SourceSchema.SourceTable, TargetDatabase.TargetContainer. In dit voorbeeld is de waarde 'SYSTEM. ORDERS, StriimDemo.Orders".
    • AccessKey : de PrimaryKey van uw Azure Cosmos DB-account.
    • ServiceEndpoint: de URI van uw Azure Cosmos DB-account. Deze vindt u in de sectie Sleutels van de Azure Portal.

    Selecteer Opslaan en Volgende.

    

17. Vervolgens komt u bij de stroomontwerper, waar u connectors uit de doos kunt slepen en neerzetten om uw streamingtoepassingen te maken. U brengt op dit moment geen wijzigingen aan in de stroom. Ga dus verder en implementeer de toepassing door de knop App implementeren te selecteren.

    

18. In het implementatievenster kunt u opgeven of u bepaalde onderdelen van uw toepassing wilt uitvoeren op specifieke onderdelen van uw implementatietopologie. Omdat we in een eenvoudige implementatietopologie via Azure worden uitgevoerd, gebruiken we de standaardoptie.

    

19. Na de implementatie kunt u een voorbeeld van de stroom bekijken om de gegevensstroom te bekijken. Selecteer het golfpictogram en de oogbol ernaast. Selecteer de knop Geïmplementeerd in de bovenste menubalk en selecteer App starten.

    

20. Door een CDC-lezer (Change Data Capture) te gebruiken, worden alleen nieuwe wijzigingen in de database door Striim opgehaald. Als er gegevens door uw brontabellen stromen, ziet u deze. Omdat dit echter een demotabel is, is de bron niet verbonden met een toepassing. Als u een voorbeeldgegevensgenerator gebruikt, kunt u een keten van gebeurtenissen invoegen in uw Oracle-database.

21. U ziet dat er gegevens stromen via het Striim-platform. Striim haalt ook alle metagegevens op die zijn gekoppeld aan uw tabel. Dit is handig om de gegevens te bewaken en ervoor te zorgen dat de gegevens op het juiste doel terechtkomen.

    

22. Ten slotte gaan we ons aanmelden bij Azure en naar uw Azure Cosmos DB-account navigeren. Vernieuw de Data Explorer en u kunt zien dat de gegevens zijn aangekomen.

    

Met behulp van de Striim-oplossing in Azure kunt u continu gegevens migreren naar Azure Cosmos DB vanuit verschillende bronnen, zoals Oracle, Cassandra, MongoDB en diverse andere naar Azure Cosmos DB. Ga voor meer informatie naar de website van Striim, download een gratis proefversie van Striim van 30 dagen. Voor eventuele problemen bij het instellen van het migratiepad met Striim dient u een ondersteuningsaanvraag in.

Volgende stappen

• Wilt u capaciteitsplanning uitvoeren voor een migratie naar Azure Cosmos DB?

  • Als u alleen het aantal vcores en servers in uw bestaande databasecluster weet, leest u meer over het schatten van aanvraageenheden met behulp van vCores of vCPU's
  • Als u de gebruikelijke aanvraagsnelheden voor uw huidige databaseworkload kent, leest u meer over het schatten van aanvraageenheden met behulp van Azure Cosmos DB-capaciteitsplanner

• Als u gegevens migreert naar Azure Cosmos DB for NoSQL, raadpleegt u Gegevens migreren naar EEN API voor Cassandra-account met behulp van Striim

• Uw gegevens bewaken en fouten opsporen met metrische gegevens van Azure Cosmos DB