Gegevens migreren naar een Azure Cosmos DB voor Apache Cassandra-account met behulp van Striim

VAN TOEPASSING OP: Cassandra

De Striim-installatiekopie in Azure Marketplace biedt continue realtime gegevensverplaatsing van datawarehouses en databases naar Azure. Tijdens het verplaatsen van de gegevens kunt u inline denormalisatie, gegevenstransformatie, realtime analyses en scenario's voor gegevensrapportage inschakelen. U kunt eenvoudig aan de slag met Striim om continu bedrijfsgegevens te verplaatsen naar Azure Cosmos DB voor Apache Cassandra. Azure biedt een marketplace-aanbieding waarmee u eenvoudig Striim kunt implementeren en gegevens kunt migreren naar Azure Cosmos DB.

In dit artikel wordt beschreven hoe u Striim gebruikt om gegevens te migreren van een Oracle-database naar een Azure Cosmos DB voor Een Apache Cassandra-account.

Vereisten

• Als u geen Azure-abonnement hebt, maakt u een gratis account voordat u begint.

• Een Oracle-database die on-premises wordt uitgevoerd met daarin enkele gegevens.

De Striim Marketplace-oplossing implementeren

1. Meld u aan bij het Azure-portaal.

2. Selecteer Een resource maken en zoek naar Striim in Azure Marketplace. Selecteer de eerste optie en Maken.

   

3. Voer vervolgens de configuratie-eigenschappen van het Striim-exemplaar in. De Striim-omgeving wordt geïmplementeerd in een virtuele machine. Voer in het deelvenster Basisinformatie de gebruikersnaam van de VIRTUELE machine, het VM-wachtwoord in (dit wachtwoord wordt gebruikt voor SSH in de virtuele machine). Selecteer uw abonnement, resourcegroep en locatiegegevens waar u Striim wilt implementeren. Als u klaar bent, selecteert u OK.

   

4. Kies in het deelvenster Striim-clusterinstellingen het type Striim-implementatie en de grootte van de virtuele machine.

   Instelling	Weergegeven als	Beschrijving
   Implementatietype Striim	Zelfstandig	Striim kan worden uitgevoerd in een zelfstandige of clusterimplementatietypen . In de zelfstandige modus wordt de Striim-server op één virtuele machine geïmplementeerd en kunt u de grootte van de VM's selecteren, afhankelijk van uw gegevensvolume. In de clustermodus wordt de Striim-server geïmplementeerd op twee of meer VM's met de geselecteerde grootte. Clusteromgevingen met meer dan 2 knooppunten bieden automatische hoge beschikbaarheid en failover. In deze zelfstudie kunt u de optie Zelfstandig selecteren. Gebruik de standaard VM met de grootte 'Standard_F4s'.
   Naam van het Striim-cluster	<Striim_cluster_Name>	Naam van het Striim-cluster.
   Striim-clusterwachtwoord	<Striim_cluster_password>	Wachtwoord voor het cluster.

   Nadat u het formulier hebt ingevuld, selecteert u OK om door te gaan.

5. Configureer in het deelvenster Striim-toegangsinstellingen het openbare IP-adres (kies de standaardwaarden), domeinnaam voor Striim, beheerderswachtwoord dat u wilt gebruiken om u aan te melden bij de Striim-gebruikersinterface. Configureer een VNET en subnet (kies de standaardwaarden). Nadat u de details hebt ingevuld, selecteert u OK om door te gaan.

   

6. Azure valideert de implementatie en zorgt ervoor dat alles er goed uitziet; het uitvoeren van de validatie duurt enkele minuten. Nadat de validatie is voltooid, selecteert u OK.

7. Controleer ten slotte de gebruiksvoorwaarden en selecteer Maken om uw Striim-exemplaar te maken.

De brondatabase configureren

In deze sectie configureert u de Oracle-database als de bron voor gegevensverplaatsing. De Striim-server wordt geleverd met het Oracle JDBC-stuurprogramma dat wordt gebruikt om verbinding te maken met Oracle. Als u wijzigingen wilt lezen uit de Oracle-brondatabase, kunt u LogMiner of de XStream-API's gebruiken. Het Oracle JDBC-stuurprogramma is aanwezig in het Java-klassepad van Striim voor het lezen, schrijven of behouden van gegevens uit de Oracle-database.

Doeldatabase configureren

In deze sectie configureert u het Azure Cosmos DB voor Apache Cassandra-account als doel voor gegevensverplaatsing.

1. Maak een Azure Cosmos DB voor Apache Cassandra-account met behulp van Azure Portal.

2. Navigeer naar het deelvenster Data Explorer in uw Azure Cosmos DB-account. Selecteer Nieuwe tabel om een nieuwe container te maken. Stel dat u producten migreert en gegevens van de Oracle-database naar Azure Cosmos DB migreert. Maak een nieuwe Keyspace met de naam StriimDemo met een container Orders. Richt de container in met 1000 RU's (in dit voorbeeld worden 1000 RU's gebruikt, maar u moet de geschatte doorvoer voor uw workload gebruiken) en /ORDER_ID als primaire sleutel. Deze waarden verschillen, afhankelijk van uw brongegevens.

   

Oracle configureren voor Azure Cosmos DB-gegevensstroom

1. Navigeer naar het Striim-exemplaar dat u hebt geïmplementeerd in Azure Portal. Selecteer de knop Verbinding maken in de bovenste menubalk en kopieer op het tabblad SSH de URL in Aanmelden met behulp van het veld Lokaal VM-account .

   

2. Open een nieuw terminalvenster en voer de SSH-opdracht uit die u hebt gekopieerd vanuit Azure Portal. In dit artikel wordt gebruikgemaakt van terminal in een macOS. U kunt de vergelijkbare instructies volgen met behulp van een SSH-client op een Windows-computer. Wanneer u hierom wordt gevraagd, typt u ja om door te gaan en voert u het wachtwoord in dat u in de vorige stap hebt ingesteld voor de virtuele machine.

   

3. Start vanuit hetzelfde terminalvenster de Striim-server opnieuw door de volgende opdrachten uit te voeren:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Het duurt even voordat Striim is opgestart. Als u de status wilt zien, voert u de volgende opdracht uit:

   tail -f /opt/striim/logs/striim-node.log
   

5. Ga nu terug naar Azure en kopieer het openbare IP-adres van uw Striim-VM.

   

6. Als u naar de webgebruikersinterface van Striim wilt navigeren, opent u een nieuw tabblad in een browser en kopieert u het openbare IP-adres, gevolgd door: 9080. Meld u aan met behulp van de gebruikersnaam van de beheerder , samen met het beheerderswachtwoord dat u hebt opgegeven in Azure Portal.

   

7. Nu kom je aan op de startpagina van Striim. Er zijn drie verschillende deelvensters: Dashboards, Apps en SourcePreview. In het deelvenster Dashboards kunt u gegevens in realtime verplaatsen en visualiseren. Het deelvenster Apps bevat uw pijplijnen voor streaminggegevens of gegevensstromen. Aan de rechterkant van de pagina bevindt zich SourcePreview, waar u een voorbeeld van uw gegevens kunt bekijken voordat u deze verplaatst.

8. Selecteer het deelvenster Apps . We richten ons voorlopig op dit deelvenster. Er zijn verschillende voorbeeld-apps die u kunt gebruiken voor meer informatie over Striim, maar in dit artikel maakt u onze eigen apps. Selecteer de knop App toevoegen in de rechterbovenhoek.

   

9. Er zijn verschillende manieren om Striim-toepassingen te maken. Selecteer Start from Scratch voor dit scenario.

   

10. Geef een beschrijvende naam voor uw toepassing, bijvoorbeeld oraToCosmosDB en selecteer Opslaan.

    

11. U komt aan bij Flow Designer, waar u connectors uit de box kunt slepen en neerzetten om uw streamingtoepassingen te maken. Typ Oracle in de zoekbalk, sleep en zet de Oracle CDC-bron neer op het app-canvas.

    

12. Voer de bronconfiguratie-eigenschappen van uw Oracle-exemplaar in. De bronnaam is slechts een naamconventie voor de Striim-toepassing. U kunt een naam zoals src_onPremOracle gebruiken. Voer ook andere gegevens in, zoals adaptertype, verbindings-URL, gebruikersnaam, wachtwoord, tabelnaam. Selecteer Opslaan om door te gaan.

    

13. Klik nu op het golfpictogram van de stream om het Azure Cosmos DB-doelexemplaren te verbinden.

    

14. Voordat u het doel configureert, moet u ervoor zorgen dat u een Baltimore-basiscertificaat hebt toegevoegd aan de Java-omgeving van Striim.

15. Voer de configuratie-eigenschappen van uw Azure Cosmos DB-doelexemplaren in en selecteer Opslaan om door te gaan. Dit zijn de belangrijkste parameters die u moet noteren:

    • Adapter - DatabaseWriter gebruiken. Bij het schrijven naar Azure Cosmos DB voor Apache Cassandra is DatabaseWriter vereist. Het Cassandra-stuurprogramma 3.6.0 is gebundeld met Striim. Als de DatabaseWriter het aantal RU's overschrijdt dat is ingericht in uw Azure Cosmos DB-container, loopt de toepassing vast.

    • Verbindings-URL : geef uw Azure Cosmos DB JDBC-verbindings-URL op. De URL heeft de indeling jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • Gebruikersnaam : geef uw Azure Cosmos DB-accountnaam op.

    • Wachtwoord : geef de primaire sleutel van uw Azure Cosmos DB-account op.

    • Tabellen : doeltabellen moeten primaire sleutels hebben en primaire sleutels kunnen niet worden bijgewerkt.

    

    

16. Nu gaan we de Striim-toepassing uitvoeren. Selecteer In de bovenste menubalk de optie Gemaakt en vervolgens App implementeren. In het implementatievenster kunt u opgeven of u bepaalde onderdelen van uw toepassing wilt uitvoeren op specifieke onderdelen van uw implementatietopologie. Omdat we in een eenvoudige implementatietopologie via Azure worden uitgevoerd, gebruiken we de standaardoptie.

    

17. We gaan nu een voorbeeld bekijken van de stroom om gegevens te zien die door de Striim stromen. Klik op het golfpictogram en klik op het oogpictogram ernaast. Na de implementatie kunt u een voorbeeld van de stroom bekijken om te zien hoe gegevens stromen. Selecteer het golfpictogram en de oogbal ernaast. Selecteer de knop Geïmplementeerd in de bovenste menubalk en selecteer App starten.

    

18. Met behulp van een CDC-lezer (Change Data Capture) haalt Striim alleen nieuwe wijzigingen op in de database. Als u gegevens hebt die door uw brontabellen stromen, ziet u deze. Omdat dit echter een voorbeeldtabel is, is de bron die niet is verbonden met een toepassing. Als u een voorbeeldgegevensgenerator gebruikt, kunt u een keten van gebeurtenissen invoegen in uw Oracle-database.

19. U ziet gegevens die via het Striim-platform stromen. Striim haalt ook alle metagegevens op die aan uw tabel zijn gekoppeld, wat handig is om de gegevens te bewaken en ervoor te zorgen dat de gegevens op het juiste doel terechtkomen.

    

20. Ten slotte gaan we ons aanmelden bij Azure en navigeren naar uw Azure Cosmos DB-account. Vernieuw Data Explorer en u kunt zien dat er gegevens zijn aangekomen.

Met behulp van de Striim-oplossing in Azure kunt u continu gegevens migreren naar Azure Cosmos DB vanuit verschillende bronnen, zoals Oracle, Cassandra, MongoDB en verschillende andere naar Azure Cosmos DB. Ga voor meer informatie naar de Striim-website, download een gratis proefversie van 30 dagen van Striim en voor eventuele problemen bij het instellen van het migratiepad met Striim, dien een ondersteuningsaanvraag in.

Volgende stappen

• Als u gegevens migreert naar Azure Cosmso DB for NoSQL, raadpleegt u hoe u gegevens migreert naar API voor Cassandra-account met behulp van Striim

• Uw gegevens bewaken en fouten opsporen met metrische gegevens van Azure Cosmos DB