Migrieren von Daten zum Azure Cosmos DB for NoSQL-Konto mithilfe von Striim

GILT FÜR: NoSQL

Das Striim-Image aus dem Azure Marketplace ermöglicht fortlaufende Echtzeitdatenverschiebungen aus Data Warehouses und Datenbanken zu Azure. Im Zuge der Datenverschiebung können Sie eine Inline-Denormalisierung und Datentransformationen durchführen sowie die Erstellung von Echtzeitanalysen und Datenberichten ermöglichen. Mit Striim lassen sich Unternehmensdaten ganz einfach fortlaufend zu Azure Cosmos DB for NoSQL verschieben. Über das im Azure Marketplace verfügbare Angebot können Sie Striim mühelos bereitstellen und Daten zu Azure Cosmos DB migrieren.

In diesem Artikel wird gezeigt, wie Sie Daten mithilfe von Striim aus einer Oracle-Datenbank zu einem Azure Cosmos DB for NoSQL-Konto migrieren.

Voraussetzungen

• Wenn Sie kein Azure-Abonnement besitzen, erstellen Sie ein kostenloses Konto, bevor Sie beginnen.

• Eine lokal ausgeführte Oracle-Datenbank mit einigen Daten

Bereitstellen der Striim-Lösung aus dem Marketplace

1. Melden Sie sich beim Azure-Portal an.

2. Klicken Sie im Azure-Portal auf Ressource erstellen, und suchen Sie im Azure Marketplace nach Striim. Wählen Sie die erste Option und anschließend Erstellen aus.

   

3. Geben Sie als Nächstes die Konfigurationseigenschaften der Striim-Instanz ein. Die Striim-Umgebung wird auf einem virtuellen Computer bereitgestellt. Geben Sie im Bereich Grundlagen unter Benutzername des virtuellen Computers den VM-Benutzernamen und unter Kennwort des virtuellen Computers das VM-Kennwort ein. (Dieses Kennwort wird verwendet, um eine SSH-Verbindung mit dem virtuellen Computer herzustellen.) Wählen Sie Ihr Abonnement, Ihre Ressourcengruppe und den Standort aus, an dem Striim bereitgestellt werden soll. Wählen Sie anschließend OK aus.

   

4. Wählen Sie im Bereich Striim Cluster settings (Einstellungen für den Striim-Cluster) die Art der Striim-Bereitstellung und die VM-Größe aus.

   Einstellung	Wert	BESCHREIBUNG
   Art der Striim-Bereitstellung	Eigenständig	Mögliche Bereitstellungstypen für Striim sind Eigenständig und Cluster. Im eigenständigen Modus wird der Striim-Server auf einem einzelnen virtuellen Computer bereitgestellt, und Sie können die Größe der VMs abhängig von Ihrem Datenvolumen auswählen. Im Clustermodus wird der Striim-Server auf zwei oder mehr virtuellen Computern mit der gewählten Größe bereitgestellt. Clusterumgebungen mit mehr als zwei Knoten bieten automatische Hochverfügbarkeit und Failoverfunktionen. In diesem Tutorial können Sie die eigenständige Option auswählen. Verwenden Sie die standardmäßige VM-Größe „Standard_F4s“.
   Name des Striim-Clusters	<Striim_cluster_Name>	Der Name des Striim-Clusters.
   Kennwort des Striim-Clusters	<Striim_cluster_password>	Das Kennwort für den Cluster.

   Wenn Sie das Formular ausgefüllt haben, klicken Sie auf OK.

5. Konfigurieren Sie im Bereich Striim access settings (Striim-Zugriffseinstellungen) Werte für Öffentliche IP-Adresse (wählen Sie die Standardwerte aus), Domain name for Striim (Domänenname für Striim) und Administratorkennwort für die Anmeldung bei der Striim-Benutzeroberfläche. Konfigurieren Sie ein VNET und ein Subnetz. (Wählen Sie die Standardwerte aus.) Wählen Sie anschließend OK aus, um den Vorgang fortzusetzen.

   

6. Azure überprüft die Bereitstellung, um sicherzustellen, dass alles ordnungsgemäß konfiguriert wurde. Das dauert ein paar Minuten. Wählen Sie nach Abschluss der Validierung OK aus.

7. Lesen Sie abschließend die Nutzungsbedingungen, und wählen Sie Erstellen aus, um Ihre Striim-Instanz zu erstellen.

Konfigurieren der Quelldatenbank

In diesem Abschnitt konfigurieren Sie die Oracle-Datenbank als Quelle für die Datenverschiebung. Der Striim-Server enthält den Oracle JDBC-Treiber, der zum Herstellen einer Verbindung mit Oracle verwendet wird. Änderungen können entweder mit LogMiner oder mithilfe der XStream-APIs aus der Oracle-Quelldatenbank gelesen werden. Der Oracle JDBC-Treiber befindet sich im Java-Klassenpfad von Striim, um Daten aus der Oracle-Datenbank lesen, schreiben oder dauerhaft speichern zu können.

Konfigurieren der Zieldatenbank

In diesem Abschnitt konfigurieren Sie das Azure Cosmos DB for NoSQL-Konto als Ziel für die Datenverschiebung.

1. Erstellen Sie über das Azure-Portal ein Azure Cosmos DB for NoSQL-Konto.

2. Navigieren Sie in Ihrem Azure Cosmos DB-Konto zum Bereich Daten-Explorer. Wählen Sie Neuer Container aus, um einen neuen Container zu erstellen. Gehen Sie davon aus, dass Sie Produkt- und Auftragsdaten aus der Oracle-Datenbank zu Azure Cosmos DB migrieren. Erstellen Sie eine neue Datenbank namens StriimDemo mit einem Container namens Orders. Stellen Sie den Container mit 1000 RUs sowie mit /ORDER_ID als Partitionsschlüssel bereit. (In diesem Beispiel werden 1000 RUs verwendet, Sie sollten allerdings den voraussichtlichen Durchsatz für Ihre Workload verwenden). Diese Werte unterscheiden sich abhängig von Ihren Quelldaten.

   

Konfigurieren des Datenflusses von Oracle zu Azure Cosmos DB

1. Navigieren Sie zu der Striim-Instanz, die Sie über das Azure-Portal bereitgestellt haben. Wählen Sie auf der oberen Menüleiste die Schaltfläche Verbinden aus, und kopieren Sie auf der Registerkarte SSH die URL im Feld Mit lokalem VM-Konto anmelden.

   

2. Öffnen Sie ein neues Terminalfenster, und führen Sie den aus dem Azure-Portal kopierten SSH-Befehl aus. In diesem Artikel wird ein macOS-Terminal verwendet. Die Vorgehensweise über einen SSH-Client auf einem Windows-Computer ist jedoch ähnlich. Geben Sie bei entsprechender Aufforderung yes (Ja) und anschließend das Kennwort ein, das Sie im vorherigen Schritt für den virtuellen Computer festgelegt haben.

   

3. Starten Sie den Striim-Server über das gleiche Terminalfenster mithilfe der folgenden Befehle neu:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Der Startvorgang von Striim dauert etwas. Wenn Sie den Status anzeigen möchten, können Sie den folgenden Befehl ausführen:

   tail -f /opt/striim/logs/striim-node.log
   

5. Navigieren Sie nun wieder zu Azure, und kopieren Sie die öffentliche IP-Adresse Ihres virtuellen Striim-Computers.

   

6. Öffnen Sie in einem Browser eine neue Registerkarte, kopieren Sie die öffentliche IP-Adresse, und hängen Sie Folgendes an, um zur Webbenutzeroberfläche von Striim zu navigieren: 9080. Melden Sie sich mit dem Benutzernamen admin und dem Administratorkennwort an, das Sie im Azure-Portal angegeben haben.

   

7. Daraufhin wird die Startseite von Striim angezeigt. Dort stehen drei Bereiche zur Verfügung: Dashboards, Apps und SourcePreview (Quellvorschau). Im Bereich „Dashboards“ können Sie Daten in Echtzeit verschieben und visualisieren. Der Bereich „Apps“ enthält Ihre Streamingdatenpipelines (oder Datenflüsse). Rechts auf der Seite befindet sich „SourcePreview“ (Quellvorschau). In diesem Bereich können Sie vor dem Verschieben eine Vorschau Ihrer Daten anzeigen.

8. Wir beschäftigen uns zunächst mit dem Bereich Apps. Wählen Sie daher diesen Bereich aus. Es gibt eine Reihe von Beispiel-Apps, die Sie verwenden können, um sich mit Striim vertraut zu machen. In diesem Artikel erstellen wir jedoch eine eigene App. Wählen Sie in der rechten oberen Ecke die Schaltfläche Add App (App hinzufügen) aus.

   

9. Striim-Anwendungen können auf unterschiedliche Weise erstellt werden. Wählen Sie Start with Template (Mit Vorlage starten) aus, um mit einer vorhandenen Vorlage zu beginnen.

   

10. Geben Sie im Feld Search templates (Vorlagen suchen) den Suchbegriff „Cosmos“ ein, und wählen Sie Target: Azure Cosmos DB (Ziel: Azure Cosmos DB) und anschließend Oracle CDC to Azure Cosmos DB (Oracle CDC zu Azure Cosmos DB) aus.

    

11. Benennen Sie auf der nächsten Seite Ihre Anwendung. Geben Sie als Name beispielsweise oraToCosmosDB an, und wählen Sie anschließend Save (Speichern) aus.

12. Geben Sie als Nächstes die Quellkonfiguration Ihrer Oracle-Quellinstanz ein. Geben Sie einen Wert für Source Name (Quellname) ein. Der Quellname ist lediglich eine Benennungskonvention für die Striim-Anwendung. Sie können beispielsweise src_onPremOracle verwenden. Geben Sie Werte für die restlichen Quellparameter – URL, Username (Benutzername) und Password (Kennwort) – ein, und wählen Sie LogMiner als Leser für das Lesen von Daten aus Oracle aus. Klicken Sie auf Weiter, um fortzufahren.

    

13. Striim überprüft die Umgebung, um sicherzustellen, dass eine Verbindung mit Ihrer Oracle-Quellinstanz hergestellt werden kann, die erforderlichen Rechte vorhanden sind und CDC ordnungsgemäß konfiguriert ist. Wählen Sie nach Überprüfung der Werte die Option Next (Weiter) aus.

    

14. Wählen Sie die Tabellen aus der Oracle-Datenbank aus, die Sie migrieren möchten. Wählen Sie beispielsweise die Tabelle „Orders“ und anschließend Next (Weiter) aus.

    

15. Nachdem Sie die Quelltabelle ausgewählt haben, können Sie komplexere Vorgänge wie Zuordnen und Filtern ausführen. In diesem Fall erstellen wir einfach ein Replikat Ihrer Quelltabelle in Azure Cosmos DB. Wählen Sie also Next (Weiter) aus, um das Ziel zu konfigurieren.

16. Als Nächstes konfigurieren wir das Ziel:

    • Target Name (Zielname): Geben Sie einen Anzeigenamen für das Ziel an.
    • Input From (Eingabe aus): Wählen Sie in der Dropdownliste aus dem Eingabestream, den Sie in der Oracle-Quellkonfiguration erstellt haben, den Eingabestream aus.
    • Collections (Sammlungen): Geben Sie die Azure Cosmos DB-Zielkonfigurationseigenschaften ein. Die Sammlungssyntax lautet wie folgt: Quellschema.Quelltabelle, Zieldatenbank.Zielcontainer. In diesem Beispiel lautet der Wert „SYSTEM.ORDERS, StriimDemo.Orders“.
    • AccessKey: Der Primärschlüssel Ihres Azure Cosmos DB-Kontos
    • ServiceEndpoint: Der URI Ihres Azure Cosmos DB-Kontos (zu finden im Abschnitt Schlüssel des Azure-Portals)

    Wählen Sie Save (Speichern) und anschließend Next (Weiter) aus.

    

17. Als Nächstes gelangen Sie zum Datenflussdesigner. Dort können Sie vorgefertigte Connectors per Drag & Drop platzieren, um Ihre Streaminganwendungen zu erstellen. Der Flow wird vorerst nicht geändert. Wählen Sie daher die Schaltfläche Deploy App (App bereitstellen) aus, um die Anwendung bereitzustellen.

    

18. Im Bereitstellungsfenster können Sie angeben, ob bestimmte Teile der Anwendung auf bestimmten Komponenten Ihrer Bereitstellungstopologie ausgeführt werden sollen. Da wir hier eine einfache Azure-basierte Bereitstellungstopologie verwenden, behalten wir die Standardoption bei.

    

19. Nach der Bereitstellung können Sie eine Vorschau des Streams anzeigen, um den Datenfluss zu beobachten. Wählen Sie das Wellensymbol und anschließend das daneben angezeigte Augensymbol aus. Wählen Sie auf der oberen Menüleiste die Schaltfläche Deployed (Bereitgestellt) und anschließend Start App (App starten) aus.

    

20. Durch die Verwendung eines Readers vom Typ CDC (Change Data Capture) erfasst Striim nur neue Änderungen für die Datenbank. Daten, die Ihre Quelltabellen durchlaufen, werden angezeigt. Da es sich hierbei allerdings um eine Demotabelle handelt, ist die Quelle nicht mit einer Anwendung verbunden. Wenn Sie einen Beispieldatengenerator verwenden, können Sie eine Kette von Ereignissen in Ihre Oracle-Datenbank einfügen.

21. Daraufhin sehen Sie, wie Daten die Striim-Plattform durchlaufen. Striim erfasst auch alle Metadaten, die Ihrer Tabelle zugeordnet sind. Dies ist hilfreich, um die Daten zu überwachen und sicherzustellen, dass die Daten das richtige Ziel erreichen.

    

22. Melden Sie sich abschließend bei Azure an, und navigieren Sie zu Ihrem Azure Cosmos DB-Konto. Aktualisieren Sie den Daten-Explorer. Daraufhin sehen Sie, dass Ihre Daten eingegangen sind.

    

Durch Verwendung der Striim-Lösung in Azure können Sie Daten fortlaufend aus verschiedenen Quellen zu Azure Cosmos DB migrieren – etwa aus Oracle, Cassandra, MongoDB und aus verschiedenen anderen Quellen. Weitere Informationen finden Sie auf der Striim-Website. Laden Sie eine kostenlose 30-Tage-Testversion von Striim herunter, und stellen Sie im Fall von Problemen bei der Einrichtung des Migrationspfads mit Striim eine Supportanfrage.

Nächste Schritte

• Versuchen Sie, die Kapazitätsplanung für eine Migration zu Azure Cosmos DB durchzuführen?

  • Wenn Sie nur die Anzahl der virtuellen Kerne und Server in Ihrem vorhandenen Datenbankcluster kennen, lesen Sie die Informationen zum Schätzen von Anforderungseinheiten mithilfe von virtuellen Kernen oder virtuellen CPUs
  • Wenn Sie die typischen Anforderungsraten für Ihre aktuelle Datenbankworkload kennen, lesen Sie die Informationen zum Schätzen von Anforderungseinheiten mit dem Azure Cosmos DB-Kapazitätsplaner

• Informationen zum Migrieren von Daten zu Azure Cosmos DB for NoSQL finden Sie unter Migrieren von Daten zum Konto für die API für Cassandra mithilfe von Striim.

• Überwachen und Debuggen mit Metriken in Azure Cosmos DB