Migrowanie danych do usługi Azure Cosmos DB dla konta apache Cassandra przy użyciu rozwiązania Striim

DOTYCZY: Kasandra

Obraz Striim w witrynie Azure Marketplace oferuje ciągłe przenoszenie danych w czasie rzeczywistym z magazynów danych i baz danych na platformę Azure. Podczas przenoszenia danych można wykonywać denormalizację liniową, transformację danych, włączyć analizę w czasie rzeczywistym i scenariusze raportowania danych. Możesz łatwo rozpocząć pracę z rozwiązaniem Striim, aby stale przenosić dane przedsiębiorstwa do usługi Azure Cosmos DB dla usługi Apache Cassandra. Platforma Azure oferuje ofertę platformy handlowej, która ułatwia wdrażanie rozwiązania Striim i migrowanie danych do usługi Azure Cosmos DB.

W tym artykule pokazano, jak używać rozwiązania Striim do migrowania danych z bazy danych Oracle do konta usługi Azure Cosmos DB dla bazy danych Apache Cassandra.

Wymagania wstępne

• Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto.

• Baza danych Oracle działająca lokalnie z niektórymi danymi.

Wdrażanie rozwiązania striim marketplace

1. Zaloguj się w witrynie Azure Portal.

2. Wybierz pozycję Utwórz zasób i wyszukaj ciąg Striim w witrynie Azure Marketplace. Wybierz pierwszą opcję i utwórz.

   

3. Następnie wprowadź właściwości konfiguracji wystąpienia Striim. Środowisko Striim jest wdrażane na maszynie wirtualnej. W okienku Podstawowe wprowadź nazwę użytkownika maszyny wirtualnej, hasło maszyny wirtualnej (to hasło jest używane do SSH na maszynie wirtualnej). Wybierz szczegóły subskrypcji, grupy zasobów i lokalizacji, w których chcesz wdrożyć rozwiązanie Striim. Po zakończeniu wybierz przycisk OK.

   

4. W okienku Ustawienia klastra Striim wybierz typ wdrożenia Striim i rozmiar maszyny wirtualnej.

   Ustawienie	Wartość	Opis
   Typ wdrożenia Striim	Autonomiczne	Rozwiązanie Striim może być uruchamiane w typach wdrożenia autonomicznego lub klastra. Tryb autonomiczny wdroży serwer Striim na jednej maszynie wirtualnej i można wybrać rozmiar maszyn wirtualnych w zależności od woluminu danych. Tryb klastra wdroży serwer Striim na co najmniej dwóch maszynach wirtualnych z wybranym rozmiarem. Środowiska klastra z ponad 2 węzłami oferują automatyczną wysoką dostępność i tryb failover. W tym samouczku możesz wybrać opcję Autonomiczna. Użyj domyślnej maszyny wirtualnej o rozmiarze "Standard_F4s".
   Nazwa klastra Striim	<Striim_cluster_Name>	Nazwa klastra Striim.
   Hasło klastra Striim	<Striim_cluster_password>	Hasło dla klastra.

   Po wypełnieniu formularza wybierz przycisk OK , aby kontynuować.

5. W okienku Ustawienia dostępu Striim skonfiguruj publiczny adres IP (wybierz wartości domyślne), nazwę domeny striim, hasło administratora, którego chcesz użyć do logowania się do interfejsu użytkownika Striim. Skonfiguruj sieć wirtualną i podsieć (wybierz wartości domyślne). Po wypełnieniu szczegółów wybierz przycisk OK , aby kontynuować.

   

6. Platforma Azure zweryfikuje wdrożenie i upewni się, że wszystko wygląda dobrze; Ukończenie walidacji trwa kilka minut. Po zakończeniu walidacji wybierz przycisk OK.

7. Na koniec przejrzyj warunki użytkowania i wybierz pozycję Utwórz , aby utworzyć wystąpienie usługi Striim.

Konfigurowanie źródłowej bazy danych

W tej sekcji skonfigurujesz bazę danych Oracle jako źródło przenoszenia danych. Serwer Striim jest dostarczany ze sterownikiem Oracle JDBC używanym do nawiązywania połączenia z bazą danych Oracle. Aby odczytać zmiany ze źródłowej bazy danych Oracle, możesz użyć interfejsów API LogMiner lub XStream. Sterownik Oracle JDBC jest obecny w ścieżce klasy Java striim do odczytu, zapisu lub utrwalania danych z bazy danych Oracle.

Konfigurowanie docelowej bazy danych

W tej sekcji skonfigurujesz konto usługi Azure Cosmos DB dla bazy danych Apache Cassandra jako cel przenoszenia danych.

1. Utwórz konto usługi Azure Cosmos DB dla bazy danych Apache Cassandra przy użyciu witryny Azure Portal.

2. Przejdź do okienka Eksplorator danych na koncie usługi Azure Cosmos DB. Wybierz pozycję Nowa tabela , aby utworzyć nowy kontener. Załóżmy, że migrujesz produkty i zamówienia danych z bazy danych Oracle do usługi Azure Cosmos DB. Utwórz nową przestrzeń kluczy o nazwie StriimDemo z kontenerem Orders. Aprowizacja kontenera przy użyciu 1000 jednostek RU (w tym przykładzie użyto 1000 jednostek RU, ale należy użyć przepływności szacowanej dla obciążenia) i /ORDER_ID jako klucza podstawowego. Te wartości będą się różnić w zależności od danych źródłowych.

   

Konfigurowanie przepływu danych oracle do usługi Azure Cosmos DB

1. Przejdź do wystąpienia narzędzia Striim wdrożonego w witrynie Azure Portal. Wybierz przycisk Połącz na górnym pasku menu i na karcie SSH skopiuj adres URL w polu Logowanie przy użyciu konta lokalnego maszyny wirtualnej.

   

2. Otwórz nowe okno terminalu i uruchom polecenie SSH skopiowane z witryny Azure Portal. W tym artykule używany jest terminal w systemie macOS. Podobne instrukcje można wykonać przy użyciu klienta SSH na maszynie z systemem Windows. Po wyświetleniu monitu wpisz tak , aby kontynuować, a następnie wprowadź hasło ustawione dla maszyny wirtualnej w poprzednim kroku.

   

3. W tym samym oknie terminalu uruchom ponownie serwer Striim, wykonując następujące polecenia:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. Uruchomienie striim potrwa minutę. Jeśli chcesz zobaczyć stan, uruchom następujące polecenie:

   tail -f /opt/striim/logs/striim-node.log
   

5. Teraz wróć do platformy Azure i skopiuj publiczny adres IP maszyny wirtualnej Striim.

   

6. Aby przejść do internetowego interfejsu użytkownika aplikacji Striim, otwórz nową kartę w przeglądarce i skopiuj publiczny adres IP, a następnie: 9080. Zaloguj się przy użyciu nazwy użytkownika administratora wraz z hasłem administratora określonym w witrynie Azure Portal.

   

7. Teraz pojawisz się na stronie głównej Striim. Istnieją trzy różne okienka — Pulpity nawigacyjne, Aplikacje i ŹródłoPrzegląd. Okienko Pulpity nawigacyjne umożliwia przenoszenie danych w czasie rzeczywistym i wizualizowanie ich. Okienko Aplikacje zawiera potoki danych przesyłania strumieniowego lub przepływy danych. Po prawej stronie znajduje się element SourcePreview, w którym można wyświetlić podgląd danych przed przeniesieniem.

8. Wybierz okienko Aplikacje. Na razie skoncentrujemy się na tym okienku. Istnieje wiele przykładowych aplikacji, których można użyć do zapoznania się z artykułem Striim, jednak w tym artykule utworzysz własne. Wybierz przycisk Dodaj aplikację w prawym górnym rogu.

   

9. Istnieje kilka różnych sposobów tworzenia aplikacji Striim. W tym scenariuszu wybierz pozycję Rozpocznij od podstaw .

   

10. Nadaj przyjazną nazwę aplikacji, na przykład oraToCosmosDB i wybierz pozycję Zapisz.

    

11. Dotrzesz do projektanta usługi Flow, w którym możesz przeciągać i upuszczać łączniki skrzynki, aby utworzyć aplikacje przesyłania strumieniowego. Wpisz Oracle na pasku wyszukiwania, przeciągnij i upuść źródło Oracle CDC na kanwę aplikacji.

    

12. Wprowadź właściwości konfiguracji źródłowej wystąpienia Oracle. Nazwa źródłowa jest tylko konwencją nazewnictwa dla aplikacji Striim. Można użyć nazwy, takiej jak src_onPremOracle. Wprowadź również inne szczegóły, takie jak Typ karty, adres URL połączenia, nazwa użytkownika, hasło, nazwa tabeli. Wybierz pozycję Zapisz , aby kontynuować.

    

13. Teraz kliknij ikonę fali strumienia, aby połączyć docelowe wystąpienie usługi Azure Cosmos DB.

    

14. Przed skonfigurowaniem obiektu docelowego upewnij się, że dodano certyfikat główny Baltimore do środowiska Java Striim.

15. Wprowadź właściwości konfiguracji docelowego wystąpienia usługi Azure Cosmos DB i wybierz pozycję Zapisz , aby kontynuować. Poniżej przedstawiono kluczowe parametry, które należy zwrócić uwagę:

    • Adapter — użyj narzędzia DatabaseWriter. Podczas zapisywania w usłudze Azure Cosmos DB dla bazy danych Apache Cassandra wymagana jest funkcja DatabaseWriter. Sterownik Cassandra 3.6.0 jest dołączony do rozwiązania Striim. Jeśli funkcja DatabaseWriter przekroczy liczbę jednostek RU aprowizowania w kontenerze usługi Azure Cosmos DB, aplikacja ulegnie awarii.

    • Adres URL połączenia — określ adres URL połączenia JDBC usługi Azure Cosmos DB. Adres URL jest w formacie jdbc:cassandra://<contactpoint>:10350/<databaseName>?SSL=true

    • Nazwa użytkownika — określ nazwę konta usługi Azure Cosmos DB.

    • Hasło — określ klucz podstawowy konta usługi Azure Cosmos DB.

    • Tabele — tabele docelowe muszą mieć klucze podstawowe i nie można zaktualizować kluczy podstawowych.

    

    

16. Teraz uruchomimy aplikację Striim. Na górnym pasku menu wybierz pozycję Utworzono, a następnie pozycję Wdróż aplikację. W oknie wdrażania możesz określić, czy chcesz uruchomić niektóre części aplikacji w określonych częściach topologii wdrożenia. Ponieważ działamy w prostej topologii wdrażania za pośrednictwem platformy Azure, użyjemy opcji domyślnej.

    

17. Teraz przejdziemy do przodu i wyświetlimy podgląd strumienia, aby zobaczyć dane przepływające przez striim. Kliknij ikonę fali i kliknij ikonę oka obok niej. Po wdrożeniu możesz wyświetlić podgląd strumienia, aby zobaczyć przepływ danych. Wybierz ikonę fali i obok niej gałkę oczną . Wybierz przycisk Deployed (Wdrożone) na górnym pasku menu, a następnie wybierz pozycję Start App (Uruchom aplikację).

    

18. Za pomocą czytnika CDC(Change Data Capture) funkcja Striim pobierze tylko nowe zmiany w bazie danych. Jeśli masz dane przepływające przez tabele źródłowe, zobaczysz je. Jednak ponieważ jest to przykładowa tabela, źródło, które nie jest połączone z żadną aplikacją. Jeśli używasz przykładowego generatora danych, możesz wstawić łańcuch zdarzeń do bazy danych Oracle.

19. Zobaczysz dane przepływające przez platformę Striim. Funkcja Striim pobiera również wszystkie metadane skojarzone z tabelą, co jest przydatne do monitorowania danych i upewnienia się, że dane ląduje w odpowiednim miejscu docelowym.

    

20. Na koniec zalogujmy się do platformy Azure i przejdźmy do konta usługi Azure Cosmos DB. Odśwież Eksplorator danych i zobaczysz, że dane dotarły.

Korzystając z rozwiązania Striim na platformie Azure, można stale migrować dane do usługi Azure Cosmos DB z różnych źródeł, takich jak Oracle, Cassandra, MongoDB i różne inne do usługi Azure Cosmos DB. Aby dowiedzieć się więcej, odwiedź witrynę internetową Striim, pobierz bezpłatną 30-dniową wersję próbną rozwiązania Striim i wszelkie problemy podczas konfigurowania ścieżki migracji za pomocą narzędzia Striim, prześlij wniosek o pomoc techniczną.

Następne kroki

• Jeśli migrujesz dane do usługi Azure Cosmso DB for NoSQL, zobacz , jak migrować dane do interfejsu API dla konta Cassandra przy użyciu narzędzia Striim

• Monitorowanie i debugowanie danych za pomocą metryk usługi Azure Cosmos DB