Edytuj

Replikowanie i synchronizowanie danych mainframe na platformie Azure

Azure Data Factory
Azure Databricks

Ta architektura referencyjna przedstawia plan implementacji replikowania i synchronizowania danych podczas modernizacji platformy Azure. Omawia on aspekty techniczne, takie jak magazyny danych, narzędzia i usługi.

Architektura

Architecture diagram showing how to sync on-premises and Azure databases during mainframe modernization.

Pobierz plik programu Visio z tą architekturą.

Przepływ pracy

Systemy Mainframe i midrange aktualizują lokalne bazy danych aplikacji w regularnych odstępach czasu. Aby zachować spójność, rozwiązanie synchronizuje najnowsze dane z bazami danych platformy Azure. Proces synchronizacji obejmuje następujące kroki:

  1. Te akcje są wykonywane w całym procesie:

    1. Lokalna brama danych szybko i bezpiecznie przesyła dane między systemami lokalnymi i usługami platformy Azure. Dzięki tej konfiguracji lokalna brama danych może otrzymywać instrukcje od platformy Azure i replikować dane bez bezpośredniego uwidaczniania lokalnych zasobów danych.
    2. Potoki usługi Azure Data Factory organizuje działania obejmujące wyodrębnianie danych po ładowanie danych. Możesz zaplanować działania potoku, uruchomić je ręcznie lub automatycznie je wyzwolić.

  2. Lokalne bazy danych, takie jak Db2 zOS, Db2 for i i Db2, przechowują dane.

  3. Potoki grupuje działania, które wykonują zadania. Aby wyodrębnić dane, usługa Data Factory dynamicznie tworzy jeden potok na tabelę lokalną. Następnie można użyć implementacji masowej równoległej podczas replikowania danych na platformie Azure. Można jednak również skonfigurować rozwiązanie, aby spełniało wymagania:

    • Pełna replikacja: replikujesz całą bazę danych, wprowadzając niezbędne modyfikacje typów danych i pól w docelowej bazie danych platformy Azure.
    • Replikacja częściowa, różnicowa lub przyrostowa: kolumny limitu w tabelach źródłowych są używane do synchronizowania zaktualizowanych wierszy z bazami danych platformy Azure. Te kolumny zawierają stale zwiększany klucz lub sygnaturę czasową wskazującą ostatnią aktualizację tabeli.

    Usługa Data Factory używa również potoków dla następujących zadań przekształcania:

    • Konwersja typu danych
    • Manipulowanie danymi
    • Formatowanie danych
    • Wyprowadzanie kolumn
    • Spłaszczanie danych
    • Sortowanie danych
    • Filtrowanie danych

  4. Własne środowisko Integration Runtime (IR) udostępnia środowisko używane przez usługę Data Factory do uruchamiania i wysyłania działań.

  5. Usługi Azure Data Lake Storage Gen2 i Azure Blob Storage zapewniają miejsce do przemieszczania danych. Ten krok jest czasami wymagany do przekształcania i scalania danych z wielu źródeł.

  6. Przygotowywanie danych odbywa się w następnej kolejności. Usługa Data Factory używa usługi Azure Databricks, niestandardowych działań i przepływów danych potoku w celu szybkiego i efektywnego przekształcania danych.

  7. Usługa Data Factory ładuje dane do relacyjnych i nierelacyjnych baz danych platformy Azure:

    • Azure SQL
    • Azure Database for PostgreSQL
    • Azure Cosmos DB
    • Azure Data Lake Storage
    • Azure Database for MariaDB
    • Azure Database for MySQL

    W niektórych przypadkach użycia inne narzędzia mogą również ładować dane.

  8. Inne narzędzia mogą również replikować i przekształcać dane:

    • Usługa firmy Microsoft dla architektury rozproszonej relacyjnej bazy danych (DRDA): te usługi DRDA mogą łączyć się z rodziną baz danych Azure SQL i aktualizować lokalne bazy danych. Te usługi działają na lokalnej maszynie wirtualnej lub maszynie wirtualnej platformy Azure.
    • Pomoc dotycząca migracji programu SQL Server (SSMA) dla bazy danych Db2: to narzędzie migruje schematy i dane z baz danych IBM Db2 do baz danych platformy Azure.
    • SQL Server Integration Services (SSIS): ta platforma może wyodrębniać, przekształcać i ładować dane.
    • Narzędzia innych firm: jeśli rozwiązanie wymaga replikacji niemal w czasie rzeczywistym, możesz użyć narzędzi innych firm. Niektórzy z tych agentów są dostępni w witrynie Azure Marketplace.

  9. Usługa Azure Synapse Analytics zarządza danymi i udostępnia je dla aplikacji analizy biznesowej i uczenia maszynowego.

Elementy

Rozwiązanie korzysta z następujących składników:

Narzędzia

  • Usługa firmy Microsoft dla drDA jest składnikiem serwera integracji hostów (HIS). Usługa firmy Microsoft dla drDA to serwer aplikacji (AS), którego używają klienci żądający aplikacji DRDA (AR). Przykłady klientów AR DRDA to IBM Db2 for z/OS i Db2 for i5/OS. Ci klienci używają as do konwertowania instrukcji SQL Db2 i uruchamiania ich w programie SQL Server.

  • Program SSMA dla bazy danych Db2 automatyzuje migrację z bazy danych Db2 do usług baz danych firmy Microsoft. Podczas pracy na maszynie wirtualnej to narzędzie konwertuje obiekty bazy danych Db2 na obiekty bazy danych programu SQL Server i tworzy te obiekty w programie SQL Server. Usługa SSMA dla bazy danych Db2 następnie migruje dane z bazy danych Db2 do następujących usług:

    • SQL Server 2012
    • SQL Server 2014
    • SQL Server 2016
    • SQL Server 2017 w systemach Windows i Linux
    • PROGRAM SQL Server 2019 w systemach Windows i Linux
    • Azure SQL Database

  • Azure Synapse Analytics to usługa analityczna dla magazynów danych i systemów danych big data. To narzędzie korzysta z technologii Spark i ma głęboką integrację z usługami Power BI, Azure Machine Edukacja i innymi usługami platformy Azure.

Integratorzy danych

  • Azure Data Factory to hybrydowa usługa integracji danych. Tego w pełni zarządzanego, bezserwerowego rozwiązania można używać do tworzenia, planowania i organizowania przepływów pracy ETL i ELT .

  • Usługa Azure Synapse Analytics to usługa do analizy przedsiębiorstwa, która przyspiesza wgląd w szczegółowe informacje w magazynach danych i systemach danych big data. Usługa Azure Synapse łączy najlepsze technologie SQL (używane w magazynowaniu danych przedsiębiorstwa), technologie Platformy Spark używane na potrzeby danych big data, Eksplorator danych na potrzeby analizy dzienników i szeregów czasowych, Potoki integracji danych i ETL/ELT oraz głęboką integrację z innymi usługami platformy Azure, takimi jak Power BI, Azure Cosmos DB i Azure Machine Edukacja.

  • SQL Server Integration Services (SSIS) to platforma do tworzenia rozwiązań do integracji i przekształcania danych na poziomie przedsiębiorstwa. Za pomocą usług SSIS można zarządzać, replikować, czyścić i wydobywać dane.

  • Azure Databricks to platforma do analizy danych. W oparciu o rozproszony system przetwarzania open source platformy Apache Spark usługa Azure Databricks jest zoptymalizowana pod kątem platformy Azure w chmurze. W przepływie pracy analizy usługa Azure Databricks odczytuje dane z wielu źródeł i używa platformy Spark do udostępniania szczegółowych informacji.

Magazyn danych

  • Usługa Azure SQL Database jest częścią rodziny usługi Azure SQL i jest tworzona dla chmury. Ta usługa oferuje wszystkie zalety w pełni zarządzanej i zawszegreen platformy jako usługi. Usługa SQL Database udostępnia również zautomatyzowane funkcje oparte na sztucznej inteligencji, które optymalizują wydajność i trwałość. Opcje magazynu bezserwerowego i magazynu w warstwie Hiperskala są automatycznie skalowane na żądanie.

  • Usługa SQL Managed Instance jest częścią portfolio usługi Azure SQL. Ta inteligentna, skalowalna usługa bazy danych w chmurze łączy najszerszą zgodność aparatu programu SQL Server ze wszystkimi zaletami w pełni zarządzanej i zawszegreen platformy jako usługi. Usługa SQL Managed Instance umożliwia modernizację istniejących aplikacji na dużą skalę.

  • Program SQL Server na maszynach wirtualnych platformy Azure umożliwia przenoszenie obciążeń programu SQL Server do chmury z 100-procentową zgodnością kodu. W ramach rodziny usługi Azure SQL program SQL Server na maszynach wirtualnych platformy Azure oferuje połączoną wydajność, zabezpieczenia i analizę programu SQL Server z elastycznością i łącznością hybrydową platformy Azure. Za pomocą programu SQL Server na maszynach wirtualnych platformy Azure można migrować istniejące aplikacje lub tworzyć nowe aplikacje. Możesz również uzyskać dostęp do najnowszych aktualizacji i wydań programu SQL Server, w tym programu SQL Server 2019.

  • Azure Database for PostgreSQL to w pełni zarządzana usługa relacyjnej bazy danych oparta na wersji community aparatu bazy danych PostgreSQL typu open source. Dzięki tej usłudze można skupić się na innowacjach aplikacji zamiast na zarządzaniu bazami danych. Możesz również szybko i łatwo skalować obciążenie.

  • Azure Cosmos DB to rozproszona globalnie wielomodelowabaza danych. Dzięki usłudze Azure Cosmos DB rozwiązania mogą elastycznie i niezależnie skalować przepływność i magazyn w dowolnej liczbie regionów geograficznych. Ta w pełni zarządzana usługa bazy danych NoSQL gwarantuje jednocyfrowe opóźnienia milisekund w dziewięćdziesiątym dziewiątym percentylu w dowolnym miejscu na świecie.

  • Data Lake Storage to repozytorium magazynu, które przechowuje dużą ilość danych w natywnym, nieprzetworzonym formacie. Magazyny data lake są zoptymalizowane pod kątem skalowania do terabajtów i petabajtów danych. Dane zazwyczaj pochodzą z wielu heterogenicznych źródeł i mogą być ustrukturyzowane, częściowo ustrukturyzowane lub nieustrukturyzowane. Usługa Data Lake Storage Gen2 łączy możliwości usługi Data Lake Storage Gen1 z usługą Blob Storage. To rozwiązanie data lake nowej generacji zapewnia semantyka systemu plików, zabezpieczenia na poziomie plików i skalowanie. Oferuje również magazyn warstwowy, wysoką dostępność i możliwości odzyskiwania po awarii usługi Blob Storage.

  • Azure Database for MariaDB to oparta na chmurze usługa relacyjnej bazy danych. Ta usługa jest oparta na aparacie bazy danych MariaDB Community Edition.

  • Azure Database for MySQL to w pełni zarządzana usługa relacyjnej bazy danych oparta na wersji community aparatu bazy danych MySQL typu open source.

  • Usługa Blob Storage zapewnia zoptymalizowany magazyn obiektów w chmurze, który zarządza ogromnymi ilościami danych bez struktury.

Sieć

Szczegóły scenariusza

Dostępność i integralność danych odgrywają ważną rolę w modernizacji komputera mainframe i średniej. Strategie oparte na danych pomagają zachować nienaruszone i dostępne dane podczas migracji na platformę Azure. Aby uniknąć wpływu na aplikacje podczas modernizacji, czasami trzeba szybko replikować dane lub przechowywać lokalne dane w synchronizacji z bazami danych platformy Azure.

W szczególności to rozwiązanie obejmuje:

  • Wyodrębnianie: Połączenie do i wyodrębnianie z źródłowej bazy danych.
  • Transformacji:
    • Przemieszczanie: tymczasowo przechowując dane w oryginalnym formacie i przygotowując je do przekształcenia.
    • Przygotowanie: przekształcanie i manipulowanie danymi przy użyciu reguł mapowania spełniających docelowe wymagania bazy danych.
  • Ładowanie: wstawianie danych do docelowej bazy danych.

Potencjalne przypadki użycia

Scenariusze replikacji i synchronizacji danych, które mogą korzystać z tego rozwiązania, obejmują:

  • Architektury podziału odpowiedzialności zapytań poleceń (CQRS), które używają platformy Azure do obsługi wszystkich kanałów zapytań.
  • Środowiska testujące aplikacje lokalne i ponownie hostowane lub ponownie zaprojektowane aplikacje równolegle.
  • Systemy lokalne z ściśle powiązanymi aplikacjami, które wymagają etapowego korygowania lub modernizacji.

Zalecenia

W przypadku wyodrębniania danych przy użyciu usługi Data Factory wykonaj kroki w celu dostosowania wydajności działania kopiowania.

Kwestie wymagające rozważenia

Te zagadnienia implementują filary struktury Azure Well-Architected Framework, która jest zestawem wytycznych, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.

Należy pamiętać o tych kwestiach podczas rozważania tej architektury.

Niezawodność

Niezawodność zapewnia, że aplikacja może spełnić zobowiązania podjęte przez klientów. Aby uzyskać więcej informacji, zobacz Omówienie filaru niezawodności.

  • Zarządzanie infrastrukturą, w tym dostępność, jest zautomatyzowane w bazach danych platformy Azure.

  • Zobacz Buforowanie i tryb failover , aby uzyskać informacje na temat ochrony trybu failover zapewnianą przez usługę firmy Microsoft na potrzeby odzyskiwania po awarii.

  • Możesz klasterować lokalną bramę danych i środowisko IR w celu zapewnienia gwarancji dostępności.

Zabezpieczenia

Zabezpieczenia zapewniają ochronę przed celowymi atakami i nadużyciami cennych danych i systemów. Aby uzyskać więcej informacji, zobacz Omówienie filaru zabezpieczeń.

  • Używaj sieciowych grup zabezpieczeń, aby ograniczyć dostęp do usług tylko do tego, czego potrzebują do działania.

  • Używaj prywatnych punktów końcowych dla usług PaaS (platforma jako usługa). Zapory usług umożliwiają uzupełnienie zabezpieczeń usług, które są dostępne i nieosiągalne za pośrednictwem Internetu.

  • Należy pamiętać o różnicach między tożsamościami klientów lokalnych i tożsamościami klientów na platformie Azure. Należy zrekompensować wszelkie różnice.

  • Użyj tożsamości zarządzanych dla przepływów danych składnik-składnik.

  • Zobacz Planowanie i projektowanie rozwiązań korzystających z usługi firmy Microsoft dla drDA , aby dowiedzieć się więcej o typach połączeń klienckich, które obsługuje usługa firmy Microsoft dla usługi DRDA. Połączenia klienckie mają wpływ na charakter transakcji, buforowania, trybu failover, uwierzytelniania i szyfrowania w sieci.

Optymalizacja kosztów

Optymalizacja kosztów dotyczy sposobów zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Omówienie filaru optymalizacji kosztów.

  • Modele cenowe różnią się między usługami składników. Przejrzyj modele cenowe dostępnych usług składników, aby upewnić się, że modele cenowe pasują do budżetu.

  • Skorzystaj z kalkulatora cen platformy Azure, aby oszacować koszt wdrożenia tego rozwiązania.

Doskonałość operacyjna

Doskonałość operacyjna obejmuje procesy operacyjne, które wdrażają aplikację i działają w środowisku produkcyjnym. Aby uzyskać więcej informacji, zobacz Omówienie filaru doskonałości operacyjnej.

  • Zarządzanie infrastrukturą, w tym skalowalność, jest zautomatyzowane w bazach danych platformy Azure.

  • Własne środowisko IR można skalować w poziomie, kojarząc wystąpienie logiczne z wieloma maszynami lokalnymi w trybie aktywny-aktywny.

  • Możesz klasterować lokalną bramę danych i środowisko IR w celu zapewnienia skalowalności.

Efektywność wydajności

Efektywność wydajności to możliwość skalowania obciążenia w celu zaspokojenia zapotrzebowania użytkowników w wydajny sposób. Aby uzyskać więcej informacji, zobacz Omówienie filaru wydajności.

Następne kroki