Przenoszenie danych archiwum z systemów mainframe na platformę Azure

Azure Data Factory
Azure Storage
Azure Files
Azure Blob Storage
Azure Data Box

Ta architektura referencyjna pokazuje, jak przenieść dane z systemów mainframe i midrange na platformę Azure. W tej architekturze zarchiwizowane dane są obsługiwane i używane tylko w systemie mainframe. Platforma Azure jest używana tylko jako nośnik magazynu.

Architektura

Diagram przedstawiający architekturę archiwizowania danych mainframe na platformie Azure.

Pobierz plik programu Visio z tą architekturą.

Aby zdecydować, która metoda ma być używana do przenoszenia danych między systemem mainframe i usługą Azure Storage, należy wziąć pod uwagę częstotliwość pobierania danych i ilość danych. Dostępne są rozwiązania firmy Microsoft i innych firm:

  • Rozwiązania firmy Microsoft.

    • Łącznik FTP usługi Azure Data Factory.
    • Działanie kopiowania usługi Data Factory, które może kopiować dane do dowolnego rozwiązania usługi Azure Storage.
    • Lista JCL komputera Mainframe do usługi Azure Blob przy użyciu języka Java, niestandardowe rozwiązanie do przenoszenia danych z systemu mainframe na platformę Azure za pomocą języka kontroli zadań (JCL). Aby uzyskać więcej informacji, skontaktuj się z nami pod adresem datasqlninja@microsoft.com.
  • Rozwiązania archiwum innych firm. Rozwiązania, które można łatwo zintegrować z systemami mainframe, systemami midrange i usługami platformy Azure.

Przepływ pracy

  1. Łącznik FTP usługi Azure Data Factory przenosi dane z systemu mainframe do usługi Azure Blob Storage. To rozwiązanie wymaga pośredniej maszyny wirtualnej, na której zainstalowano własne środowisko Integration Runtime.

  2. Działanie kopiowania usługi Data Factory łączy się z bazą danych Db2 w celu skopiowania danych do usługi Azure Storage. To rozwiązanie wymaga również pośredniej maszyny wirtualnej, na której zainstalowano własne środowisko Integration Runtime.

  3. Lista JCL komputera Microsoft Mainframe do usługi Azure Blob korzystająca z niestandardowego rozwiązania Java przenosi dane między systemem mainframe a usługą Blob Storage i odwrotnie. To rozwiązanie jest oparte na języku Java i działa w usługach systemu Unix w komputerze mainframe. To rozwiązanie można uzyskać, kontaktując się z .datasqlninja@microsoft.com

    1. Należy wykonać jednorazową konfigurację rozwiązania. Ta konfiguracja obejmuje pobranie kluczy dostępu do usługi Blob Storage i przeniesienie wymaganych artefaktów do systemu mainframe.

    2. Przesyłanie listy JCL przenosi pliki do i z komputera mainframe i usługi Blob Storage.

    3. Pliki są przechowywane w formacie binarnym na platformie Azure. Niestandardowe rozwiązanie można skonfigurować tak, aby konwertować ebcDIC na ASCII w celu obsługi prostych typów danych.

  4. Opcjonalnie usługa Azure Data Box może pomóc w fizycznym transferze danych mainframe na platformę Azure. Ta opcja jest odpowiednia, gdy trzeba zmigrować dużą ilość danych, a metody transmisji online zbyt długo trwa. (Jeśli na przykład migracja trwa kilka tygodni).

  5. Łatwa interakcja ze środowiskiem mainframe lub midrange jest zapewniana przez rozwiązania archiwum innych firm.

    Te rozwiązania współdziałają z komputerami mainframe i obsługują różne parametry komputera mainframe, takie jak typy danych, typy rekordów, typy magazynów i metody dostępu. Służą one jako most między platformą Azure i komputerem mainframe. Niektóre rozwiązania innych firm łączą dysk magazynu z komputerem mainframe i pomagają przesyłać dane na platformę Azure.

  6. Dane są okresowo synchronizowane i archiwizowane za pośrednictwem rozwiązania archiwum innej firmy. Po udostępnieniu danych za pośrednictwem rozwiązania innej firmy rozwiązanie może łatwo wypchnąć je na platformę Azure przy użyciu dostępnych łączników.

  7. Dane są przechowywane na platformie Azure.

  8. W razie potrzeby dane są przywoływane z platformy Azure z powrotem do systemów mainframe lub midrange.

Składniki

  • Usługa Azure Storage zapewnia wysoce skalowalny, wysoce bezpieczny magazyn w chmurze dla danych, aplikacji i obciążeń. Usługa Azure Files udostępnia proste i bezpieczne bezserwerowe udziały plików w chmurze. Te składniki są używane do synchronizacji i przechowywania danych.
  • Azure Data Factory to hybrydowa usługa integracji danych, której można użyć do tworzenia, planowania i organizowania przepływów pracy ETL i ELT.
  • Azure Data Box to urządzenie fizyczne, którego można użyć do przenoszenia danych lokalnych na platformę Azure.

Alternatywy

Można użyć klasycznej metody przenoszenia danych z komputera mainframe lub systemu midrange za pośrednictwem protokołu FTP. Usługa Data Factory udostępnia łącznik FTP, którego można użyć do archiwizowania danych na platformie Azure.

Szczegóły scenariusza

Systemy mainframe i midrange generują, przetwarzają i przechowują ogromne ilości danych. Gdy te dane się starzeją, zwykle nie są przydatne. Jednak zasady zgodności i przepisów prawnych czasami wymagają przechowywania tych danych przez pewną liczbę lat, więc archiwizowanie ich ma krytyczne znaczenie. Archiwizowanie tych danych pozwala zmniejszyć koszty i zoptymalizować zasoby. Archiwizowanie danych pomaga również w analizie danych i zapewnia historię danych.

Potencjalne przypadki użycia

Archiwizowanie danych w chmurze może pomóc:

  • Zwolnij zasoby magazynu w systemach mainframe i midrange.
  • Zoptymalizuj wydajność zapytań, przechowując tylko odpowiednie dane w aktywnym systemie.
  • Zmniejsz koszty operacyjne, przechowując dane w bardziej ekonomiczny sposób.
  • Użyj zarchiwizowanych danych do analizy, aby tworzyć nowe możliwości i podejmować lepsze decyzje biznesowe.

Zalecenia

W zależności od sposobu używania danych możesz przekonwertować go na ASCII z pliku binarnego, a następnie przekazać je na platformę Azure. Dzięki temu analiza jest łatwiejsza na platformie Azure.

Kwestie wymagające rozważenia

  • Złożone typy danych na komputerze mainframe muszą być obsługiwane podczas archiwizowania.
  • Eksperci z dziedziny aplikacji mogą określić, które dane należy zarchiwizować.
  • Aby określić ilość czasu między synchronizacjami, należy wziąć pod uwagę czynniki takie jak krytyczne dla działania firmy, wymagania dotyczące zgodności i częstotliwość dostępu do danych.

Rozwiązania archiwum innych firm

Niektóre rozwiązania innych firm są dostępne w witrynie Azure Marketplace. Każde z tych rozwiązań wymaga unikatowej konfiguracji. Skonfigurowanie tych rozwiązań jest jednym z głównych zadań implementowania tej architektury.

Magazyn platformy Azure

Platforma Azure oferuje różne opcje dotyczące różnych wymagań technicznych i aplikacji, takich jak częste i rzadkie uzyskiwanie dostępu, oraz dane ustrukturyzowane i nieustrukturyzowane. W usłudze Azure Storage można skonfigurować różne konfiguracje cyklu życia magazynu. Reguły zarządzania cyklem życia można zdefiniować. Aby zapoznać się z omówieniem, zobacz Konfigurowanie zasad zarządzania cyklem życia.

Odwoływanie danych

Przypomnienie zarchiwizowanych danych jest ważnym aspektem rozwiązań archiwalnych. Niewiele rozwiązań innych firm zapewnia bezproblemowe środowisko do przywoływania zarchiwizowanych danych. Jest to tak proste, jak uruchamianie polecenia w środowisku lokalnym. Agent innej firmy automatycznie pobiera dane z platformy Azure i pozyskuje je z powrotem do systemu mainframe.

Optymalizacja kosztów

Skorzystaj z kalkulatora cen platformy Azure, aby oszacować koszt wdrożenia tego rozwiązania.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

Inni współautorzy:

Następne kroki

Aby uzyskać więcej informacji, skontaktuj się z usługą Azure inżynierowie danych ing — modernizacja komputera Mainframe/midrange.

Zobacz następujące zasoby: