Przenoszenie danych archiwum z systemów mainframe na platformę Azure

Azure Data Factory
Azure Storage
Azure Files
Azure Blob Storage
Azure Data Box

Ta architektura referencyjna pokazuje sposób przenoszenia danych z systemów mainframe i midrange na platformę Azure. W tej architekturze zarchiwizowane dane są obsługiwane i używane tylko w systemie mainframe. Platforma Azure jest używana tylko jako nośnik magazynu.

Architektura

Diagram przedstawiający architekturę archiwizowania danych mainframe na platformie Azure.

Pobierz plik programu Visio z tą architekturą.

Aby zdecydować, która metoda ma być używana do przenoszenia danych między systemem mainframe i usługą Azure Storage, rozważ częstotliwość pobierania danych i ilość danych. Dostępne są rozwiązania firmy Microsoft i innych firm:

  • Rozwiązania firmy Microsoft.
    • Łącznik Azure Data Factory FTP.
    • Działanie kopiowania usługi Data Factory, które może kopiować dane do dowolnego rozwiązania usługi Azure Storage.
    • Lista JCL komputera Mainframe do usługi Azure Blob przy użyciu języka Java— niestandardowe rozwiązanie do przenoszenia danych z systemu mainframe na platformę Azure za pomocą języka kontroli zadań (JCL). Aby uzyskać więcej informacji, skontaktuj się z nami pod adresem datasqlninja@microsoft.com.
  • Rozwiązania archiwum innych firm. Rozwiązania, które można łatwo zintegrować z systemami mainframe, systemami midrange i usługami platformy Azure.

Przepływ pracy

  1. Łącznik Azure Data Factory FTP przenosi dane z systemu mainframe do Azure Blob Storage. To rozwiązanie wymaga pośredniej maszyny wirtualnej, na której zainstalowano własne środowisko Integration Runtime.

  2. Działanie kopiowania usługi Data Factory łączy się z bazą danych Db2 w celu skopiowania danych do usługi Azure Storage. To rozwiązanie wymaga również pośredniej maszyny wirtualnej, na której zainstalowano własne środowisko Integration Runtime.

  3. Lista JCL programu Microsoft Mainframe do usługi Azure Blob przy użyciu niestandardowego rozwiązania Java przenosi dane między systemem mainframe a usługą Blob Storage i odwrotnie. To rozwiązanie jest oparte na języku Java i działa w usługach systemu Unix na komputerze mainframe. To rozwiązanie można uzyskać, kontaktując datasqlninja@microsoft.comsię z adresem .

    a. Należy wykonać jednorazową konfigurację rozwiązania. Ta konfiguracja obejmuje pobranie kluczy dostępu do usługi Blob Storage i przeniesienie wymaganych artefaktów do systemu mainframe.

    b. Przesyłanie listy JCL przenosi pliki do i z mainframe i usługi Blob Storage.

    c. Pliki są przechowywane w formacie binarnym na platformie Azure. Możesz skonfigurować rozwiązanie niestandardowe, aby przekonwertować wskaźnik EBCDIC na ASCII pod kątem prostych typów danych.

  4. Opcjonalnie usługa Azure Data Box może pomóc fizycznie przenieść dane mainframe na platformę Azure. Ta opcja jest odpowiednia, gdy należy zmigrować dużą ilość danych, a metody transmisji online trwa zbyt długo. (Jeśli na przykład migracja trwa kilka tygodni).

  5. Łatwa interakcja ze środowiskiem mainframe lub midrange jest dostarczana przez rozwiązania archiwum innych firm.

    Te rozwiązania współdziałają z elementem mainframe i obsługują różne parametry ramki mainframe, takie jak typy danych, typy rekordów, typy magazynów i metody dostępu. Służą one jako most między platformą Azure a elementem mainframe. Niektóre rozwiązania innych firm łączą dysk magazynu z komputerem mainframe i pomagają przesyłać dane na platformę Azure.

  6. Dane są okresowo synchronizowane i archiwizowane za pośrednictwem rozwiązania archiwum innej firmy. Po udostępnieniu danych za pośrednictwem rozwiązania innej firmy rozwiązanie może łatwo wypchnąć je na platformę Azure przy użyciu dostępnych łączników.

  7. Dane są przechowywane na platformie Azure.

  8. W razie potrzeby dane są odwoływane z platformy Azure z powrotem do systemów mainframe lub midrange.

Składniki

  • Usługa Azure Storage zapewnia wysoce skalowalny, wysoce bezpieczny magazyn w chmurze dla danych, aplikacji i obciążeń. Azure Files zapewnia proste i bezpieczne bezserwerowe udziały plików w chmurze. Te składniki są używane do synchronizacji i przechowywania danych.
  • Azure Data Factory to hybrydowa usługa integracji danych, której można użyć do tworzenia, planowania i organizowania przepływów pracy ETL i ELT.
  • Azure Data Box to urządzenie fizyczne, którego można użyć do przenoszenia danych lokalnych na platformę Azure.

Alternatywy

Można użyć klasycznej metody przenoszenia danych z komputera mainframe lub systemu midrange za pośrednictwem protokołu FTP. Usługa Data Factory udostępnia łącznik FTP , którego można użyć do archiwizowania danych na platformie Azure.

Szczegóły scenariusza

Systemy mainframe i midrange generują, przetwarzają i przechowują ogromne ilości danych. Gdy te dane się starzeją, zwykle nie są przydatne. Jednak zasady zgodności i przepisów czasami wymagają przechowywania tych danych przez określoną liczbę lat, więc archiwizowanie ich ma kluczowe znaczenie. Archiwizowanie tych danych pozwala zmniejszyć koszty i zoptymalizować zasoby. Archiwizowanie danych pomaga również w analizie danych i zapewnia historię danych.

Potencjalne przypadki użycia

Archiwizowanie danych w chmurze może pomóc:

  • Zwolnij zasoby magazynu w systemach mainframe i midrange.
  • Optymalizowanie wydajności zapytań przez przechowywanie tylko odpowiednich danych w aktywnym systemie.
  • Zmniejsz koszty operacyjne, przechowując dane w bardziej ekonomiczny sposób.
  • Użyj zarchiwizowanych danych do analizy, aby tworzyć nowe możliwości i podejmować lepsze decyzje biznesowe.

Zalecenia

W zależności od sposobu używania danych możesz przekonwertować go na ASCII z pliku binarnego, a następnie przekazać je na platformę Azure. Dzięki temu analiza jest łatwiejsza na platformie Azure.

Zagadnienia do rozważenia

  • Złożone typy danych na komputerze mainframe muszą być obsługiwane podczas archiwizowania.
  • Eksperci ds. zagadnień aplikacji mogą zidentyfikować, które dane należy zarchiwizować.
  • Aby określić czas między synchronizacjami, należy wziąć pod uwagę czynniki, takie jak krytyczność biznesowa, potrzeby zgodności i częstotliwość dostępu do danych.

Rozwiązania archiwum innych firm

Niektóre rozwiązania innych firm są dostępne w Azure Marketplace. Każde z tych rozwiązań wymaga unikatowej konfiguracji. Konfigurowanie tych rozwiązań jest jednym z podstawowych zadań implementowania tej architektury.

Azure Storage

Platforma Azure oferuje różne opcje dla różnych wymagań aplikacji i wymagań technicznych, takich jak częste i rzadko używane, oraz ustrukturyzowane i nieustrukturyzowane dane. W usłudze Azure Storage można skonfigurować różne konfiguracje cyklu życia magazynu. Możesz zdefiniować reguły do zarządzania cyklem życia. Aby zapoznać się z omówieniem, zobacz Konfigurowanie zasad zarządzania cyklem życia.

Wycofanie danych

Wycofanie zarchiwizowanych danych jest ważnym aspektem rozwiązań archiwalnych. Niewiele rozwiązań innych firm zapewnia bezproblemowe środowisko do przywoływania zarchiwizowanych danych. Jest to tak proste, jak uruchamianie polecenia lokalnego. Agent innej firmy automatycznie pobiera dane z platformy Azure i pobiera je z powrotem do systemu mainframe.

Optymalizacja kosztów

Użyj kalkulatora cen platformy Azure, aby oszacować koszt implementacji tego rozwiązania.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

Inni współautorzy:

Następne kroki

Aby uzyskać więcej informacji, skontaktuj się z usługą Azure Inżynieria danych — Mainframe/Midrange Modernization.

Zobacz następujące zasoby: