Pomysły dotyczące rozwiązań
Ten artykuł jest pomysłem na rozwiązanie. Jeśli chcesz, abyśmy rozszerzyli zawartość o więcej informacji, takich jak potencjalne przypadki użycia, alternatywne usługi, zagadnienia dotyczące implementacji lub wskazówki dotyczące cen, daj nam znać, przekazując opinię w usłudze GitHub.
W przypadku migrowania lokalnej aplikacji mainframe lub średniej do platformy Azure przesyłanie danych jest podstawowym zagadnieniem. Kilka scenariuszy modernizacji wymaga szybkiego replikowania plików na platformę Azure lub utrzymania synchronizacji między plikami lokalnymi i usługą Azure Files.
W tym artykule opisano kilka procesów przesyłania plików na platformę Azure, konwertowania i przekształcania danych plików oraz przechowywania danych lokalnych i na platformie Azure.
Architektura
Na poniższym diagramie przedstawiono niektóre opcje replikowania i synchronizowania plików lokalnych z platformą Azure:
Pobierz plik programu Visio z tą architekturą.
Przepływ danych
Transfer plików na platformę Azure:
Najprostszym sposobem transferu plików lokalnych lub na platformę Azure jest użycie protokołu FTP (File Transfer Protocol). Serwer FTP można hostować na maszynie wirtualnej platformy Azure. Prosty język kontroli zadań FTP (JCL) wysyła pliki na platformę Azure w formacie binarnym, co jest niezbędne do zachowania typów danych mainframe i średniej i binarnej. Pliki przesyłane można przechowywać na dyskach lokalnych, w magazynie plików maszyn wirtualnych platformy Azure lub w usłudze Azure Blob Storage.
Możesz również przekazać pliki lokalne do usługi Blob Storage przy użyciu narzędzi takich jak AzCopy.
Łącznik FTP/SFTP usługi Azure Data Factory może również służyć do transferu danych z systemu mainframe do usługi Blob Storage. Ta metoda wymaga pośredniej maszyny wirtualnej, na której zainstalowano własne środowisko Integration Runtime (SHIR).
Narzędzia innych firm można również znaleźć w witrynie Azure Marketplace , aby przenieść pliki z komputerów mainframe na platformę Azure.
Organizowanie, konwertowanie i przekształcanie danych:
Platforma Azure nie może odczytać plików stron strony kodowanej dziesiętniej kodowej (EBCDIC) systemu IBM Extended Binary Code (EBCDIC) na dyskach maszyn wirtualnych platformy Azure ani w usłudze Blob Storage. Aby pliki były zgodne z platformą Azure, host Integration Server (HIS) konwertuje je z EBCDIC na amerykański standardowy kod wymiany informacji (ASCII).
Elementy copybook definiują strukturę danych plików języków COBOL, PL/I i zestawów. HIS konwertuje te pliki na ASCII na podstawie układów podręcznika.
Przed przesłaniem danych do magazynów danych platformy Azure może być konieczne przekształcenie danych lub użycie ich do analizy. Usługa Data Factory może zarządzać tymi działaniami wyodrębniania i przekształcania obciążenia (ETL) oraz wyodrębniać i przekształcać obciążenia (ELT) oraz przechowywać dane bezpośrednio w usłudze Azure Data Lake Storage.
W przypadku integracji danych big data usługi Azure Databricks i Azure Synapse Analytics mogą szybko i skutecznie wykonywać wszystkie działania przekształcania przy użyciu aparatu Apache Spark do wykonywania obliczeń w pamięci.
Przechowywanie danych:
Transferowane dane można przechowywać w jednym z kilku dostępnych trwałych trybów magazynowania platformy Azure, w zależności od wymagań.
Jeśli nie ma potrzeby analizy, usługa Azure Data Factory może przechowywać dane bezpośrednio w wielu opcjach magazynowania, takich jak Data Lake Storage i Blob Storage.
Platforma Azure hostuje różne bazy danych, które odpowiadają różnym potrzebom:
- Relacyjne bazy danych obejmują rodzinę programu SQL Server i bazy danych typu open source, takie jak PostgreSQL i MySQL.
- Nierelacyjne bazy danych obejmują usługę Azure Cosmos DB, szybką, wielomodelową, globalnie rozproszoną bazę danych NoSQL.
Przejrzyj analizę i analizę biznesową:
Microsoft Fabric to rozwiązanie analityczne typu all-in-one, którego organizacja może używać do badania przenoszenia danych, eksperymentowania z naukami o danych oraz przeglądania analiz w czasie rzeczywistym i analizy biznesowej. Oferuje ona kompleksowy zestaw funkcji, w tym usługę data lake, inżynierię danych i integrację danych.
Składniki
Różne scenariusze transferu, integracji i magazynu plików używają różnych składników. Zobacz kalkulator cen platformy Azure, aby oszacować koszty zasobów platformy Azure.
Sieć
Lokalna brama danych to oprogramowanie mostka, które łączy dane lokalne z usługami w chmurze. Bramę można zainstalować na dedykowanej lokalnej maszynie wirtualnej.
Integracja i przekształcanie danych
Dostawca danych dla plików hosta jest składnikiem HIS, który konwertuje pliki strony kodowej EBCDIC na ASCII. Dostawca może odczytywać i zapisywać rekordy w trybie offline w lokalnym pliku binarnym lub użyć architektury sieci systemów (SNA) lub protokołu TCP/IP (Transmission Control Protocol/Internet Protocol) do odczytu i zapisu rekordów w zdalnych zestawach danych mainframe IBM z/OS lub plikach fizycznych i5/OS. Łączniki HIS są dostępne dla usług BizTalk i Azure Logic Apps.
Azure Data Factory to hybrydowa usługa integracji danych, której można użyć do tworzenia, planowania i organizowania przepływów pracy ETL i ELT.
Azure Databricks to platforma analizy oparta na platformie Apache Spark zoptymalizowana pod kątem platformy Azure. Za pomocą usługi Databricks można skorelować dane przychodzące i wzbogacić je o inne dane przechowywane w usłudze Databricks.
Usługa Azure Synapse Analytics to szybki i elastyczny magazyn danych w chmurze z architekturą masowego przetwarzania równoległego (MPP), której można użyć do elastycznego i niezależnego skalowania, obliczeń i przechowywania danych.
Bazy danych
Azure SQL Database to skalowalna usługa relacyjnej bazy danych w chmurze. Usługa Azure SQL Database jest zawsze zielona i zawsze aktualna dzięki funkcjom opartym na sztucznej inteligencji i zautomatyzowanym, które optymalizują wydajność i trwałość. Opcje magazynu bezserwerowego i magazynu w hiperskala są automatycznie skalowane na żądanie. Dzięki Korzyść użycia hybrydowego platformy Azure możesz korzystać z istniejących lokalnych licencji programu SQL Server w chmurze bez dodatkowych kosztów.
Usługa Azure SQL Managed Instance łączy najszerszą zgodność aparatu bazy danych programu SQL Server ze wszystkimi zaletami w pełni zarządzanej i zawszegreen platformy jako usługi (PaaS). Usługa SQL Managed Instance umożliwia modernizację istniejących aplikacji na dużą skalę za pomocą znanych narzędzi, umiejętności i zasobów.
Program SQL Server w usłudze Azure Virtual Machines podnosi i przenosi obciążenia programu SQL Server do chmury, aby połączyć elastyczność i łączność hybrydową platformy Azure z wydajnością, zabezpieczeniami i analizą programu SQL Server. Możesz uzyskać dostęp do najnowszych aktualizacji i wydań programu SQL Server ze zgodnością kodu w 100%.
Azure Database for PostgreSQL to w pełni zarządzana usługa relacyjnej bazy danych oparta na wersji community aparatu bazy danych PostgreSQL typu open source.
Azure Database for MySQL to w pełni zarządzana usługa relacyjnej bazy danych oparta na wersji community aparatu bazy danych MySQL typu open source.
Azure Cosmos DB to w pełni zarządzana, wielomodelowa usługa bazy danych NoSQL służąca do tworzenia i modernizacji skalowalnych aplikacji o wysokiej wydajności. Usługa Azure Cosmos DB skaluje przepływność i magazyn elastycznie i niezależnie między regionami geograficznymi i gwarantuje opóźnienia jednocyfrowe milisekund przy 99. dostępności percentylu w dowolnym miejscu na świecie.
Inne magazyny danych
Usługa Blob Storage przechowuje duże ilości danych bez struktury, takich jak dane tekstowe lub binarne, do których można uzyskać dostęp z dowolnego miejsca za pośrednictwem protokołu HTTP lub HTTPS. Za pomocą usługi Blob Storage można uwidaczniać dane publicznie lub prywatnie przechowywać dane aplikacji.
Data Lake Storage to repozytorium magazynu, które przechowuje dużą ilość danych w formacie natywnym, nieprzetworzonym. Usługa Data Lake Storage zapewnia skalowanie obciążeń analizy danych big data z terabajtami i petabajtami danych. Dane zazwyczaj pochodzą z wielu heterogenicznych źródeł i mogą być ustrukturyzowane, częściowo ustrukturyzowane lub nieustrukturyzowane.
Potencjalne przypadki użycia
Lokalne przypadki użycia replikacji plików i synchronizacji obejmują:
Zależności podrzędne lub nadrzędne, na przykład jeśli aplikacje uruchamiane na komputerze mainframe i aplikacjach uruchomionych na platformie Azure muszą wymieniać dane za pośrednictwem plików.
Równoległe testowanie ponownie hostowanych lub ponownie zaprojektowanych aplikacji na platformie Azure przy użyciu aplikacji lokalnych.
Ściśle powiązane aplikacje lokalne w systemach, których nie można natychmiast skorygować ani zmodernizować.
Współautorzy
Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.
Autorzy zabezpieczeń:
- Ashish Khandelwal | Główny menedżer architektury inżynieryjnej
- Nithish Aruldoss | Architekt inżynierów
Aby wyświetlić niepubalne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.
Następne kroki
- Aby uzyskać więcej informacji, skontaktuj się z zespołem ds. inżynierowie danych usługi Microsoft SQL.
- Przewodniki po migracji bazy danych platformy Azure