Apache®, Spark, dan logo api adalah merek dagang terdaftar atau merek dagang Dari Apache Software Foundation di Amerika Serikat dan/atau negara lain. Tidak ada dukungan oleh The Apache Software Foundation yang tersirat oleh penggunaan tanda ini.
Artikel ini menjelaskan rencana modernisasi end-to-end untuk sumber data mainframe dan midrange.
Arsitektur
Unduh file Visio arsitektur ini.
Aliran data
Aliran data berikut menguraikan proses untuk memodernisasi tingkat data mainframe. Ini sesuai dengan diagram sebelumnya.
Sistem mainframe dan midrange menyimpan data di sumber data, seperti sistem file (VSAM, file datar, LTFS), database relasional (Db2 untuk z/OS, Db2 untuk IBM i, Db2 untuk Linux UNIX dan Windows), atau database non-relasional (IMS, ADABAS, IDMS).
Proses konversi objek mengekstrak definisi objek dari objek sumber. Definisi kemudian dikonversi menjadi objek yang sesuai di penyimpanan data target.
- SQL Server Migration Assistant (SSMA) untuk Db2 memigrasikan skema dan data dari database IBM Db2 ke database Azure.
- Penyedia Data Terkelola untuk File Host mengonversi objek dengan:
- Mengurai COBOL dan tata letak rekaman RPG, atau copybook.
- Memetakan copybook ke objek C# yang digunakan aplikasi .NET.
- Alat pihak ketiga melakukan konversi objek otomatis pada database non-relasional, sistem file, dan penyimpanan data lainnya.
Data diserap dan diubah. Sistem mainframe dan midrange menyimpan data sistem file mereka dalam format yang dikodekan EBCDIC dalam format file seperti:
COBOL, PL/I, dan copybook bahasa rakitan mendefinisikan struktur data dari file-file ini.
a. FTP mentransfer himpunan data sistem file mainframe dan midrange dengan tata letak tunggal dan bidang yang tidak dikemas dalam format biner dan copybook yang sesuai ke Azure.
b. Data dikonversi. Konektor kustom Azure Data Factory adalah solusi yang dikembangkan dengan menggunakan komponen klien File Host dari Host Integration Server untuk mengonversi himpunan data mainframe.
Host Integration Server mengintegrasikan sistem host IBM, program, pesan, dan data yang ada dengan aplikasi Azure. Host Integration Server adalah komponen klien File Host yang dapat Anda gunakan untuk mengembangkan solusi kustom untuk konversi himpunan data.
Konektor kustom Azure Data Factory didasarkan pada kerangka kerja Spark sumber terbuka, dan berjalan di Azure Synapse Analytics. Seperti solusi lain, ini dapat mengurai copybook dan mengonversi data. Kelola layanan untuk konversi data dengan menggunakan konektor Konten File Host Parse Azure Logic Apps .
c. Data database relasional dimigrasikan.
Mainframe IBM dan sistem midrange menyimpan data dalam database relasional seperti ini:
Layanan ini memigrasikan data database:
- Data Factory menggunakan konektor Db2 untuk mengekstrak dan mengintegrasikan data dari database.
- SQL Server Integration Services menangani berbagai tugas ETL data.
d. Data database non-relasional dimigrasikan.
Sistem mainframe dan midrange IBM menyimpan data dalam database non-relasional seperti ini:
- IDMS, sistem manajemen database model jaringan (DBMS)
- IMS, model hierarkis DBMS
- Adabas
- Datacom
Produk pihak ketiga mengintegrasikan data dari database ini.
Layanan Azure seperti Data Factory dan AzCopy memuat data ke database Azure dan penyimpanan data Azure. Anda juga dapat menggunakan solusi pihak ketiga dan solusi pemuatan kustom untuk memuat data.
Azure menyediakan banyak solusi penyimpanan data terkelola:
Layanan Azure menggunakan tingkat data yang dimodernisasi untuk komputasi, analitik, penyimpanan, dan jaringan.
Aplikasi klien juga menggunakan tingkat data yang dimodernisasi.
Komponen
Penyimpanan data
- SQL Database adalah bagian dari keluarga Azure SQL. Ini dibangun untuk cloud dan memberikan semua manfaat platform yang dikelola sepenuhnya dan hijau sebagai layanan. SQL Database juga menyediakan fitur otomatis bertenaga AI yang mengoptimalkan performa dan durabilitas. Komputasi tanpa server dan Opsi penyimpanan hyperscale secara otomatis menskalakan sumber daya sesuai permintaan.
- Azure Database for PostgreSQL adalah layanan database hubungan yang dikelola sepenuhnya yang didasarkan pada edisi komunitas sumber terbuka mesin database PostgreSQL.
- Azure Cosmos DB adalah database NoSQL multimodelyang didistribusikan secara global.
- Azure Database for MySQL adalah layanan database relasional yang dikelola sepenuhnya yang didasarkan pada edisi komunitas mesin database MySQL sumber terbuka.
- Azure Database for MariaDB adalah layanan database hubungan berbasis cloud. Ini didasarkan pada mesin database edisi komunitas MariaDB .
- SQL Managed Instance adalah layanan database cloud cerdas dan dapat diskalakan yang menawarkan semua manfaat platform yang dikelola sepenuhnya dan hijau sebagai layanan. SQL Managed Instance memiliki kompatibilitas hampir 100% dengan mesin database edisi SQL Server Enterprise terbaru. Ini juga menyediakan implementasi jaringan virtual asli yang mengatasi masalah keamanan umum.
- Azure Data Lake Storage adalah repositori penyimpanan yang menyimpan data dalam jumlah besar dalam format mentah aslinya. Penyimpanan data lake dioptimalkan untuk penskalaan data hingga terabyte dan petabyte. Data biasanya berasal dari beberapa sumber heterogen. Ini dapat terstruktur, semi terstruktur, atau tidak terstruktur.
Compute
- Data Factory mengintegrasikan data di berbagai lingkungan jaringan dengan menggunakan runtime integrasi (IR), yang merupakan infrastruktur komputasi. Data Factory menyalin data antara penyimpanan data cloud dan penyimpanan data di jaringan lokal dengan menggunakan IR yang dihost sendiri.
- Azure Virtual Machines menyediakan sumber daya komputasi sesuai permintaan dan dapat diskalakan. Komputer virtual Azure (VM) memberikan fleksibilitas virtualisasi tetapi menghilangkan tuntutan pemeliharaan perangkat keras fisik. Azure VM menawarkan pilihan sistem operasi, termasuk Windows dan Linux.
Integrator data
- Azure Data Factory adalah layanan integrasi data hibrid. Dalam solusi ini, konektor kustom Azure Data Factory menggunakan komponen klien File Host dari Host Integration Server untuk mengonversi himpunan data mainframe. Dengan penyiapan minimal, Anda dapat menggunakan konektor kustom untuk mengonversi himpunan data mainframe sama seperti Anda akan menggunakan konektor Azure Data Factory lainnya.
- AzCopy adalah utilitas baris perintah yang memindahkan blob atau file masuk dan keluar dari akun penyimpanan.
- SQL Server Integration Services adalah platform untuk membuat solusi integrasi dan transformasi data tingkat perusahaan. Anda dapat menggunakannya untuk menyelesaikan masalah bisnis yang kompleks dengan:
- Menyalin atau mengunduh file.
- Memuat gudang data.
- Membersihkan dan menambang data.
- Mengelola objek dan data SQL Server.
- Teknologi dan alat Server Integrasi Host memungkinkan Anda mengintegrasikan sistem host IBM, program, pesan, dan data yang ada dengan aplikasi Azure. Komponen klien File Host memberikan fleksibilitas untuk data yang dikonversi dari EBCDIC ke ASCII. Misalnya, Anda dapat membuat JSON/XML dari data yang dikonversi.
- Azure Synapse menyatukan integrasi data, pergudangan data perusahaan, dan analitik big data. Solusi konversi Azure Synapse yang digunakan dalam arsitektur ini didasarkan pada Apache Spark dan merupakan kandidat yang baik untuk konversi beban kerja mainframe-dataset besar. Ini mendukung berbagai struktur dan target data mainframe dan membutuhkan upaya pengkodan minimal.
Alat lain
- Asisten Migrasi SQL Server untuk Db2 mengotomatiskan migrasi dari Db2 ke layanan database Microsoft. Ketika berjalan pada VM, alat ini mengonversi objek database Db2 menjadi objek database SQL Server dan membuat objek tersebut di SQL Server.
- Penyedia Data untuk File Host adalah komponen Server Integrasi Host yang menggunakan koneksi offline, SNA, atau TCP/IP.
- Dengan koneksi offline, Penyedia Data membaca dan menulis rekaman dalam file biner lokal.
- Dengan koneksi SNA dan TCP/IP, Penyedia Data membaca dan menulis rekaman yang disimpan dalam himpunan data z/OS jarak jauh (IBM Z Series Mainframe) atau file fisik i5/OS jarak jauh (sistem IBM AS/400 dan iSeries). Hanya sistem i5/OS yang menggunakan TCP/IP.
- Layanan Azure menyediakan lingkungan, alat, dan proses untuk mengembangkan dan menskalakan aplikasi baru di cloud publik.
Detail skenario
Solusi penyimpanan data modern seperti platform data Azure memberikan skalabilitas dan performa yang lebih baik daripada sistem mainframe dan midrange. Dengan memodernisasi sistem, Anda dapat memanfaatkan manfaat ini. Namun, memperbarui teknologi, infrastruktur, dan praktik itu rumit. Proses ini melibatkan investigasi menyeluruh terhadap aktivitas bisnis dan rekayasa. Manajemen data adalah salah satu pertimbangan ketika Anda memodernisasi sistem Anda. Anda juga perlu melihat visualisasi dan integrasi data.
Modernisasi yang berhasil menggunakan strategi yang data-first. Saat Anda menggunakan pendekatan ini, Anda fokus pada data daripada sistem baru. Manajemen data tidak lagi hanya item pada daftar periksa modernisasi. Sebaliknya, data adalah centerpiece. Solusi data terkoordinasi dan berorientasi kualitas menggantikan yang terfragmentasi dan diatur dengan buruk.
Solusi ini menggunakan komponen platform data Azure dalam pendekatan data-first. Secara khusus, solusinya melibatkan:
- Konversi objek. Mengonversi definisi objek dari penyimpanan data sumber ke objek yang sesuai di penyimpanan data target.
- Penyerapan data. Koneksi ke penyimpanan data sumber dan mengekstrak data.
- Transformasi data. Mengubah data yang diekstrak menjadi struktur penyimpanan data target yang sesuai.
- Penyimpanan data. Memuat data dari penyimpanan data sumber ke penyimpanan data target, baik awalnya maupun berkelanjutan.
Kemungkinan kasus penggunaan
Organisasi yang menggunakan sistem mainframe dan midrange dapat memperoleh manfaat dari solusi ini, terutama ketika mereka ingin mencapai tujuan ini:
- Modernisasi beban kerja misi kritis.
- Memperoleh intelijen bisnis untuk meningkatkan operasi dan mendapatkan keunggulan kompetitif.
- Hapus biaya tinggi dan kekakuan yang terkait dengan mainframe dan penyimpanan data midrange.
Pertimbangan
Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, sekumpulan tenet panduan yang dapat Anda gunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework. Saat Anda menggunakan Penyedia Data untuk klien File Host untuk mengonversi data, aktifkan pengumpulan koneksi untuk mengurangi waktu mulai koneksi. Saat Anda menggunakan Data Factory untuk mengekstrak data, sesuaikan performa aktivitas salin.
Keamanan
Keamanan memberikan jaminan terhadap serangan yang disukai dan penyalahgunaan data dan sistem berharga Anda. Untuk informasi selengkapnya, lihat Gambaran Umum pilar keamanan.
- Ketahui perbedaan antara identitas klien lokal dan identitas klien di Azure. Anda perlu mengkompensasi perbedaan apa pun.
- Gunakan identitas terkelola untuk aliran data komponen-ke-komponen.
- Saat Anda menggunakan Penyedia Data untuk File Host untuk mengonversi data, ikuti rekomendasi di Penyedia Data untuk keamanan dan perlindungan File Host.
Pengoptimalan biaya
Pengoptimalan biaya adalah tentang mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Gambaran umum pilar pengoptimalan biaya.
- Asisten Migrasi SQL Server adalah alat gratis yang didukung yang menyederhanakan migrasi database dari Db2 ke SQL Server, SQL Database, dan SQL Managed Instance. Asisten Migrasi SQL Server mengotomatiskan semua aspek migrasi, termasuk analisis penilaian migrasi, konversi pernyataan skema dan SQL, dan migrasi data.
- Solusi berbasis Azure Synapse Spark dibangun dari pustaka sumber terbuka. Ini menghilangkan beban keuangan alat konversi lisensi.
- Gunakan kalkulator harga Azure untuk memperkirakan biaya penerapan solusi ini.
Efisiensi kinerja
Efisiensi performa adalah kemampuan beban kerja Anda untuk diskalakan agar memenuhi permintaan yang diberikan oleh pengguna dengan cara yang efisien. Untuk informasi selengkapnya, lihat Gambaran umum pilar efisiensi performa.
- Pilar utama efisiensi performa adalah manajemen performa, perencanaan kapasitas, skalabilitas, dan memilih pola performa yang sesuai.
- Anda dapat meluaskan skala IR yang dihost sendiri dengan mengaitkan instans logis ke sejumlah komputer lokal dalam mode aktif-aktif.
- Azure SQL Database menawarkan kemampuan untuk menskalakan database Anda secara dinamis. Dalam tingkat tanpa server, ia dapat secara otomatis menskalakan sumber daya komputasi. Kumpulan Elastis, yang memungkinkan database berbagi sumber daya dalam kumpulan, hanya dapat diskalakan secara manual.
Kontributor
Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.
Penulis utama:
- Ashish Khandelwal | Manajer Arsitek Teknik Utama
Kontributor lain:
- Mick Alberts | Penulis Teknis
- Aruldoss Nithish | Arsitek Teknik
Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.
Langkah berikutnya
Tinjau Panduan Migrasi Azure Database. Hubungi Azure Rekayasa Data - Mainframe & Midrange Modernization untuk informasi selengkapnya.
Lihat artikel ini:
- Beban kerja IBM di Azure
- Rehosting mainframe pada komputer virtual Azure
- Beban kerja mainframe yang didukung di Azure
- Pindahkan komputasi rangka utama ke Azure