Bagikan melalui

Memodernisasi data mainframe dan midrange

Azure Cosmos DB
Azure Data Lake
Database Azure SQL
Instans Terkelola Azure SQL
Azure Storage

Apache®, Spark, dan logo api adalah merek dagang terdaftar atau merek dagang Dari Apache Software Foundation di Amerika Serikat dan/atau negara-negara lain. Tidak ada dukungan oleh Apache Software Foundation yang tersirat oleh penggunaan tanda-tanda ini.

Artikel ini menjelaskan rencana modernisasi end-to-end untuk sumber data mainframe dan midrange. Modernisasi membantu meningkatkan skalabilitas dan performa untuk beban kerja misi penting Anda.

Arsitektur

Diagram arsitektur yang menunjukkan cara memodernisasi sistem mainframe dan midrange dengan memigrasikan data ke Azure.

Unduh file Visio dari arsitektur ini.

Aliran Data

Aliran data berikut sesuai dengan diagram sebelumnya:

  1. Sistem mainframe dan midrange menyimpan data di sumber data berikut.

    • Sistem file:

      • Metode Akses Penyimpanan Virtual (VSAM)
      • File teks datar
      • Sistem File Pita Linear

    • Database relasional:

      • Db2 untuk z/OS
      • Db2 untuk IBM i
      • Db2 untuk Linux UNIX dan Windows

    • Database nonrelasi:

      • Sistem Manajemen Informasi (IMS)
      • Adabas
      • Sistem Manajemen Database Terintegrasi (IDMS)

  2. Proses konversi objek mengekstrak definisi objek dari objek sumber. Definisi kemudian dikonversi menjadi objek yang sesuai di penyimpanan data target.

    • Asisten Migrasi SQL Server untuk Db2 memigrasikan skema dan data dari database IBM Db2 ke database Azure.

    • Penyedia Data Terkelola untuk File Host mengonversi objek dengan:

      • Mengurai tata letak rekaman umum berorientasi bisnis (COBOL) dan Pembuat Program Laporan, atau copybook.
      • Memetakan copybook ke objek C# yang digunakan aplikasi .NET.

    • Alat Db2toAzurePostgreSQL memigrasikan objek database dari Db2 ke Azure Database for PostgreSQL.

    • Alat mitra melakukan konversi objek otomatis pada database nonrelasional, sistem file, dan penyimpanan data lainnya.

  3. Data diserap dan diubah. Sistem mainframe dan midrange menyimpan data sistem file mereka dalam format yang dikodekan EBCDIC dalam format file seperti:

    • File VSAM terindeks.
    • File GDG nonindeks.
    • File datar.

    COBOL, Programming Language One, dan assembly language copybooks menentukan struktur data file-file ini.

    sebuah. File Transfer Protocol (FTP) mentransfer himpunan data sistem file mainframe dan midrange dan copybook yang sesuai ke Azure. Himpunan data ini memiliki tata letak tunggal dan bidang yang tidak dikemas dalam format biner.

    b. Konversi data dilakukan dengan mengembangkan program kustom dengan menggunakan komponen file host Host Integration Server atau dengan menggunakan konektor bawaan untuk file host IBM di Azure Logic Apps.

    Konverter Spark Notebook dikembangkan dengan menggunakan kerangka kerja Spark sumber terbuka. Ini kompatibel dengan lingkungan Spark seperti Microsoft Fabric, Azure Synapse Analytics, dan Azure Databricks.

    c. Data database relasional dimigrasikan.

    Sistem mainframe dan midrange IBM menyimpan data dalam database relasional seperti:

    Layanan berikut memigrasikan data database:

    • Azure Data Factory menggunakan konektor Db2 untuk mengekstrak dan mengintegrasikan data dari database.
    • SQL Server Integration Services menangani berbagai tugas ekstrak, transformasi, dan pemuatan data.
    • Fabric Data Factory menggunakan konektor IBM Db2 untuk memigrasikan data Db2.

    d. Data database nonrelasional dimigrasikan.

    Mainframe IBM dan sistem midrange menyimpan data dalam database nonrelasional seperti:

    Produk mitra mengintegrasikan data dari database ini.

  4. Alat Azure seperti Azure Data Factory dan AzCopy memuat data ke database Azure dan penyimpanan data Azure. Anda juga dapat menggunakan solusi mitra dan solusi pemuatan kustom untuk memuat data.

  5. Azure menyediakan berbagai layanan database, termasuk layanan database relasional yang dikelola sepenuhnya seperti opsi Azure SQL Database dan NoSQL seperti Azure Cosmos DB. Layanan ini dirancang untuk skalabilitas, fleksibilitas, dan distribusi global.

    Azure juga menyediakan berbagai solusi penyimpanan, termasuk Azure Blob Storage untuk data yang tidak terstruktur dan Azure Files untuk berbagi file yang dikelola sepenuhnya.

  6. Layanan Azure menggunakan tingkat data yang dimodernisasi untuk komputasi, analitik, penyimpanan, dan jaringan.

  7. Aplikasi klien juga menggunakan tingkat data yang dimodernisasi.

Komponen

Arsitektur ini menggunakan komponen berikut.

Penyimpanan data

Arsitektur ini menjelaskan cara memigrasikan data ke penyimpanan cloud yang dapat diskalakan dan lebih aman dan database terkelola untuk manajemen data cerdas yang fleksibel di Azure.

  • SQL Database adalah bagian dari keluarga Azure SQL. Ini dirancang untuk cloud dan memberikan semua manfaat platform as a service (PaaS) yang dikelola sepenuhnya dan hijau. SQL Database juga menyediakan fitur otomatis bertenaga AI yang mengoptimalkan performa dan durabilitas. Opsi komputasi tanpa server dan penyimpanan Hyperscale secara otomatis menskalakan sumber daya sesuai permintaan.

  • Azure Database for PostgreSQL adalah layanan database relasional yang dikelola sepenuhnya berdasarkan edisi komunitas mesin database PostgreSQL sumber terbuka.

  • Azure Cosmos DB adalah database NoSQLmulti-model yang didistribusikan secara global.

  • Azure Database for MySQL adalah layanan database relasional yang dikelola sepenuhnya berdasarkan edisi komunitas mesin database MySQL sumber terbuka.

  • SQL Managed Instance adalah layanan database cloud cerdas dan dapat diskalakan yang memberikan semua manfaat paaS yang dikelola sepenuhnya dan hijau. SQL Managed Instance memiliki kompatibilitas yang hampir lengkap dengan mesin database edisi SQL Server Enterprise terbaru. Ini juga menyediakan implementasi jaringan virtual asli yang mengatasi masalah keamanan umum.

  • Azure Data Lake Storage adalah repositori penyimpanan yang menyimpan data dalam jumlah besar dalam format mentah aslinya. Penyimpanan data lake dioptimalkan untuk penskalaan ke terabyte dan petabyte data. Data biasanya berasal dari beberapa sumber heterogen. Ini dapat terstruktur, semi terstruktur, atau tidak terstruktur.

  • Database SQL di Microsoft Fabric adalah database transaksional ramah pengembang yang didasarkan pada SQL Database. Gunakan untuk membuat database operasional Anda dengan mudah di Fabric. Database SQL di Fabric menggunakan mesin database SQL yang sama dengan SQL Database.

  • Microsoft Fabric Lakehouse adalah platform arsitektur data untuk menyimpan, mengelola, dan menganalisis data terstruktur dan tidak terstruktur dalam satu lokasi.

Komputasi

  • Azure Data Factory mengintegrasikan data di berbagai lingkungan jaringan dengan menggunakan runtime integrasi (IR), yang merupakan infrastruktur komputasi. Azure Data Factory menyalin data antara penyimpanan data cloud dan penyimpanan data di jaringan lokal dengan menggunakan IR yang dihost sendiri.

  • Gateway data lokal adalah aplikasi klien Windows yang diinstal secara lokal yang bertindak sebagai jembatan antara sumber data lokal dan layanan lokal Anda di Microsoft Cloud.

  • Azure Virtual Machines menyediakan sumber daya komputasi sesuai permintaan dan dapat diskalakan. Komputer virtual Azure (VM) memberikan fleksibilitas virtualisasi tetapi menghilangkan tuntutan pemeliharaan perangkat keras fisik. Azure VM menyediakan pilihan sistem operasi, termasuk Windows dan Linux.

Integrator data

Arsitektur ini menguraikan berbagai alat migrasi asli Azure yang Anda gunakan bergantung pada data sumber mainframe dan database target.

  • Azure Data Factory adalah layanan integrasi data hibrid. Dalam solusi ini, Azure Data Factory memigrasikan data dari sumber Db2 ke target database Azure dengan menggunakan konektor asli.

  • AzCopy adalah utilitas baris perintah yang memindahkan blob atau file ke dalam dan ke luar akun penyimpanan.

  • SQL Server Integration Services adalah platform untuk membuat solusi integrasi dan transformasi data tingkat perusahaan. Anda dapat menggunakannya untuk menyelesaikan masalah bisnis yang kompleks dengan:

    • Menyalin atau mengunduh file.
    • Memuat gudang data.
    • Membersihkan dan menambang data.
    • Mengelola objek dan data SQL Server.

  • Teknologi dan alat Server Integrasi Host dapat mengintegrasikan sistem host IBM, program, pesan, dan data yang ada dengan aplikasi Azure. Komponen klien file host memberikan fleksibilitas untuk data yang dikonversi dari EBCDIC ke ASCII. Misalnya, Anda dapat menghasilkan data dalam format JSON atau XML dari data yang dikonversi.

  • Azure Synapse Analytics menggabungkan integrasi data, pergudangan data perusahaan, dan analitik big data. Arsitektur ini menggunakan solusi konversi Azure Synapse Analytics. Ini didasarkan pada Apache Spark dan merupakan kandidat yang baik untuk konversi beban kerja mainframe-dataset besar. Ini mendukung berbagai struktur dan target data mainframe dan membutuhkan upaya pengkodan minimal.

  • Microsoft Fabric adalah platform analitik end-to-end siap perusahaan. Ini menyatukan pergerakan data, pemrosesan data, pengambilan, transformasi, perutean kejadian waktu nyata, dan pembuatan laporan. Ini mendukung kemampuan ini dengan menggunakan layanan terintegrasi berikut:

    • Insinyur Data Fabric
    • Fabric Data Factory
    • Fabric Data Science
    • Kecerdasan Real-Time Fabric
    • Gudang Data Kain
    • Fabric Databases

Alat lain

  • Asisten Migrasi SQL Server untuk Db2 mengotomatiskan migrasi dari Db2 ke layanan database Microsoft. Ketika alat ini berjalan pada VM, alat ini mengonversi objek database Db2 menjadi objek database SQL Server dan membuat objek tersebut di SQL Server.

  • Penyedia Data untuk File Host adalah komponen Server Integrasi Host yang menggunakan koneksi offline, SNA, atau TCP/IP.

    • Dengan koneksi offline, Penyedia Data membaca dan menulis rekaman dalam file biner lokal.
    • Dengan koneksi SNA dan TCP/IP, Penyedia Data membaca dan menulis rekaman yang disimpan dalam himpunan data z/OS jarak jauh (mainframe seri IBM Z) atau file fisik i5/OS jarak jauh (sistem IBM AS/400 dan iSeries). Hanya sistem i5/OS yang menggunakan TCP/IP.

  • Layanan Azure menyediakan lingkungan, alat, dan proses untuk mengembangkan dan menskalakan aplikasi baru di cloud publik.

Detail skenario

Solusi penyimpanan data modern seperti platform data Azure memberikan skalabilitas dan performa yang lebih baik daripada sistem mainframe dan midrange. Dengan memodernisasi sistem, Anda dapat memanfaatkan manfaat ini. Namun, memperbarui teknologi, infrastruktur, dan praktik itu kompleks. Proses ini melibatkan penyelidikan lengkap terhadap kegiatan bisnis dan teknik. Manajemen data adalah salah satu pertimbangan ketika Anda memodernisasi sistem Anda. Anda juga perlu melihat visualisasi dan integrasi data.

Modernisasi yang berhasil menggunakan strategi data-first. Saat Anda menggunakan pendekatan ini, Anda fokus pada data daripada sistem baru. Manajemen data tidak lagi hanya item pada daftar periksa modernisasi. Sebaliknya, data adalah centerpiece. Solusi data terkoordinasi dan berorientasi kualitas menggantikan yang terfragmentasi dan diatur dengan buruk.

Solusi ini menggunakan komponen platform data Azure dalam pendekatan data-first. Secara khusus, solusinya melibatkan:

  • Konversi objek. Konversi definisi objek dari penyimpanan data sumber ke objek yang sesuai di penyimpanan data target.

  • Penyerapan data. Sambungkan ke penyimpanan data sumber dan ekstrak data.

  • Transformasi data. Ubah data yang diekstrak menjadi struktur penyimpanan data target yang sesuai.

  • Penyimpanan data. Muat data dari penyimpanan data sumber ke penyimpanan data target, baik awal maupun berkelanjutan.

Kemungkinan kasus penggunaan

Organisasi yang menggunakan sistem mainframe dan midrange dapat memperoleh manfaat dari solusi ini, terutama ketika mereka ingin:

  • Memodernisasi beban kerja misi penting.

  • Memperoleh kecerdasan bisnis untuk meningkatkan operasi dan mendapatkan keunggulan kompetitif.

  • Hapus biaya tinggi dan kekakuan yang terkait dengan mainframe dan penyimpanan data midrange.

Pertimbangan

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat Anda gunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Well-Architected Framework.

Keamanan

Keamanan memberikan jaminan terhadap serangan yang disukai dan penyalahgunaan data dan sistem berharga Anda. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Keamanan.

Pengoptimalan Biaya

Pengoptimalan Biaya berfokus pada cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk optimalisasi biaya.

  • Asisten Migrasi SQL Server adalah alat gratis yang didukung yang menyederhanakan migrasi database dari Db2 ke SQL Server, SQL Database, dan SQL Managed Instance. Asisten Migrasi SQL Server mengotomatiskan semua aspek migrasi, termasuk analisis penilaian migrasi, konversi pernyataan skema dan SQL, dan migrasi data.

  • Solusi berbasis Azure Synapse Analytics Spark dibangun dari pustaka sumber terbuka. Ini menghilangkan beban keuangan alat konversi lisensi.

  • Gunakan kalkulator harga Azure untuk memperkirakan biaya penerapan solusi ini.

Efisiensi Performa

Efisiensi Performa mengacu pada kemampuan beban kerja Anda untuk menskalakan untuk memenuhi tuntutan pengguna secara efisien. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Efisiensi Kinerja.

  • Pilar utama Efisiensi Performa adalah manajemen performa, perencanaan kapasitas, skalabilitas, dan memilih pola performa yang sesuai.

  • Anda dapat menskalakan IR yang dihost sendiri dengan mengaitkan instans logis dengan beberapa komputer lokal dalam mode aktif-aktif.

  • Gunakan SQL Database untuk menskalakan database Anda secara dinamis. Tingkat Tanpa Server dapat secara otomatis menskalakan sumber daya komputasi. Kumpulan elastis memungkinkan database berbagi sumber daya dalam kumpulan dan hanya dapat diskalakan secara manual.

Saat Anda menggunakan Penyedia Data untuk klien File Host untuk mengonversi data, aktifkan pengumpulan koneksi untuk mengurangi waktu mulai koneksi. Saat Anda menggunakan Azure Data Factory untuk mengekstrak data, sesuaikan performa aktivitas salin.

Kontributor

Microsoft mempertahankan artikel ini. Kontributor berikut menulis artikel ini.

Penulis utama:

  • Ashish Khandelwal | Manajer Arsitek Teknik Utama

Kontributor lain:

Untuk melihat profil LinkedIn nonpublik, masuk ke LinkedIn.

Langkah selanjutnya

Tinjau Panduan Migrasi Azure Database. Hubungi Azure Data Engineering - Mainframe & Midrange Modernization untuk informasi selengkapnya.

Lihat artikel berikut: