Mereplikasi dan menyinkronkan data mainframe ke Azure
Contoh arsitektur ini menguraikan rencana implementasi untuk mereplikasi dan menyinkronkan data selama modernisasi ke Azure. Ini menjelaskan aspek teknis seperti penyimpanan data, alat, dan layanan.
Arsitektur
Unduh file Visio dari arsitektur ini.
Alur kerja
Alur kerja berikut ini sesuai dengan diagram sebelumnya:
Sistem mainframe dan midrange memperbarui database aplikasi lokal secara berkala. Untuk menjaga konsistensi, solusi ini menyinkronkan data terbaru dengan database Azure. Proses sinkronisasi melibatkan langkah-langkah berikut.
Alur dinamis Azure Data Factory mengatur aktivitas yang berkisar dari ekstraksi data hingga pemuatan data. Anda dapat menjadwalkan aktivitas alur, memulainya secara manual, atau memicu secara otomatis.
Alur mengelompokkan aktivitas yang melakukan tugas. Untuk mengekstrak data, Azure Data Factory secara dinamis membuat satu alur untuk setiap tabel lokal. Anda kemudian dapat menggunakan implementasi paralel secara besar-besaran saat mereplikasi data di Azure. Anda juga dapat mengonfigurasi solusi untuk memenuhi kebutuhan Anda:
Replikasi penuh: Anda mereplikasi seluruh database dan membuat modifikasi yang diperlukan pada tipe data dan bidang di database Azure target.
Replikasi parsial, delta, atau inkremental: Anda menggunakan kolom tanda air dalam tabel sumber untuk menyinkronkan baris yang diperbarui dengan database Azure. Kolom ini berisi kunci yang terus bertambah atau stempel waktu yang menunjukkan pembaruan terakhir tabel.
Azure Data Factory juga menggunakan alur untuk tugas transformasi berikut:
- Konversi tipe data
- Manipulasi data
- Pemformatan data
- Turunan kolom
- Penghalusan data
- Penyortiran data
- Penyaringan data
Database lokal seperti Db2 zOS, Db2 for i, dan Db2 LUW menyimpan data aplikasi.
Runtime integrasi (IR) yang dihosting sendiri menyediakan lingkungan yang digunakan Azure Data Factory untuk menjalankan dan mengirimkan aktivitas.
Azure Data Lake Storage Gen2 dan Azure Blob Storage mengtahap data. Langkah ini terkadang diperlukan untuk mengubah dan menggabungkan data dari beberapa sumber.
Untuk persiapan data, Azure Data Factory menggunakan Azure Databricks, aktivitas kustom, dan aliran data alur untuk mengubah data dengan cepat dan efektif.
Azure Data Factory memuat data ke dalam database Azure relasional dan nonrelasional berikut:
- Azure SQL
- Basis Data Azure untuk PostgreSQL
- Azure Cosmos DB (layanan basis data global dari Microsoft)
- Azure Data Lake Storage
- Basis Data Azure untuk MySQL
SQL Server Integration Services (SSIS) mengekstrak, mengubah, dan memuat data.
Gateway data lokal adalah aplikasi klien Windows yang diinstal secara lokal yang bertindak sebagai jembatan antara sumber data lokal lokal dan layanan Azure.
Alur data di Microsoft Fabric adalah pengelompokan logis aktivitas yang melakukan penyerapan data dari penyimpanan dan database Db2 ke Azure.
Jika solusi memerlukan replikasi hampir real-time, Anda dapat menggunakan alat non-Microsoft.
Komponen
Bagian ini menjelaskan alat lain yang dapat Anda gunakan selama modernisasi, sinkronisasi, dan integrasi data.
Integrator data
Azure Data Factory adalah layanan integrasi data hibrid. Anda dapat menggunakan solusi nirserver yang dikelola sepenuhnya ini untuk membuat, menjadwalkan, dan mengatur alur kerja ekstrak, transformasi, dan muat (ETL) serta alur kerja mengekstrak, memuat, dan mengubah (ELT).
Azure Synapse Analytics adalah layanan analitik perusahaan yang mempercepat waktu untuk wawasan di seluruh gudang data dan sistem big data. Azure Synapse Analytics menggabungkan yang terbaik dari teknologi dan layanan berikut:
Teknologi SQL untuk pergudangan data perusahaan
Teknologi Spark untuk data besar
Azure Data Explorer untuk analitik log dan deret waktu
Azure Pipelines untuk integrasi data dan alur kerja ETL dan ELT
Integrasi mendalam dengan layanan Azure lainnya, seperti Power BI, Azure Cosmos DB, dan Azure Machine Learning
SSIS adalah platform untuk membangun solusi integrasi dan transformasi data tingkat perusahaan. Anda dapat menggunakan SSIS untuk mengelola, mereplikasi, membersihkan, dan menambang data.
Azure Databricks adalah platform analitik data. Ini didasarkan pada sistem pemrosesan terdistribusi sumber terbuka Apache Spark dan dioptimalkan untuk platform cloud Azure. Dalam alur kerja analitik, Azure Databricks membaca data dari beberapa sumber dan menggunakan Spark untuk memberikan wawasan.
Penyimpanan data
Azure SQL Database adalah bagian dari keluarga Azure SQL dan dibuat untuk cloud. Layanan ini memberikan manfaat dari platform as a service (PaaS) yang dikelola sepenuhnya dan selalu hijau. SQL Database juga menyediakan fitur otomatis yang didukung AI yang mengoptimalkan kinerja dan daya tahan. Opsi komputasi dan penyimpanan hyperscale tanpa server secara otomatis menskalakan sumber daya sesuai permintaan.
Azure SQL Managed Instance adalah bagian dari portofolio layanan Azure SQL. Layanan database cloud yang cerdas dan dapat diskalakan ini menggabungkan kompatibilitas mesin SQL Server terluas dengan semua manfaat PaaS yang dikelola sepenuhnya dan selalu hijau. Gunakan SQL Managed Instance untuk memodernisasi aplikasi yang ada dalam skala besar.
SQL Server di Azure Virtual Machines menyediakan cara untuk mengangkat dan mengalihkan beban kerja SQL Server ke cloud dengan kompatibilitas kode lengkap. Sebagai bagian dari keluarga Azure SQL, SQL Server di Azure Virtual Machines menyediakan performa, keamanan, dan analitik gabungan SQL Server dengan fleksibilitas dan konektivitas hibrid Azure. Gunakan SQL Server di Azure Virtual Machines untuk memigrasikan aplikasi yang ada atau membangun aplikasi baru. Anda juga dapat mengakses pembaruan dan rilis SQL Server terbaru, termasuk SQL Server 2019.
Azure Database for PostgreSQL adalah layanan database relasional yang dikelola sepenuhnya yang didasarkan pada edisi komunitas mesin database PostgreSQL sumber terbuka. Gunakan layanan ini untuk fokus pada inovasi aplikasi, bukan manajemen database. Anda juga dapat menskalakan beban kerja anda dengan cepat dan mudah.
Azure Cosmos DB adalah database multi-model yang didistribusikan secara global. Gunakan Azure Cosmos DB untuk memastikan bahwa solusi Anda dapat menskalakan throughput dan penyimpanan secara elastis dan independen di sejumlah wilayah geografis. Layanan database NoSQL yang dikelola sepenuhnya ini menjamin latensi satu digit, milidetik pada persentil sembilan puluh sembilan di mana pun di dunia.
Data Lake Storage adalah repositori penyimpanan yang menyimpan sejumlah besar data dalam format mentah aslinya. Penyimpanan data lake dioptimalkan untuk penskalaan ke terabyte dan petabyte data. Data biasanya berasal dari berbagai sumber heterogen dan dapat terstruktur, semi-terstruktur, atau tidak terstruktur. Data Lake Storage Gen2 menggabungkan kemampuan Data Lake Storage Gen1 dengan Blob Storage. Solusi data lake generasi berikutnya ini menyediakan semantik sistem file, keamanan tingkat file, dan skala. Ini juga menyediakan penyimpanan berjenjang, ketersediaan tinggi, dan kemampuan pemulihan bencana Blob Storage.
Microsoft Fabric adalah platform analitik end-to-end siap perusahaan. Ini menyatukan pergerakan data, pemrosesan data, pengambilan, transformasi, perutean kejadian waktu nyata, dan pembuatan laporan. Ini mendukung kemampuan ini dengan menggunakan layanan terintegrasi seperti Fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Real-Time Intelligence, Fabric Data Warehouse, dan Fabric Databases.
Azure Database for MySQL adalah layanan database relasional yang dikelola sepenuhnya yang didasarkan pada edisi komunitas mesin database MySQL sumber terbuka.
Alat lain
Microsoft Service for Distributed Relational Database Architecture (DRDA) adalah komponen dari Host Integration Server. Microsoft Service for DRDA adalah server aplikasi yang digunakan klien Pemohon Aplikasi (AR) DRDA. Contoh klien DRDA AR termasuk IBM Db2 untuk z/OS dan Db2 untuk i5/OS. Klien ini menggunakan server aplikasi untuk mengonversi pernyataan SQL Db2 dan menjalankannya di SQL Server.
Asisten Migrasi SQL Server untuk Db2 mengotomatiskan migrasi dari Db2 ke layanan database Microsoft. Alat ini berjalan di mesin virtual. Ini mengubah objek database Db2 menjadi objek database SQL Server dan membuat objek tersebut dalam SQL.
Detail skenario
Ketersediaan dan integritas data sangat penting dalam modernisasi mainframe dan midrange. Strategi yang mengutamakan data membantu menjaga data tetap utuh dan tersedia selama migrasi ke Azure. Untuk mencegah gangguan selama modernisasi, terkadang Anda perlu mereplikasi data dengan cepat atau menyinkronkan data lokal dengan database Azure.
Secara khusus, solusi ini meliputi:
Ekstraksi: Menyambungkan dan mengekstrak data dari database sumber.
Transformasi:
Pementasan: Simpan sementara data dalam format aslinya dan persiapkan untuk transformasi.
Persiapan: Mengubah dan memanipulasi data dengan menggunakan aturan pemetaan yang memenuhi persyaratan database target.
Memuat: Menyisipkan data ke dalam database target.
Kemungkinan kasus penggunaan
Skenario replikasi dan sinkronisasi data yang dapat memperoleh manfaat dari solusi ini meliputi:
Arsitektur Pemisahan Tanggung Jawab Kueri Perintah yang menggunakan Azure untuk melayani semua saluran pertanyaan.
Lingkungan yang menguji aplikasi lokal dan aplikasi yang dihosting ulang atau direkayasa ulang secara paralel.
Sistem lokal yang memiliki aplikasi yang digabungkan erat yang memerlukan remediasi atau modernisasi bertahap.
Rekomendasi
Anda dapat menerapkan rekomendasi berikut ke sebagian besar skenario. Ikuti rekomendasi ini kecuali Anda memiliki persyaratan khusus yang meniadakannya.
Saat Anda menggunakan Azure Data Factory untuk mengekstrak data, ambil langkah-langkah untuk menyetel performa aktivitas penyalinan.
Pertimbangan
Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat Anda gunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.
Keandalan
Keandalan membantu memastikan bahwa aplikasi Anda dapat memenuhi komitmen yang Anda buat kepada pelanggan Anda. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Keandalan.
Manajemen infrastruktur, termasuk ketersediaan, diotomatisasi dalam database Azure.
Untuk informasi tentang perlindungan failover Microsoft Service for DRDA, lihat Pengumpulan dan failover.
Anda dapat mengelompokkan gateway data lokal dan IR untuk memberikan jaminan ketersediaan yang lebih tinggi.
Keamanan
Keamanan memberikan jaminan terhadap serangan yang disukai dan penyalahgunaan data dan sistem berharga Anda. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Keamanan.
Gunakan grup keamanan jaringan untuk membatasi akses hanya ke fungsi yang diperlukan untuk setiap layanan.
Gunakan titik akhir privat untuk layanan PaaS Anda. Gunakan firewall layanan yang dapat dijangkau dan tidak dapat dijangkau melalui internet untuk melengkapi keamanan layanan Anda.
Gunakan identitas terkelola untuk aliran data komponen-ke-komponen.
Untuk informasi tentang jenis koneksi klien yang didukung Microsoft Service untuk DRDA, lihat Merencanakan dan merancang solusi dengan menggunakan Microsoft Service untuk DRDA. Koneksi klien memengaruhi sifat transaksi, pengumpulan, failover, autentikasi, dan enkripsi di jaringan Anda.
Pengoptimalan Biaya
Pengoptimalan Biaya berfokus pada cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk optimalisasi biaya.
Model penetapan harga bervariasi antar layanan komponen. Tinjau model penetapan harga dari layanan komponen yang tersedia untuk memastikannya sesuai dengan anggaran Anda.
Gunakan kalkulator harga Azure untuk memperkirakan biaya penerapan solusi ini.
Keunggulan Operasi
Keunggulan Operasional mencakup proses operasi yang menyebarkan aplikasi dan membuatnya tetap berjalan dalam produksi. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Keunggulan Operasional.
Manajemen infrastruktur, termasuk skalabilitas, diotomatisasi dalam database Azure.
Anda dapat menskalakan IR yang dihost sendiri dengan mengaitkan instans logis dengan beberapa komputer lokal dalam mode aktif-aktif.
Efisiensi Performa
Efisiensi Performa mengacu pada kemampuan beban kerja Anda untuk menskalakan untuk memenuhi tuntutan pengguna secara efisien. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Efisiensi Kinerja.
Pertimbangkan Azure ExpressRoute sebagai opsi skala tinggi jika implementasi Anda menggunakan bandwidth yang signifikan untuk replikasi awal atau replikasi data yang diubah secara berkelanjutan.
Pilih konfigurasi IR yang tepat untuk skenario Anda.
Langkah selanjutnya
- Hubungi Azure Data Engineering - Modernisasi Lokal untuk informasi selengkapnya.
- Baca panduan Migrasi.