Bagikan melalui

Gunakan Qlik untuk mereplikasi data mainframe dan midrange ke Azure

Pusat Aktivitas Azure
Azure Data Lake
Azure Databricks

Solusi ini menggunakan instans Qlik lokal untuk mereplikasi sumber data lokal ke Azure secara real time.

Nota

Ucapkan "Qlik" seperti "klik".

Apache® dan Apache Kafka® adalah merek dagang terdaftar atau merek dagang dari Apache Software Foundation di Amerika Serikat dan/atau negara lain. Tidak ada dukungan oleh Apache Software Foundation yang tersirat oleh penggunaan tanda-tanda ini.

Arsitektur

Diagram arsitektur yang menggunakan Qlik untuk memigrasikan data ke Azure.

Unduh file Visio dari arsitektur ini.

Alur kerja

  1. Agen tuan rumah: Agen host pada sistem lokal menangkap informasi log perubahan dari penyimpanan data Db2, Sistem Manajemen Informasi (IMS), dan Virtual Storage Access Method (VSAM) dan meneruskannya ke server replikasi Qlik.

  2. Server replikasi: Perangkat lunak server replikasi Qlik meneruskan informasi log perubahan ke Kafka dan Azure Event Hubs. Dalam contoh ini, Qlik lokal, tetapi Anda dapat menyebarkannya di komputer virtual di Azure.

  3. Penyerapan aliran: Kafka dan Event Hubs menyediakan broker pesan untuk menerima dan menyimpan informasi log perubahan.

  4. Kafka Hubungkan: API Kafka Connect menerima data dari Kafka untuk memperbarui penyimpanan data Azure seperti Azure Data Lake Storage, Azure Databricks, dan Azure Synapse Analytics.

  5. Penyimpanan Data Lake: Data Lake Storage adalah area pementasan untuk data log perubahan.

  6. Azure Databricks: Azure Databricks memproses data log perubahan dan memperbarui file yang sesuai di Azure.

  7. Layanan data Azure: Azure menyediakan layanan penyimpanan data yang efisien berikut.

    • Layanan database relasional:

      • SQL Server di Azure Virtual Machines
      • Azure SQL Database
      • Azure SQL Managed Instance (Instans Terkelola SQL di Azure)
      • Basis Data Azure untuk PostgreSQL
      • Basis Data Azure untuk MySQL
      • Azure Cosmos DB (layanan basis data global dari Microsoft)

      Ada banyak faktor yang perlu dipertimbangkan saat Anda memilih layanan penyimpanan data. Pertimbangkan jenis beban kerja, kueri lintas database, persyaratan penerapan dua fase, kemampuan untuk mengakses sistem file, jumlah data, throughput yang diperlukan, dan latensi.

    • Azure Cosmos DB: Azure Cosmos DB adalah database NoSQL yang memberikan respons cepat, skalabilitas otomatis, dan kecepatan terjamin dalam skala apa pun.

    • Analitik Azure Synapse: Azure Synapse Analytics adalah layanan analitik yang menggabungkan integrasi data, pergudangan data perusahaan, dan analitik big data. Gunakan untuk mengkueri data dengan menggunakan sumber daya tanpa server atau khusus dalam skala besar.

    • Microsoft Fabric: Microsoft Fabric adalah solusi analitik all-in-one untuk perusahaan. Ini mencakup segala hal mulai dari pergerakan data hingga ilmu data, analitik waktu nyata, dan intelijen bisnis. Ini menyediakan rangkaian layanan yang komprehensif, termasuk danau data, rekayasa data, dan integrasi data.

Komponen

Arsitektur ini terdiri dari beberapa layanan cloud Azure dan dibagi menjadi empat kategori sumber daya: jaringan dan identitas, aplikasi, penyimpanan, dan pemantauan. Bagian berikut menjelaskan layanan untuk setiap sumber daya dan perannya.

Jaringan dan identitas

Saat Anda merancang arsitektur aplikasi, sangat penting untuk memprioritaskan komponen jaringan dan identitas untuk membantu memastikan keamanan, kinerja, dan pengelolaan selama interaksi melalui internet publik atau koneksi pribadi.

  • Azure ExpressRoute memperluas jaringan lokal Anda ke layanan cloud yang disediakan oleh Microsoft melalui koneksi privat dari penyedia konektivitas. Gunakan ExpressRoute untuk membuat koneksi ke layanan cloud seperti Azure dan Microsoft 365.

  • Azure VPN Gateway adalah jenis gateway jaringan virtual tertentu yang mengirimkan lalu lintas terenkripsi antara jaringan virtual Azure dan lokasi lokal melalui internet publik.

  • Microsoft Entra ID adalah layanan manajemen identitas dan akses yang dapat disinkronkan dengan direktori aktif lokal.

Aplikasi

Azure menyediakan layanan terkelola yang mendukung penyebaran aplikasi yang lebih aman, terukur, dan efisien. Arsitektur ini menggunakan layanan tingkat aplikasi yang dapat membantu Anda mengoptimalkan arsitektur aplikasi Anda.

  • Event Hubs adalah platform streaming data besar dan layanan penyerapan peristiwa yang dapat menyimpan pesan perubahan data Db2, IMS, dan VSAM. Itu dapat menerima dan memproses jutaan pesan per detik. Anda dapat mengubah dan menyimpan data pusat peristiwa dengan menggunakan penyedia analitik real-time atau adaptor kustom.

  • Apache Kafka adalah platform streaming acara terdistribusi sumber terbuka yang digunakan untuk alur data berkinerja tinggi, analitik streaming, integrasi data, dan aplikasi penting misi. Ini dapat dengan mudah diintegrasikan dengan integrasi data Qlik untuk menyimpan data perubahan Db2.

  • Data Lake Storage menyediakan data lake untuk menyimpan data log perubahan lokal yang diproses.

  • Azure Databricks adalah alat rekayasa data berbasis cloud yang dibangun di atas Apache Spark. Itu dapat memproses dan mengubah data dalam jumlah besar. Anda dapat menjelajahi data dengan menggunakan model pembelajaran mesin. Pekerjaan dapat ditulis dalam R, Python, Java, Scala, dan Spark SQL.

Penyimpanan dan database

Arsitektur ini membahas penyimpanan cloud yang dapat diskalakan dan lebih aman serta database terkelola untuk manajemen data yang fleksibel dan cerdas.

Pemantauan

Alat pemantauan memberikan analisis data yang komprehensif dan wawasan berharga tentang kinerja aplikasi.

  • Azure Monitor adalah solusi komprehensif untuk mengumpulkan, menganalisis, dan menindaklanjuti telemetri dari lingkungan cloud dan lokal. Ini termasuk:

    • Application Insights, untuk menganalisis dan menyajikan telemetri.

    • Log Azure Monitor, yang mengumpulkan dan mengatur data log dan performa dari sumber daya yang dipantau. Anda dapat menggabungkan data dari sumber seperti log platform Azure, agen komputer virtual, dan performa aplikasi ke dalam satu ruang kerja untuk analisis. Bahasa kueri memungkinkan analisis rekaman Anda.

    • Analitik Log, yang dapat mengkueri Log Azure Monitor. Bahasa kueri yang kuat memungkinkan Anda menggabungkan data dari beberapa tabel, menggabungkan kumpulan data yang besar, dan melakukan operasi kompleks dengan kode minimal.

Alternatif

  • Diagram sebelumnya menunjukkan Qlik yang diinstal secara lokal. Pendekatan ini adalah praktik terbaik yang direkomendasikan untuk menjaga Qlik tetap dekat dengan sumber data lokal. Alternatifnya adalah menginstal Qlik di cloud pada komputer virtual Azure.

  • Qlik Data Integration dapat mengirimkan data langsung ke Azure Databricks tanpa melalui Kafka atau hub peristiwa.

  • Qlik Data Integration tidak dapat mereplikasi data langsung ke Azure Cosmos DB, tetapi Anda dapat mengintegrasikan Azure Cosmos DB dengan hub peristiwa dengan menggunakan arsitektur sumber peristiwa.

Detail skenario

Banyak organisasi menggunakan sistem mainframe dan midrange untuk menjalankan beban kerja yang menuntut dan kritis. Sebagian besar aplikasi menggunakan database bersama, seringkali di beberapa sistem. Dalam lingkungan ini, memodernisasi ke cloud berarti bahwa data lokal harus disediakan ke aplikasi berbasis cloud. Oleh karena itu, replikasi data menjadi taktik modernisasi yang penting.

Platform Integrasi Data Qlik mencakup Qlik Replicate, yang melakukan replikasi data. Ini menggunakan pengambilan data perubahan untuk mereplikasi penyimpanan data lokal secara real time ke Azure. Data perubahan dapat berasal dari log perubahan Db2, IMS, dan VSAM. Teknik replikasi ini menghilangkan beban massal batch yang tidak nyaman. Solusi ini menggunakan instans Qlik lokal untuk mereplikasi sumber data lokal ke Azure secara real time.

Kemungkinan kasus penggunaan

Solusi ini mungkin sesuai untuk:

  • Lingkungan hibrid yang memerlukan replikasi perubahan data dari sistem mainframe atau midrange ke database Azure.

  • Migrasi database online dari Db2 ke database Azure SQL dengan sedikit waktu henti.

  • Replikasi data dari berbagai penyimpanan data lokal ke Azure untuk konsolidasi dan analisis.

Pertimbangan

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat Anda gunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Well-Architected Framework.

Keandalan

Keandalan membantu memastikan bahwa aplikasi Anda dapat memenuhi komitmen yang Anda buat kepada pelanggan Anda. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Keandalan.

  • Integrasi Data Qlik dapat dikonfigurasi dalam kluster ketersediaan tinggi.

  • Layanan database Azure mendukung redundansi zona dan dapat dirancang untuk melakukan failover ke simpul sekunder selama jendela pemeliharaan atau jika terjadi pemadaman.

Keamanan

Keamanan memberikan jaminan terhadap serangan yang disukai dan penyalahgunaan data dan sistem berharga Anda. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Keamanan.

  • ExpressRoute menyediakan koneksi pribadi dan efisien ke Azure dari lokal, tetapi Anda dapat menggunakan VPN situs-ke-situs sebagai gantinya.

  • Sumber daya Azure dapat diautentikasi dengan menggunakan ID Microsoft Entra, dan izin dikelola melalui kontrol akses berbasis peran.

  • Layanan database Azure mendukung berbagai opsi keamanan, seperti:

    • Enkripsi data saat tidak aktif.

    • Penyamaran data dinamis.

    • Database yang selalu dienkripsi.

  • Untuk informasi selengkapnya, lihat dokumentasi keamanan Azure.

Pengoptimalan Biaya

Pengoptimalan Biaya berfokus pada cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk optimalisasi biaya.

Gunakan kalkulator harga Azure untuk memperkirakan biaya untuk implementasi Anda.

Keunggulan Operasi

Keunggulan Operasional mencakup proses operasi yang menyebarkan aplikasi dan membuatnya tetap berjalan dalam produksi. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Keunggulan Operasional.

Anda dapat menggabungkan fitur Application Insights dan Analitik Log untuk memantau kesehatan sumber daya Azure. Anda dapat mengatur peringatan sehingga Anda dapat mengelola masalah secara proaktif.

Efisiensi Performa

Efisiensi Performa mengacu pada kemampuan beban kerja Anda untuk menskalakan untuk memenuhi tuntutan pengguna secara efisien. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Efisiensi Kinerja.

Azure Databricks, Data Lake Storage, dan layanan database Azure lainnya memiliki kemampuan penskalaan otomatis. Untuk informasi selengkapnya, lihat Penskalaan otomatis.

Kontributor

Microsoft mempertahankan artikel ini. Kontributor berikut menulis artikel ini.

Penulis utama:

Untuk melihat profil LinkedIn nonpublik, masuk ke LinkedIn.

Langkah selanjutnya