Edit

Bagikan melalui

Memigrasikan layanan data master ke Azure dengan CluedIn dan Azure Purview

Microsoft Purview
Azure Data Factory
Azure SQL Database
Azure Synapse Analytics

Arsitektur merangkum banyak pilar manajemen data master (MDM) menjadi solusi MDM ujung ke ujung yang koheren, konsisten. CluedIn telah memperkenalkan pendekatan MDM tanpa pemodelan yang telah terbukti mempercepat proyek MDM dan meningkatkan tingkat keberhasilan inisiatif MDM.

Sistem

Diagram berikut menunjukkan struktur arsitektur dan aliran data CluedIn.

Diagram menampilkan struktur arsitektur CluedIn.

Unduh file Visio arsitektur ini.

Alur kerja

CluedIn menggunakan jaringan pribadi virtual (VPN) Azure untuk memungkinkan Anda terhubung untuk memigrasi instans MDS lokal, atau untuk terhubung langsung ke SQL VM yang dihosting di cloud dengan instans MDS yang dihosting. Semua kebutuhan CluedIn adalah untuk menunjuk ke layanan Windows Communication Foundation (WCF) dari MDS, dan itu akan mengotomatisasi proses pemindahan data, aturan, alur kerja, dan segala sesuatu yang lain ke CluedIn atau layanan Microsoft masing-masing.

Dengan integrasi asli ke Microsoft Cost Management, Anda dapat dengan mudah memperkirakan beban kerja MDM CluedIn Anda, saat Anda berpindah dari MDS ke CluedIn. CluedIn menggunakan fitur Azure Autoscale, untuk dapat meningkatkan dan menurunkan skala lingkungan. CluedIn juga terintegrasi secara native ke dalam anggaran di Azure, sehingga Anda dapat dengan mudah mengontrol pengeluaran Anda di cloud. Integrasi ini menghilangkan kebutuhan untuk perkiraan dan penganggaran yang memakan waktu, karena biaya akan menjadi jelas dalam platform Azure.

Paket SSIS dapat dimigrasikan ke Azure Data Factory, untuk memindahkan semua alur ekstrak, transformasi, pemuatan (ETL) Anda ke dalam solusi cloud-native.

Komponen

CluedIn menyediakan integrasi asli ke 27 layanan Azure, termasuk komponen berikut:

Alternatif

Anda juga dapat memperluas platform ke skenario alternatif di fitur inti CluedIn.

Dalam versi CluedIn ini, perluasan platform dilakukan dengan Azure Services asli. Semua acara ditampilkan di Event Hub, agar pengembang Anda dapat berinteraksi dengannya dengan cara apa pun yang mereka inginkan. Azure Data Factory dapat digunakan untuk mendorong data ke CluedIn, yang menawarkan dukungan untuk membawa data di semua Layanan Azure yang berbeda ke CluedIn. Azure Functions dapat digunakan untuk berlangganan Event Hubs, di mana Anda dapat membuat kustomisasi dalam salah satu bahasa yang didukung di Azure Functions.

Detail skenario

Master Data telah diberikan tugas untuk memecahkan kualitas data, tata kelola data, dan penguasaan data bisnis terpenting dalam suatu perusahaan. JJika saat ini Anda menggunakan instance atau instance layanan data master SQL (MDS) di tempat atau cloud-hosted, skenario berikutnya menyederhanakan pengalaman pindah ke solusi manajemen data master Azure asli oleh CluedIn.

CluedIn menyediakan paritas fitur berdampingan dengan SQL MDS yang memberikan pemahaman pengguna bagi pengelola data dan tim MDM untuk dengan mudah memigrasikan beban kerja harian mereka dari MDS ke CluedIn. Selain itu, CluedIn menyediakan lebih banyak fungsi master data yang berharga, termasuk dasar data siap untuk wawasan ke dalam bisnis Anda.

Fitur CluedIn

Layanan data master secara tradisional berisi fungsi utama berikut:

  • Dukungan untuk penerapan versi model
  • Aturan bisnis
  • Layanan Kualitas Data
  • Alur kerja
  • Hirarki
  • plugin excel

CluedIn menyediakan fungsionalitas untuk semua hal di atas. Selain itu, kasus penggunaan berikut juga diaktifkan:

  • Hirarki sekarang dapat divisualisasikan secara native di Power BI.
  • Alur kerja dimigrasikan dan dapat dibuat serta diperluas secara langsung di Power Automate.
  • Aturan bisnis dan layanan kualitas data secara asli dimigrasikan ke mesin CluedIn.Rules.
  • CluedIn menyediakan pengayaan data bawaan untuk catatan MDS Anda, untuk secara otomatis memperbaiki dan memvalidasi alamat, informasi perusahaan, dan banyak lagi.
  • Kelola izin dan jalankan permintaan akses subjek data.
  • Tulis kembali ke instance MDS, jika perlu.

CluedIn juga mendukung migrasi riwayat perubahan data, dan dapat secara otomatis membangun riwayat kualitas data dari instance MDS Anda. Anda juga dapat menjalankan solusi MDS dan CluedIn in-sync, jika Anda tidak ingin mematikan instans MDS Anda segera setelah proses migrasi selesai.

CluedIn secara native mendukung Common Data Model/Dataverse. Dengan kata lain, pengguna Power Apps, Power Automate, Power BI, virtual chatbots, dan Microsoft Dynamics semuanya dapat menggunakan data secara native dari CluedIn, tanpa memerlukan penyiapan atau integrasi tambahan.

CluedIn terintegrasi secara asli dengan Azure Purview

Azure Purview menghadirkan kemampuan tata kelola data ke cloud Microsoft Azure, dan CluedIn menyediakan integrasi asli ke fungsionalitasnya.

  • Glosarium Azure Purview tersedia langsung di CluedIn dan sebaliknya.
  • CluedIn dapat menelan aset yang telah terdaftar di Purview.
  • CluedIn memindai informasi pribadi dari Azure Purview, dan dapat menunjukkan tingkat catatan di mana data pribadi berada. Itu juga menambahkan dukungan untuk informasi pribadi dalam data tidak terstruktur dan semi terstruktur, tidak hanya terstruktur.
  • CluedIn akan menggunakan skema yang diatur di Purview untuk secara otomatis memetakan kumpulan data ke dalam CluedIn.
  • CluedIn memperluas Purview Lineage dengan log pemrosesan terperinci.
  • CluedIn dapat memulai Pemindaian Purview sebelum penyerapan data baru dijadwalkan.

Gambar berikut menunjukkan set fitur Lineage.

Tangkapan layar yang menampilkan fitur CluedIn Lineage.

Dukungan Pabrik Data Azure

Azure Data Factory (ADF) menghadirkan dukungan untuk menghubungkan ke lebih dari 100+ layanan. Data ini dapat langsung dikirimkan ke CluedIn menggunakan aliran data push langsung dari ADF. CluedIn tidak hanya memungkinkan Anda untuk terhubung ke instans Master Data Service (MDS), tetapi juga terhubung ke ratusan sumber data dari seluruh perangkat lunak sebagai layanan (SaaS), database, data lake, dan banyak lagi.

Berikut ini adalah fitur dukungan utama ADF:

  • Anda dapat mengaturnya untuk mendengarkan acara dari Event Hub, dan kemudian Anda dapat memasukkan data kembali ke CluedIn.
  • Dukungan asli tersedia langsung dalam CluedIn untuk menyiapkan titik akhir khusus ADF.
  • Anda dapat dengan mudah memanfaatkan pipa ADF yang ada dengan sink target baru.

Pertimbangan

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat digunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.

Pemodelan

CluedIn menggunakan proses pemodelan otomatis, sehingga tidak perlu memigrasikan atau membuat ulang model data dari layanan data master (MDS) atau sumber data lainnya, seperti Microsoft Dynamics. Fitur ini memanfaatkan database grafik untuk secara otomatis membangun model berdasarkan data yang dikirim ke sistem. Jika Anda beralih dari model berbasis relasional tradisional ke grafik, maka Anda membawa nilai dan fleksibilitas yang luar biasa dalam inisiatif data master Anda. Pendekatan grafik tidak jauh berbeda dengan gaya pemodelan relasional.

Aspek terpenting dari pemodelan ini adalah bahwa gaya relasional akan memberi Anda dan tim Anda cara yang fleksibel untuk mewakili model data master Anda, dalam semua bentuk dan ukuran yang berbeda. Gaya ini menghasilkan fleksibilitas yang luar biasa, ketika bisnis Anda mengharuskan model data master Anda diperluas agar sesuai dengan kasus penggunaan dan persyaratan bisnis yang berbeda. CluedIn menggunakan pendekatan tanpa skema di muka untuk penyerapan data. Data Anda tidak perlu masuk ke dalam skema yang ketat dan kaku saat masuk ke platform. Namun, skema ketat dan kaku dapat diterapkan pada jalan keluar data dari CluedIn, ketika digunakan dalam kasus penggunaan berbeda yang menerapkan data dari platform CluedIn.

Gambar berikut menunjukkan kumpulan fitur Relasi.

Tangkapan layar yang menunjukkan kumpulan fitur CluedIn Relations.

Ketersediaan

Solusi ini dihosting sebagai penawaran aplikasi terkelola dan dapat diterapkan di penyewa Anda sendiri, di mana vendor akan mengelola pemutakhiran, pemeliharaan, pencadangan, dan lainnya atas nama Anda.

CluedIn terintegrasi secara asli ke dalam Azure Service Health dan pemeliharaan terjadwal Azure, sehingga pemutakhiran dan patch terasa seperti pengumuman Azure asli. Dikombinasikan dengan ketahanan tinggi pada lingkungan Azure, CluedIn dapat memenuhi persyaratan perjanjian tingkat layanan (SLA) tertinggi.

Efisiensi kinerja

Efisiensi performa adalah kemampuan beban kerja Anda untuk diskalakan agar memenuhi permintaan yang diberikan oleh pengguna dengan cara yang efisien. Untuk informasi selengkapnya, lihat Gambaran umum pilar efisiensi performa.

CluedIn memisahkan penyimpanan dari komputasi, sehingga pemrosesan data benar-benar tanpa status. Karena didukung oleh bus layanan streaming, ini berarti CluedIn dapat meningkatkan dan menurunkan, sebanyak atau sesedikit yang Anda butuhkan, bergantung pada beban kerja Anda. CluedIn mendukung fitur penskalaan otomatis Azure di dalam Layanan Azure Kubernetes (AKS), sehingga penskalaan dapat dilakukan secara otomatis. Untuk meningkatkan kinerja dalam pemrosesan data, Anda cukup mengalokasikan lebih banyak pod pemrosesan ke cluster Kubernetes Anda, yang semuanya dapat diotomatisasi.

Skalabilitas

CluedIn mendukung integrasi instans MDS sebanyak yang Anda butuhkan. Misalnya, Anda dapat menyerap dan mengelola 50 instans MDS di CluedIn. Anda dapat menjalankannya secara multitenant atau semua dicampur dalam akun yang sama. Setelah solusi MDS Anda dimigrasikan ke CluedIn, ada banyak cara untuk memasukkan sistem baru dan data master, dengan pilihan berbeda dalam cara memuat data.

CluedIn berjalan dalam kontainer Docker dan menggunakan Kubernetes untuk menghosting serta mengatur berbagai bagian aplikasi. Arsitektur ini berarti bahwa CluedIn bekerja dengan baik di lingkungan elastis dan secara otomatis dapat menskalakan ke ukuran dan infrastruktur yang dibutuhkan.

Dukungan asli untuk penskalaan otomatis memanfaatkan kekuatan Azure untuk menyediakan lingkungan yang dapat diskalakan untuk beban kerja data terbesar. Bukan hal yang umum bagi akun CluedIn untuk memiliki puluhan juta atau ratusan juta catatan di platform.

Keamanan

Keamanan memberikan jaminan terhadap serangan yang disukai dan penyalahgunaan data dan sistem berharga Anda. Untuk informasi selengkapnya, lihat Gambaran Umum pilar keamanan.

Keamanan CluedIn memberikan izin dan mengontrol akses ke layanan yang berbeda melalui kontrol akses berbasis peran Azure (RBAC), dengan kontrol kunci keamanan Azure Key Vault dan pelacakan dan pengelogan akses Azure Monitor. Selain akun pengguna yang diautentikasi, CluedIn juga mendukung sistem masuk tunggal (SSO) dan kerangka kerja identitas. Permintaan ke aplikasi CluedIn menggunakan token akses terenkripsi yang tidak memiliki korelasi dengan identitas pengguna. Dengan dukungan Microsoft Entra ID Asli, cukup plugin informasi Security Assertion Markup Language (SAML) 2.0 Anda ke dalam CluedIn dan dapat segera digunakan untuk mengelola pengguna dan akses peran ke solusi MDM baru Anda.

Ketahanan

CluedIn berjalan dalam mode ketersediaan tinggi di penyimpanan data dan tingkat aplikasi. Karena pemisahan penyimpanan dan pemrosesan, CluedIn memiliki resistansi bawaan dan toleransi kesalahan. Bagian yang berbeda dari aplikasi CluedIn dapat ditingkatkan dan diturunkan secara independen, untuk memenuhi beragam beban kerja.

Keunggulan operasional

CluedIn menggunakan pipeline Azure Pipelines dan continuous delivery (CI/CD) untuk menangani penerapan dan pembaruan bergulir ke lingkungan AKS. Pelanggan juga dapat memanfaatkan infrastruktur ini untuk menerapkan kustomisasi mereka sendiri ke CluedIn itu sendiri.

Pengoptimalan biaya

Optimalisasi biaya adalah tentang mencari cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Gambaran umum pilar pengoptimalan biaya.

Biaya CluedIn diawali dengan rendah dan, berdasarkan penggunaan Anda, akan meningkatkan harga agar sesuai dengan penggunaan. Anggaran dapat diatur langsung dalam portal Azure sehingga Anda dapat tetap mengontrol biaya operasional Anda.

Azure mengukur dan memulai uji coba

Anda dapat memulai uji coba CluedIn di situs web mereka, yang juga dapat membantu Anda mengukur biaya hosting Azure dengan perkiraan Azure bawaan untuk lingkungan dengan ukuran berbeda.

Menyebarkan skenario ini

Untuk menyebarkan CluedIn untuk tujuan pengembangan dan evaluasi menggunakan Docker, lihat Panduan penginstalan lokal.

Untuk menginstal CluedIn dalam produksi, instance CluedIn dapat diinstal langsung dari Azure Marketplace pada penyewa Azure Anda sendiri.

Kontributor

Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.

Langkah berikutnya