Skenario lembaga keuangan untuk data mesh
Skenario ini ditujukan untuk pelanggan yang ingin menggunakan analitik skala cloud untuk skalabilitas dan arsitektur jala data . Ini menunjukkan skenario kompleks dengan zona pendaratan, integrasi data, dan produk data.
Profil pelanggan
Perusahaan fiktif, Woodgrove Bank, adalah perusahaan jasa keuangan besar dengan jejak di seluruh dunia. Data Woodgrove Bank ditempatkan dalam sistem penyebaran lokal dan cloud. Dalam arsitektur Woodgrove Bank, ada beberapa sistem gudang data untuk pemasaran konsolidasi dan pelaporan terintegrasi. Arsitektur ini mencakup beberapa data lake untuk analitik ad hoc dan penemuan data. Aplikasi Woodgrove Bank saling terhubung melalui pola integrasi aplikasi, yang sebagian besar berbasis API atau berbasis peristiwa.
Situasi saat ini
Sangat menantang bagi Woodgrove Bank untuk mendistribusikan data ke lokasi yang berbeda karena kompleksitas pergudangan data. Mengintegrasikan data baru memakan waktu, dan sangat menggoda untuk menggandakan data. Woodgrove Bank merasa sulit untuk mengawasi lanskap data end-to-end karena konektivitas titik-ke-titik. Bank meremehkan permintaan konsumsi data yang intensif. Kasus penggunaan baru diperkenalkan dengan cepat, satu demi satu. Tata kelola data, seperti kepemilikan dan kualitas data, serta biaya sulit dikendalikan. Sulit untuk mengikuti peraturan terkini karena Woodgrove Bank tidak tahu persis di mana datanya berada.
Solusi arsitektur: Data mesh
Selama beberapa tahun terakhir, organisasi telah mengakui bahwa data adalah jantung dari segalanya. Data membuka efisiensi baru, mendorong inovasi, membuka model bisnis baru, dan meningkatkan kepuasan pelanggan. Ini adalah prioritas utama bagi perusahaan untuk menggunakan metode berbasis data, seperti data dalam skala besar.
Mencapai tahap di mana nilai data yang lebih dalam dapat diakses oleh semua anggota organisasi menantang. Sistem lama dan saling berhubungan erat, platform monolitik terpusat, dan tata kelola yang kompleks dapat menjadi hambatan signifikan untuk menghasilkan nilai dari data.
Tentang jaring data
Konsep data mesh, istilah yang diciptakan oleh Zhamak Dehghani, mencakup data, teknologi, proses, dan organisasi. Secara konseptual, ini adalah pendekatan yang dapat diakses untuk mengelola data di mana berbagai domain menggunakan data mereka sendiri. Jala data menantang gagasan pemusatan data konvensional. Daripada melihat data sebagai satu repositori besar, jala data mempertimbangkan penguraian produk data independen. Pergeseran ini, dari kepemilikan terpusat ke federasi, didukung oleh platform data modern dan layanan mandiri, yang biasanya dirancang dengan menggunakan teknologi cloud-native.
Saat Anda memecah konsep jala data menjadi blok penyusun, berikut adalah beberapa poin penting yang perlu dipertimbangkan:
- Data sebagai produk: Setiap domain (organisasi) mengoperasikan datanya dari ujung ke ujung. Akuntabilitas terletak pada pemilik data di dalam domain. Alur menjadi perhatian kelas satu dari domain itu sendiri.
- Tata kelola data komputasi gabungan: Untuk memastikan bahwa setiap pemilik data dapat mempercayai yang lain dan berbagi produk datanya, badan tata kelola data perusahaan harus ditetapkan. Badan tata kelola menerapkan kualitas data, visibilitas pusat kepemilikan data, manajemen akses data, dan kebijakan privasi data.
- Kepemilikan data berorientasi domain: Perusahaan idealnya harus menentukan dan memodelkan setiap simpul domain data dalam jala dengan menerapkan prinsip desain berorientasi domain.
- Platform data layanan mandiri: Jala data memerlukan platform data layanan mandiri yang memungkinkan pengguna untuk menghapus kompleksitas teknis dan fokus pada kasus penggunaan data individual mereka.
Analitik skala cloud
Pemikiran data sebagai produk dan model platform layanan mandiri bukan hal baru bagi Microsoft. Microsoft telah mengamati praktik terbaik platform terdistribusi, alur di seluruh domain, kepemilikan federasi, dan data penjelasan mandiri selama bertahun-tahun.
Woodgrove Bank dapat beralih ke jala data dengan menggunakan analitik skala cloud. Analitik skala cloud adalah cetak biru sumber terbuka dan preskriptif untuk merancang dan dengan cepat menyebarkan platform data modern. Ini digabungkan dengan praktik terbaik dan prinsip desain Azure dan selaras dengan Azure Well-Architected Framework. Analitik skala cloud memberi perusahaan sudut pandang yang ditentukan 80 persen, dan 20 persen sisanya dapat disesuaikan.
Analitik skala cloud menawarkan kepada perusahaan jalur desain strategis menuju jala data, dan dapat digunakan untuk menyiapkan arsitektur seperti itu dengan cepat. Ini menawarkan cetak biru, termasuk layanan platform data inti untuk manajemen data.
Pada tingkat tertinggi, analitik skala cloud menggunakan kemampuan manajemen data, yang diaktifkan melalui zona pendaratan manajemen data. Zona ini bertanggung jawab atas tata kelola data federasi organisasi platform (layanan mandiri), dan domain data yang mendorong nilai bisnis melalui produk data. Manfaat dari pendekatan ini adalah menghilangkan kompleksitas teknis, sambil mematuhi standar yang sama. Ini memastikan bahwa tidak ada proliferasi teknologi. Ini juga memungkinkan perusahaan untuk memulai modular, dengan tapak kecil, dan kemudian tumbuh seiring waktu.
Zona arahan manajemen data, seperti yang Anda lihat dalam diagram berikut, mengelilingi semua domain data. Ini menyatukan semua domain dan memberikan pengawasan yang dicari oleh Woodgrove Bank.
Analitik skala cloud juga menganjurkan penerapan tata kelola konsisten yang menggunakan arsitektur umum saat produk data didistribusikan. Kerangka kerja ini memungkinkan komunikasi langsung antar domain. Ini tetap terkendali dengan menempatkan penekanan pada katalog pusat dan klasifikasi untuk melindungi data dan memungkinkan grup untuk menemukan data. Ini menempatkan payung di atas data estate Anda.
Domain data
Saat Anda menggunakan analitik skala cloud sebagai jalur strategis, Anda perlu memikirkan penguraian arsitektur Anda dan granularitas yang dihasilkan. Jala data menguraikan data dengan tidak mengikuti batas teknologi. Sebaliknya, ini menerapkan prinsip-prinsip desain berbasis domain (DDD), sebuah pendekatan untuk pengembangan perangkat lunak yang melibatkan sistem kompleks untuk organisasi yang lebih besar. DDD populer karena efeknya pada perangkat lunak modern dan praktik pengembangan aplikasi, seperti layanan mikro.
Salah satu pola dari desain berbasis domain dikenal sebagai konteks terbatas. Konteks terikat digunakan untuk menetapkan batas logis dari ruang solusi domain guna mengelola kerumitan dengan lebih baik. Penting bagi tim untuk memahami aspek mana, termasuk data, yang dapat berubah dan yang merupakan dependensi bersama untuk berkoordinasi dengan orang lain. Jala data merangkul konteks terikat. Ini menggunakan pola ini untuk menjelaskan bagaimana organisasi dapat berkoordinasi di sekitar domain data dan fokus pada pengiriman data sebagai produk. Setiap domain data memiliki dan mengoperasikan beberapa produk data dengan tumpukan teknologinya sendiri, yang independen dari yang lain.
Produk data
Saat Anda memperbesar arsitektur bagian dalam dari domain data seperti itu, Anda berharap menemukan produk data di dalamnya.
Produk data memenuhi kebutuhan khusus dalam bisnis yang menggunakan data. Produk data mengelola, mengatur, dan memahami data di seluruh domain, lalu menyajikan wawasan yang mereka peroleh. Produk data adalah hasil data dari satu atau banyak integrasi data atau produk data lainnya. Produk data selaras dengan domain data dan mewarisi bahasa yang dibuat dan diformalkan yang sama. Ini disepakati oleh pemangku kepentingan dan desainer, dan melayani kebutuhan desain. Setiap domain, yang menghasilkan data, bertanggung jawab untuk membuat produk data ini tersedia untuk domain lain.
Untuk membantu mengirimkan produk data dengan cepat, analitik skala cloud menawarkan templat untuk distribusi data dan pola integrasi. Kerangka kerja ini menyediakan batch data, streaming, dan analitik untuk memenuhi kebutuhan konsumen yang beragam.
Satu hal hebat tentang analitik skala cloud adalah bagaimana domain dan produk data diatur. Setiap domain data selaras dengan satu zona pendaratan data, yang merupakan konstruksi logis dan satuan skala dalam arsitektur analitik skala cloud. Ini memungkinkan retensi data dan eksekusi beban kerja data, yang menghasilkan wawasan dan nilai. Setiap produk data disejajarkan dengan satu grup sumber daya dalam zona arahan data, dan semua zona pendaratan data dan zona pengelolaan disejajarkan dengan langganan. Pendekatan ini memudahkan implementasi dan manajemen.
Semua templat analitik skala cloud mewarisi serangkaian kebijakan yang sama dari zona pendaratan manajemen data. Templat secara otomatis memberikan metadata yang diperlukan untuk penemuan data, tata kelola, keamanan, manajemen biaya, dan keunggulan operasional. Anda dapat dengan cepat melakukan onboarding domain data baru tanpa perlu onboarding, integrasi, dan pengujian yang kompleks.
Diagram berikut mengilustrasikan seperti apa produk data itu:
Pendekatan pragmatis untuk membangun produk data adalah menyelaraskan dengan sumber, tempat asal data, atau dengan kasus penggunaan yang digunakan. Dalam kedua kasus, Anda perlu memberikan tampilan abstrak dari model data aplikasi (kompleks) yang mendasarinya. Anda harus mencoba menyembunyikan detail teknis dan mengoptimalkan konsumsi data yang intensif. Tampilan Azure Synapse atau file Parquet, yang secara logis mengelompokkan data bersama-sama, adalah contoh bagaimana produk data dapat dibagikan di berbagai domain data.
Selanjutnya, Anda perlu bekerja pada kemampuan untuk menemukan data, asal, penggunaan, dan garis keturunan. Pendekatan yang terbukti adalah dengan menggunakan layanan tata kelola data, seperti Azure Purview, untuk mendaftarkan semua data. Integrasi data dalam analitik skala cloud secara sempurna menghubungkan titik-titik karena memungkinkan pembuatan produk data ini karena secara bersamaan melakukan pendaftaran metadata.
Dengan menyelaraskan domain data dan koleksi Azure Purview, Anda secara otomatis mengambil semua asal data, silsilah data, detail kualitas data, dan informasi konsumsi dari masing-masing domain. Dengan pendekatan ini, Anda dapat menghubungkan beberapa domain data dan produk ke solusi tata kelola terpusat, yang menyimpan semua metadata dari setiap lingkungan. Manfaatnya adalah mengintegrasikan semua metadata secara terpusat dan membuatnya mudah diakses oleh berbagai konsumen. Anda dapat memperluas arsitektur ini untuk mendaftarkan produk data baru.
Diagram berikut mengilustrasikan arsitektur jala data lintas domain yang menggunakan analitik skala cloud.
Desain jaringan memungkinkan produk data dibagikan di seluruh domain dengan menggunakan biaya minimal dan menghilangkan satu titik kegagalan dan batasan bandwidth. Untuk membantu memastikan keamanan, Anda dapat menggunakan model keamanan Zero Trust Microsoft. Analitik skala cloud mengusulkan penggunaan isolasi jaringan melalui titik akhir privat dan komunikasi jaringan privat, model akses data berbasis identitas yang menggunakan API, UMI, dan grup keamanan berlapis, mengikuti prinsip hak istimewa paling sedikit.
Anda dapat menggunakan identitas terkelola untuk memastikan bahwa model akses hak istimewa paling rendah diikuti. Aplikasi dan layanan dalam model ini memiliki akses terbatas ke produk data. Kebijakan Azure, dengan kebijakan data yang akan datang, digunakan untuk mengaktifkan layanan mandiri dan memberlakukan sumber daya yang sesuai dalam semua produk data, dalam skala besar. Dengan desain ini, Anda dapat memiliki akses data yang seragam, sambil tetap memegang kendali penuh melalui tata kelola dan audit data terpusat.
Berevolusi menuju masa depan
Analitik skala cloud dirancang dengan ingat jala data. Analitik skala cloud menyediakan pendekatan yang terbukti di mana organisasi dapat berbagi data di banyak domain data. Kerangka kerja ini memungkinkan domain untuk memiliki otonomi untuk membuat pilihan dan mengatur arsitektur dengan ring-fencing dengan layanan manajemen data.
Saat Anda menerapkan jala data, kelompokkan dan atur domain Anda secara logis. Pendekatan ini memerlukan tampilan perusahaan dan kemungkinan pergeseran budaya untuk organisasi Anda. Pergeseran ini mengharuskan Anda untuk menyatukan kepemilikan data di antara domain data dan pemilik yang bertanggung jawab untuk menyediakan data mereka sebagai produk. Ini juga mengharuskan tim untuk menyesuaikan diri dengan kemampuan terpusat yang ditawarkan oleh zona arahan manajemen data. Pendekatan baru ini mungkin mengharuskan tim individu untuk menyerahkan mandat mereka saat ini, yang kemungkinan akan menghasilkan perlawanan. Anda mungkin harus membuat pilihan politik tertentu dan mencapai keseimbangan antara pendekatan terpusat dan desentralisasi.
Anda dapat menskalakan arsitektur jala data dengan menambahkan lebih banyak zona arahan ke arsitektur untuk masing-masing domain. Zona pendaratan ini menggunakan peering jaringan virtual untuk terhubung ke zona arahan manajemen data dan semua zona pendaratan lainnya. Pola ini memungkinkan Anda berbagi produk data dan sumber daya di seluruh zona. Saat Anda memisahkan menjadi zona terpisah, Anda dapat menyebarkan beban kerja di seluruh langganan dan sumber daya Azure. Pendekatan ini memungkinkan Anda untuk menerapkan mesh data secara organik.
Pelajari lebih lanjut
Sumber daya Microsoft:
Artikel oleh pendiri data mesh Zhamak Dehghani: