Standar metadata
Manajemen Metadata memainkan peran penting dalam arsitektur data. Metadata adalah data tentang data lain. Ini menjelaskan data, memberikan referensi yang membantu Anda menemukan, mengamankan, dan mengontrol data. Metadata juga mengikat data bersama-sama. Ini dapat digunakan untuk memvalidasi integritas dan kualitas data, merutekan atau mereplikasi data ke lokasi baru, mengubah data, dan mengetahui arti data. Metadata juga penting dalam mendemokratisasi data melalui portal layanan mandiri.
Ada tren yang berkembang di industri untuk mendekatkan wawasan data dengan analis data dan ilmuwan menggunakan portal yang menggunakan lebih banyak metadata. Tren ini dikenal sebagai pengamatan data. Pengamatan data menggunakan konsep seperti metadata lake, grafik pengetahuan, atau grafik metadata untuk menjelaskan platform tempat metadata dipusatkan. Ini adalah cara yang baik bagi Anda untuk membangun tampilan terpadu tentang bagaimana data digunakan dan bersumber di seluruh organisasi Anda saat menggunakan jala data terdistribusi.
Strategi manajemen metadata yang baik tumbuh secara organik. Ini dimulai sederhana dan kecil dengan terlebih dahulu mengidentifikasi area yang paling penting. Strategi manajemen metadata yang baik juga didukung dengan layanan dan proses yang jelas. Untuk memulai, ada baiknya untuk mengetahui berbagai kategori metadata:
- Metadata bisnis menjelaskan semua aspek yang digunakan untuk tata kelola, temuan , dan pemahaman data. Beberapa contoh terkenal termasuk istilah dan definisi bisnis dan informasi tentang kepemilikan data, penggunaan, dan asal.
- Metadata teknis menjelaskan aspek struktural data pada waktu desain. Beberapa contoh terkenal termasuk informasi skema, format data dan informasi protokol, serta kunci enkripsi dan dekripsi.
- Metadata operasional menjelaskan aspek pemrosesan data pada waktu proses. Beberapa contoh terkenal termasuk informasi proses, waktu eksekusi, informasi kegagalan proses, dan ID pekerjaan.
- Metadata sosial menjelaskan perspektif pengguna tentang data dari konsumennya. Beberapa contoh terkenal termasuk informasi penggunaan dan pelacakan pengguna, data hasil pencarian, filter dan klik, waktu tampilan, temuan profil, dan komentar.
Dalam arsitektur data terdesentralisasi, manajemen metadata adalah tantangan organisasi yang mengharuskan menemukan keseimbangan antara metadata yang dikelola secara terpusat dan metadata terkelola gabungan. Penting bagi Anda untuk memahami tim dan fungsi untuk analitik skala cloud di Azure saat Anda merencanakan manajemen metadata Anda. Menggunakan praktik manajemen data kolaboratif meningkatkan komunikasi, integrasi, dan otomatisasi aliran data antara tim Anda. Anda dapat mengatasi beberapa kompleksitas manajemen metadata dengan mencolok keseimbangan yang tepat antara tata kelola pusat dan kepemilikan domain.
Saat Anda memutuskan metadata apa yang akan dikelola secara terpusat atau federasi ke domain data Anda dan memulai implementasi Anda, tanyakan pada diri Anda:
- Metadata bisnis apa yang penting?
- Metadata teknis apa yang diperlukan untuk interoperabilitas?
- Proses dan aliran apa yang mengambil data?
- Di mana model atau skema dibuat dan dikelola?
- Tim informasi apa yang perlu dikirimkan secara terpusat untuk memungkinkan departemen tata kelola data melakukan pekerjaannya dengan benar?
Dengan menggunakan jawaban Anda atas pertanyaan-pertanyaan ini, petakan siklus hidup konten untuk setiap aliran metadata Anda, dan tentukan semua dependensi. Anda kemudian memiliki model metadata yang dapat menghubungkan domain bisnis, proses, teknologi, dan data.
Setelah mengetahui metadata apa yang Anda butuhkan, Anda harus memilih tempat untuk menyimpan dan memprosesnya. Anda dapat melakukan ini menggunakan Microsoft Purview.
Menggunakan Microsoft Purview untuk mengelola data estate Anda secara besar-besaran
Microsoft Purview adalah solusi tata kelola data terpadu yang membantu Anda mengelola dan mengatur data lokal, multicloud, dan perangkat lunak sebagai layanan (SaaS). Ini melakukan manajemen metadata dalam skala besar, karena ini adalah layanan otomatis sepenuhnya yang secara cerdas melakukan penemuan data, pemindaian data, kualitas data, dan manajemen akses. Ini juga menyediakan peta holistik dari banyak wawasan tentang arsitektur jala data Anda.
Microsoft Purview adalah serangkaian solusi komprehensif yang dapat membantu organisasi Anda mengatur, melindungi, dan mengelola data, di mana pun berada. Solusi Microsoft Purview menyediakan cakupan terintegrasi dan membantu mengatasi fragmentasi data di seluruh organisasi, kurangnya visibilitas yang mengancam perlindungan dan tata kelola data, dan pengaburan peran manajemen TI tradisional.
Microsoft Purview menggabungkan solusi dan layanan tata kelola data dan kepatuhan bersama-sama ke dalam platform terpadu untuk membantu organisasi Anda:
- Mendapatkan visibilitas ke dalam data di seluruh organisasi Anda
- Melindungi dan mengelola data sensitif di seluruh siklus hidupnya, di mana pun data tersebut berada
- Mengatur data dengan mulus dengan cara baru dan komprehensif
- Mengelola risiko data penting dan persyaratan peraturan
Saat menerapkan Microsoft Purview, jangan memperkenalkan terlalu banyak perubahan dan kompleksitas dengan cepat. Metadata teknis adalah fondasi Microsoft Purview. Anda perlu mengumpulkan dan mengatur metadata Anda sebelum Anda dapat memahaminya.
Setelah Anda memiliki metadata, mulailah dengan dasar-dasarnya:
- Istilah bisnis
- Daftar sumber data otoritatif
- Daftar database
- Domain tata kelola
- Informasi skema
- Kepemilikan data
- Kepengurusan data
- Keamanan
- Kualitas data
Kemudian skalakan dengan secara perlahan melibatkan lebih banyak pemilik domain dan pengurus data dan dengan menambahkan lebih banyak klasifikasi dan label sensitivitas. Penambahan ini meningkatkan pengalaman pencarian dan memungkinkan manajemen akses data yang lebih baik.
Microsoft Purview menawarkan fitur yang disebut domain Tata Kelola, yang menetapkan batas untuk tata kelola terpadu, kepemilikan, dan penemuan produk data dan konsep bisnis dalam arsitektur berorientasi domain Anda. Untuk informasi selengkapnya, lihat Domain tata kelola di Microsoft Purview.
Menggunakan Azure Cosmos DB untuk membuat Grafik Pengetahuan
Solusi wawasan data harus menjelaskan bagaimana data digunakan dan hubungan antara entitas seperti data sumber dan produk data dan antara produk data dari satu domain dan produk dependen dari domain lain. Anda dapat menggunakan database grafik atau antarmuka pengguna kustom untuk memodelkan hubungan ini.
Untuk membangun tampilan terpadu data organisasi Anda dengan pengalaman pengguna kustom, lihat Azure Cosmos DB. Azure Cosmos DB adalah layanan database multi-model yang didistribusikan secara global dengan titik akhir NoSQL. Ini menyediakan layanan database grafik melalui Azure Cosmos DB untuk Apache Gremlin untuk menyimpan grafik besar dengan miliaran simpul dan tepi.
Hasil akhir arsitektur Azure Cosmos DB adalah grafik di seluruh organisasi yang menyediakan tampilan terpadu dari semua data di organisasi Anda menggunakan konteks end-to-end. Danau metadata tidak hanya tentang menyimpan informasi. Ini juga secara aktif mengatur metadata Anda sebagai grafik dengan menghubungkannya dengan layanan dan alat lain. Grafik terorganisir ini memungkinkan Anda menghubungkan silang banyak area subjek, termasuk:
- Domain
- Kualitas data
- Penggunaan data
- Kemampuan bisnis
- Fungsi aplikasi
- Informasi arsitektur teknis
- Aktivitas operasional
- Metadata organisasi
- Metadata kepemilikan aplikasi
- Informasi lokasi
- Informasi manajemen siklus hidup aplikasi