Standar metadata

Manajemen Metadata memainkan peran penting dalam arsitektur data. Metadata adalah data tentang data lain. Ini menjelaskan data, memberikan referensi yang membantu Anda menemukan, mengamankan, dan mengontrol data. Metadata juga mengikat data bersama-sama. Ini dapat digunakan untuk memvalidasi integritas dan kualitas data, merutekan atau mereplikasi data ke lokasi baru, mengubah data, dan mengetahui arti data. Metadata juga penting dalam mendemokratisasi data melalui portal layanan mandiri.

Strategi manajemen metadata yang baik tumbuh secara organik. Ini dimulai sederhana dan kecil dengan terlebih dahulu mengidentifikasi area yang paling penting. Strategi manajemen metadata yang baik juga didukung dengan layanan dan proses yang jelas. Untuk memulai, ada baiknya untuk mengetahui berbagai kategori metadata:

• Metadata bisnis menjelaskan semua aspek yang digunakan untuk tata kelola, temuan , dan pemahaman data. Beberapa contoh terkenal termasuk istilah dan definisi bisnis dan informasi tentang kepemilikan data, penggunaan, dan asal.
• Metadata teknis menjelaskan aspek struktural data pada waktu desain. Beberapa contoh terkenal termasuk informasi skema, format data dan informasi protokol, serta kunci enkripsi dan dekripsi.
• Metadata operasional menjelaskan aspek pemrosesan data pada waktu proses. Beberapa contoh terkenal termasuk informasi proses, waktu eksekusi, informasi kegagalan proses, dan ID pekerjaan.
• Metadata sosial menjelaskan perspektif pengguna tentang data dari konsumennya. Beberapa contoh terkenal termasuk informasi penggunaan dan pelacakan pengguna, data hasil pencarian, filter dan klik, waktu tampilan, temuan profil, dan komentar.

Dalam arsitektur data terdesentralisasi, manajemen metadata adalah tantangan organisasi yang mengharuskan menemukan keseimbangan antara metadata yang dikelola secara terpusat dan metadata terkelola gabungan. Penting bagi Anda untuk memahami tim dan fungsi untuk analitik skala cloud di Azure saat Anda merencanakan manajemen metadata Anda. Menggunakan praktik manajemen data kolaboratif meningkatkan komunikasi, integrasi, dan otomatisasi aliran data antara tim Anda. Anda dapat mengatasi beberapa kompleksitas manajemen metadata dengan mencolok keseimbangan yang tepat antara tata kelola pusat dan kepemilikan domain.

Saat Anda memutuskan metadata apa yang akan dikelola secara terpusat atau federasi ke domain data Anda dan memulai implementasi Anda, tanyakan pada diri Anda:

• Metadata bisnis apa yang penting?
• Metadata teknis apa yang diperlukan untuk interoperabilitas?
• Proses dan aliran apa yang mengambil data?
• Di mana model atau skema dibuat dan dikelola?
• Tim informasi apa yang perlu dikirimkan secara terpusat untuk memungkinkan departemen tata kelola data melakukan pekerjaannya dengan benar?

Dengan menggunakan jawaban Anda atas pertanyaan-pertanyaan ini, petakan siklus hidup konten untuk setiap aliran metadata Anda dan tentukan semua dependensi. Anda kemudian memiliki model metadata yang dapat menghubungkan domain bisnis, proses, teknologi, dan data.

Setelah mengetahui metadata apa yang Anda butuhkan, Anda harus memilih tempat untuk menyimpan dan memprosesnya. Anda dapat melakukan ini menggunakan Azure Purview.

Menggunakan Azure Purview untuk mengelola data estate Anda secara luas

Azure Purview adalah solusi tata kelola data terpadu yang membantu Anda mengelola dan mengatur data lokal, multicloud, dan perangkat lunak sebagai layanan (SaaS). Ini melakukan manajemen metadata dalam skala besar, karena ini adalah layanan otomatis sepenuhnya yang secara cerdas melakukan penemuan data, pemindaian data, dan manajemen akses. Ini juga menyediakan peta holistik dari banyak wawasan tentang arsitektur jala data Anda.

Saat menerapkan Azure Purview, jangan memperkenalkan terlalu banyak perubahan dan kompleksitas dengan cepat. Metadata teknis adalah fondasi Azure Purview. Anda perlu mengumpulkan dan mengatur metadata Anda sebelum Anda dapat memahaminya.

Setelah Anda memiliki metadata, mulailah dengan dasar-dasarnya:

• Istilah bisnis
• Daftar sumber data otoritatif
• Daftar database
• Informasi skema
• Kepemilikan data
• Kepengurusan data
• Keamanan

Kemudian skalakan dengan secara perlahan melibatkan lebih banyak pemilik domain dan pengurus data dan dengan menambahkan lebih banyak klasifikasi dan label sensitivitas. Penambahan ini meningkatkan pengalaman pencarian dan memungkinkan manajemen akses data yang lebih baik.

Untuk atribut metadata kustom Anda, seperti daftar domain dan metadata aplikasi, pertimbangkan untuk membuat definisi jenis tambahan di Azure Purview.

Untuk arsitektur berorientasi domain Anda, sejajarkan Koleksi dan Glosarium Azure Purview Anda dengan domain data Anda. Koleksi Azure Purview mengatur aset dan sumber. Anda dapat menggunakan Koleksi sebagai batas untuk aset dan sumber Anda dan menyelaraskannya dengan domain tertentu. Anda dapat melakukan hal yang sama dengan Glosarium Anda. Buat struktur hierarki dalam Glosarium Anda dan selaraskan dengan domain Anda. Minta domain Anda untuk mengambil kepemilikan untuk membuat hubungan antara istilah glosarium dan atribut koleksi Anda. Ini membuat transparansi kepemilikan data dan meningkatkan semantik data Anda.

Menggunakan Azure Cosmos DB untuk membuat Knowledge Graph organisasi

Ada tren yang berkembang di industri untuk mendekatkan wawasan data dengan analis data dan ilmuwan menggunakan portal yang menggunakan lebih banyak metadata secara intensif. Tren ini dikenal sebagai pengamatan data. Pengamatan data menggunakan konsep seperti metadata lake, grafik pengetahuan, atau grafik metadata untuk menjelaskan platform tempat metadata dipusatkan. Ini adalah cara yang baik bagi Anda untuk membangun tampilan terpadu tentang bagaimana data digunakan dan bersumber di seluruh organisasi Anda saat menggunakan jala data terdistribusi.

Solusi wawasan data harus menjelaskan bagaimana data digunakan dan hubungan antara entitas seperti data sumber dan produk data dan antara produk data dari satu domain dan produk dependen dari domain lain. Anda dapat menggunakan database grafik atau antarmuka pengguna kustom untuk memodelkan hubungan ini.

Untuk membangun tampilan terpadu data organisasi Anda dengan pengalaman pengguna kustom, lihat Azure Cosmos DB. Azure Cosmos DB adalah layanan database multi-model yang didistribusikan secara global dengan titik akhir NoSQL. Ini menyediakan layanan database grafik melalui Azure Cosmos DB untuk Apache Gremlin untuk menyimpan grafik besar dengan miliaran simpul dan tepi.

Hasil akhir arsitektur Azure Cosmos DB adalah grafik di seluruh organisasi yang menyediakan tampilan terpadu dari semua data di organisasi Anda menggunakan konteks end-to-end. Danau metadata tidak hanya tentang menyimpan informasi. Ini juga secara aktif mengatur metadata Anda sebagai grafik dengan menghubungkannya dengan layanan dan alat lain. Grafik terorganisir ini memungkinkan Anda menghubungkan silang banyak area subjek, termasuk:

• Domain
• Kualitas data
• Penggunaan data
• Kemampuan bisnis
• Fungsi aplikasi
• Informasi arsitektur teknis
• Aktivitas operasional
• Metadata organisasi
• Metadata kepemilikan aplikasi
• Informasi lokasi
• Informasi manajemen siklus hidup aplikasi

Langkah berikutnya

• Mengamankan analitik skala cloud di Azure