Mendaftarkan sumber data di Azure Data Catalog
Penting
Azure Data Catalog dihentikan pada 15 Mei 2024.
Akun Azure Data Catalog baru tidak dapat lagi dibuat.
Untuk fitur katalog data, silakan gunakan layanan Microsoft Purview , yang menawarkan tata kelola data terpadu untuk seluruh data estate Anda.
Jika Anda sudah menggunakan Azure Data Catalog, Anda harus membuat rencana migrasi agar organisasi Anda pindah ke Microsoft Purview sebelum 15 Mei 2024.
Pengantar
Azure Data Catalog adalah layanan cloud terkelola sepenuhnya yang berfungsi sebagai sistem pendaftaran dan penemuan sumber data perusahaan. Dengan kata lain, Azure Data Catalog membantu orang menemukan, memahami, dan menggunakan sumber data, dan membantu organisasi mendapatkan nilai lebih dari data yang ada. Langkah pertama untuk membuat sumber data dapat ditemukan melalui Azure Data Catalog adalah mendaftarkan sumber data tersebut.
Mendaftarkan sumber data
Pendaftaran adalah proses mengekstrak metadata dari sumber data dan menyalin data itu ke layanan Azure Data Catalog. Data tetap berada di tempatnya saat ini berada, dan tetap berada di bawah kontrol administrator dan kebijakan sistem saat ini.
Untuk mendaftarkan sumber data, ikuti langkah-langkah berikut:
- Di portal Azure Data Catalog, jalankan alat pendaftaran sumber data Azure Data Catalog.
- Masuk dengan akun kerja atau sekolah Anda dengan kredensial Microsoft Entra yang sama dengan yang Anda gunakan untuk masuk ke portal.
- Memilih sumber data yang ingin Anda daftarkan.
Setelah Anda mendaftarkan sumber data, katalog melacak lokasinya dan mengindeks metadatanya. Pengguna dapat mencari, menelusuri, dan menemukan sumber data, lalu menggunakan lokasinya untuk tersambung dengannya menggunakan aplikasi atau alat pilihan mereka.
Sumber data yang didukung
Untuk daftar sumber data yang saat ini didukung, lihat Data Catalog DSR.
Metadata struktural
Saat Anda mendaftarkan sumber data, alat pendaftaran mengekstrak informasi tentang struktur objek yang Anda pilih. Informasi tersebut disebut sebagai metadata struktural.
Untuk semua objek, metadata struktural ini mencakup lokasi objek, sehingga pengguna yang menemukan data dapat menggunakan informasi tersebut untuk tersambung ke objek di alat klien pilihan mereka. Metadata struktural lainnya mencakup nama dan jenis objek, serta nama atribut/kolom dan jenis data.
Metadata deskriptif
Selain metadata struktural inti yang diekstrak dari sumber data, alat pendaftaran sumber data mengekstrak metadata deskriptif. Untuk SQL Server Analysis Services dan SQL Server Reporting Services, metadata ini diambil dari properti Deskripsi yang diekspos oleh layanan ini. Untuk SQL Server, nilai yang disediakan menggunakan properti ms_description diperluas diekstrak. Untuk Oracle Database, alat pendaftaran sumber data mengekstrak kolom COMMENTS dari tampilan ALL_TAB_COMMENTS.
Selain metadata deskriptif yang diekstrak dari sumber data, pengguna juga dapat memasukkan metadata deskriptif dengan menggunakan alat pendaftaran sumber data. Pengguna dapat menambahkan tag, dan mereka dapat mengidentifikasi ahli untuk objek yang didaftarkan. Semua metadata deskriptif ini disalin ke layanan Azure Data Catalog bersama dengan metadata struktural.
Menyertakan pratinjau
Secara default, hanya metadata yang diekstrak dari sumber data dan disalin ke layanan Azure Data Catalog, akan tetapi, memahami sumber data sering kali lebih mudah ketika Anda dapat melihat sampel data yang dimuatnya.
Anda dapat menyertakan pratinjau rekam jepret data di setiap tabel dan tampilan yang terdaftar, menggunakan alat pendaftaran sumber data Data Catalog. Jika Anda memilih untuk menyertakan pratinjau selama pendaftaran, alat pendaftaran menyertakan hingga 20 rekaman dari setiap tabel dan tampilan. Rekam jepret tersebut kemudian disalin ke katalog bersama dengan metadata struktural dan deskriptif.
Catatan
Tabel lebar dengan sejumlah besar kolom mungkin memiliki kurang dari 20 rekaman yang disertakan dalam pratinjaunya.
Menyertakan profil data
Sama seperti menyertakan pratinjau dapat memberikan konteks berharga bagi pengguna yang mencari sumber data di Azure Data Catalog, menyertakan profil data dapat mempermudah pemahaman atas sumber data yang ditemukan.
Dengan menggunakan alat pendaftaran sumber data Azure Data Catalog, Anda dapat menyertakan profil data untuk setiap tabel dan tampilan yang terdaftar. Jika Anda memilih untuk menyertakan profil data selama pendaftaran, alat pendaftaran menyertakan statistik agregat tentang data dalam setiap tabel dan tampilan, termasuk:
- Jumlah baris dan ukuran data dalam objek.
- Tanggal untuk pembaruan data dan skema objek terbaru.
- Jumlah rekaman null dan nilai berbeda untuk kolom.
- Nilai minimum, maksimum, rata-rata, dan simpangan baku untuk kolom.
Statistik ini kemudian disalin ke katalog bersama dengan metadata struktural dan deskriptif.
Catatan
Kolom teks dan tanggal tidak menyertakan statistik rata-rata atau simpangan baku dalam profil datanya.
Memperbarui pendaftaran
Mendaftarkan sumber data membuatnya dapat ditemukan di Azure Data Catalog saat Anda menggunakan metadata dan pratinjau opsional yang diekstrak selama pendaftaran. Jika sumber data perlu diperbarui dalam katalog (misalnya, jika skema objek telah berubah, tabel yang awalnya dikecualikan harus disertakan, atau Anda ingin memperbarui data yang disertakan dalam pratinjau), alat pendaftaran sumber data dapat dijalankan ulang.
Mendaftarkan ulang sumber data yang sudah terdaftar akan menjalankan operasi "upsert" gabungan: objek yang ada diperbarui, dan objek baru dibuat. Setiap metadata yang disediakan oleh pengguna melalui portal Azure Data Catalog dipertahankan.
Ringkasan
Karena menyalin metadata struktural dan deskriptif dari sumber data ke layanan katalog, mendaftarkan sumber data dalam Azure Data Catalog membuat data lebih mudah ditemukan dan dipahami. Setelah mendaftarkan sumber data, Anda dapat membuat anotasi, mengelola, dan menemukannya dengan menggunakan portal Data Catalog.