Produk analitika skala cloud di Azure
Produk data adalah data yang disajikan sebagai produk dan dihitung, disimpan, dan dilayani oleh layanan persistensi poliglot, yang mungkin diperlukan oleh kasus penggunaan tertentu. Proses pembuatan dan penyajian produk data dapat memerlukan layanan dan teknologi yang tidak termasuk dalam zona pendaratan data layanan inti. Contohnya adalah pelaporan dengan persyaratan khusus, seperti kepatuhan dan pelaporan pajak.
Pertimbangan desain
Zona pendaratan data dapat melayani beberapa produk data yang dibuat dengan menyerap data dari dalam zona pendaratan data yang sama atau dari beberapa zona pendaratan data. Ini diperlihatkan dalam diagram berikut.
Contoh di atas menunjukkan:
- Konsumsi data intrazon:
- Produk data B mengonsumsi data dari produk data A dan data atau produk data lainnya yang ada di data lake dalam zona pendaratannya sendiri.
- Produk data C dan D hanya mengonsumsi data dari dalam zona pendaratan data masing-masing.
- Konsumsi data antar zona:
- Produk data B juga mengonsumsi data dari produk data C dan data di data lake zona pendaratan 3.
Penting
Dalam kasus konsumsi data antar zona, karena produk data B dibuat dengan membaca dari zona pendaratan data 3, akses baca ini memerlukan persetujuan dari tim operasi zona pendaratan data dan tim operasi integrasi dari zona pendaratan data 3.
Penting
Produk data B mengonsumsi data dari produk data A dan C. Sebelum ini dapat terjadi, produk data B harus mendaftarkan konsumsi produk datanya melalui perjanjian berbagi data. Perjanjian berbagi data ini harus memperbarui silsilah data dari produk data A ke produk data B dan dari produk data C ke produk data B.
Grup sumber daya untuk produk data mencakup semua layanan yang diperlukan untuk membuat dan memeliharanya. Kita dapat menyebut grup sumber daya ini sebagai aplikasi data . Contoh layanan yang mungkin merupakan bagian dari aplikasi data termasuk Azure Functions, Azure App Service, Logic Apps, Azure Analysis Services, Azure Cognitive Services, Azure Machine Learning, Azure SQL Database, Azure Database for MySQL, dan Azure Cosmos DB.
Produk data memiliki data dari READ sumber data yang telah menerapkan beberapa transformasi data. Contohnya mungkin himpunan data yang baru dikumpulkan atau laporan BI.
Rekomendasi desain
Bangun produk data di dalam area pendaratan data Anda dengan mengikuti prinsip-prinsip desain yang memungkinkan Anda mengembangkan tata kelola data. Bagian berikut memberikan rekomendasi desain untuk membantu saat Anda merencanakan ekosistem aplikasi data Anda.
Menyebarkan beberapa grup sumber daya
Setiap aplikasi data adalah grup sumber daya. Karena aplikasi data adalah layanan komputasi, layanan persistensi poliglot, atau keduanya, aplikasi tersebut hanya dapat diperlukan tergantung pada kasus penggunaan tertentu. Dengan demikian, mereka dianggap sebagai komponen zona pendaratan data opsional. Dalam kasus di mana Anda memerlukan aplikasi data, buat beberapa grup sumber daya menurut aplikasi data seperti yang ditunjukkan oleh diagram berikut.
Menetapkan pedoman
Azure Policy mendorong konfigurasi default layanan dalam zona pendaratan data. Anggap analitik operasional sebagai beberapa grup sumber daya yang dapat diminta tim produk data Anda dari katalog layanan standar. Dengan menggunakan Azure Policy, Anda dapat mengonfigurasi batas keamanan dan kumpulan fitur yang diperlukan.
Penting
Untuk mendorong konsistensi, konfigurasikan satu Azure Policy untuk setiap aplikasi data.
Mengonsumsi data dari beberapa tempat
Aplikasi data mengelola, mengatur, dan memahami data dari beberapa aset data dan menyajikan wawasan apa pun yang diperoleh. Produk data adalah hasil data dari satu atau banyak aplikasi data dalam zona pendaratan data. Izinkan aplikasi data Anda mengakses data dari berbagai sumber jika diperlukan.
Menskalakan sesuai kebutuhan
Layanan yang membentuk aplikasi berbasis data adalah penyebaran yang bersifat bertahap ke zona pendaratan data. Skalakan aplikasi data Anda sesuai kebutuhan.
Mengaktifkan penemuan data
Daftarkan produk data Anda secara otomatis dalam katalog data seperti Microsoft Purview untuk mengizinkan pemindaian data.
Mengidentifikasi produk data Anda
Saat mulai merencanakan zona pendaratan data, identifikasi sebanyak mungkin produk data (dan aplikasi data yang menghasilkan dan memeliharanya) seperlunya untuk membantu mendorong arsitektur aplikasi produk data Anda. Kesuaian dengan tata kelola platform yang diterapkan harus memainkan peran terbesar dalam keputusan Anda.
Fokus pada bagaimana aplikasi data Anda adalah produsen data dan konsumen untuk orang lain. Misalnya, asumsikan Anda telah mengidentifikasi serangkaian produk data (A, B, C, dan D) yang diproduksi dan dikonsumsi data. Anda memerlukan produk data A dan D sebagai sumber untuk data dalam Aplikasi Data B untuk produk data B. Produk data B dibuat dari data yang dikonsumsi Aplikasi Data B dari produk data A dan D. Aplikasi Data B bertindak sebagai produsen data itu sendiri, dan juga menghasilkan data untuk produk data C.
Mengontrol lingkungan aplikasi data Anda dengan infrastruktur sebagai kode
Tata kelola dan infrastruktur sebagai kode harus mengontrol lingkungan aplikasi data di seluruh ekosistem produk data Anda, seperti yang ditunjukkan pada diagram sebelumnya.
Menerbitkan model data
Tim produk data Anda harus menerbitkan model data mereka dalam repositori pemodelan.
Menetapkan ekspektasi untuk pengguna produk data
Perbarui kontrak berbagi data Anda dengan perjanjian dan sertifikasi tingkat layanan untuk produk data Anda sehingga Anda dapat menyampaikan harapan yang akurat kepada calon pengguna produk data.
Merekam silsilah
Jika produk data B dibuat dari data yang berasal dari produk data A dan D, silsilah data harus diambil dari A dan D ke B. Silsilah data lebih lanjut juga harus diambil untuk produk data C, karena dibuat menggunakan data dari produk data B. Silsilah data yang diperbarui harus diambil dalam aplikasi silsilah data sebelum setiap rilis produk data Anda.
Nota
Menggunakan Azure Pipelines memungkinkan Anda membangun gerbang persetujuan dan memanggil fungsi yang dapat memastikan metadata, silsilah data, dan SLA terdaftar dalam layanan tata kelola yang benar.
Menentukan arsitektur aplikasi data
Anda harus membuat arsitektur terperinci untuk setiap produk data yang sepenuhnya menentukan hubungannya dengan produk data lain, dependensinya, dan persyaratan aksesnya.