Apa itu jala data?

Jala data adalah pola arsitektur untuk menerapkan platform data perusahaan di organisasi besar dan kompleks. Jala data membantu menskalakan adopsi analitik di luar satu platform dan satu tim implementasi.

Latar belakang

Kebutuhan akan analitik bukanlah hal baru. Organisasi selalu perlu menganalisis performa bisnis, dan telah melakukannya dengan menggunakan komputer sejak pengenalan mereka. Sekitar tahun 1980-an, organisasi mulai membangun solusi pergudangan data dengan menggunakan database khusus untuk dukungan keputusan. Solusi pergudangan data ini melayani organisasi dengan baik untuk waktu yang lama.

Namun, karena bisnis berubah dan menghasilkan data yang lebih beragam, solusi pergudangan data yang menggunakan database relasional mungkin tidak selalu menjadi solusi terbaik. Pada tahun 2000-an, big data menjadi istilah umum. Bisnis mengadopsi solusi baru yang memungkinkan analisis volume besar data beragam yang dapat dihasilkan dengan kecepatan tinggi. Ini termasuk teknologi, seperti data lake, dan solusi peluasan skala yang menganalisis data dalam jumlah besar.

Dalam beberapa tahun terakhir, banyak organisasi berhasil menggunakan pola arsitektur dan analitik modern yang menggabungkan teknologi pergudangan data dan teknologi big data yang lebih baru.

Namun, beberapa organisasi mengalami masalah saat menyebarkan solusi analitik yang menggunakan pola analitik. Solusi ini biasanya masih diimplementasikan sebagai solusi monolitik, di mana satu tim adalah penyedia platform dan tim melakukan integrasi data. Organisasi dan organisasi yang lebih kecil yang memiliki tingkat sentralisasi tinggi dari perspektif penyiapan tim dapat menggunakan satu tim. Namun, organisasi yang lebih besar hanya menggunakan satu tim sering membuat hambatan. Hambatan ini menyebabkan backlog besar, yang mengakibatkan bagian organisasi menunggu layanan integrasi data dan solusi analitik.

Pola ini menjadi lebih umum karena organisasi mengadopsi solusi ilmu data modern. Banyak solusi ilmu data modern membutuhkan lebih banyak data daripada solusi kecerdasan bisnis tradisional di masa lalu.

Peralihan terbaru untuk menggunakan layanan mikro sebagai pola pengembangan aplikasi adalah pendorong lain dari backlog panjang seputar integrasi data, karena meningkatkan jumlah sumber data.

Satu tim yang menangani semua penyerapan data pada satu platform dalam organisasi besar juga dapat bermasalah. Satu tim jarang memiliki pakar untuk setiap sumber data. Sebagian besar organisasi terdesentralisasi dan didistribusikan dari perspektif bisnis. Unit bisnis dan departemen yang berbeda menangani berbagai bagian dari operasi bisnis, sehingga pakar data biasanya tersebar di berbagai sektor.

Pola arsitektur baru yang disebut jala data diperkenalkan baru-baru ini untuk menyelesaikan masalah ini. Tujuan jala data adalah untuk membiarkan tim terdistribusi bekerja dengan dan berbagi informasi dengan cara yang terdesentralisasi dan gesit.

Jala data adalah pola teknis yang juga memerlukan perubahan organisasi. Manfaat pendekatan jala data dicapai dengan menerapkan tim multi-disiplin yang menerbitkan dan mengonsumsi produk data.

Konsep berikut adalah dasar untuk memahami arsitektur jala data:

• Domain data
• Produk data
• Platform mandiri
• Tata kelola federasi

Domain data

Domain data adalah fondasi jala data. Konsep domain data berasal dari Domain Driven Development (DDD), paradigma yang sering digunakan dalam pengembangan perangkat lunak untuk memodelkan solusi perangkat lunak yang kompleks. Dalam jala data, domain data adalah cara untuk menentukan batasan di sekitar data perusahaan Anda. Domain dapat bervariasi tergantung pada organisasi Anda, dan dalam beberapa kasus, Anda dapat menentukan domain di sekitar organisasi Anda. Dalam kasus lain, Anda dapat memilih untuk memodelkan domain data berdasarkan proses bisnis atau sistem sumber Anda.

Ada tiga aspek untuk domain data:

• Batas yang Anda pilih merender diri mereka sendiri untuk kepemilikan jangka panjang. Mereka ada dalam jangka waktu yang lama dan telah mengidentifikasi pemilik.

• Domain Anda harus cocok dengan realitas, bukan hanya konsep teoritis.

• Domain Anda harus memiliki integritas atomik. Jika area tidak memiliki hubungan satu sama lain, jangan gabungkan dalam domain bersama-sama.

Untuk informasi selengkapnya tentang domain data dan bagaimana Anda harus menentukannya, lihat Domain data.

Produk data

Produk data adalah komponen penting lainnya dari jala data. Produk data bertujuan untuk membawa pemikiran produk ke dunia data. Agar produk data Anda berhasil, produk perlu memberikan nilai bisnis jangka panjang kepada pengguna yang dimaksudkan. Dalam jala data, produk data melibatkan data, aset kode, metadata, dan kebijakan terkait. Produk data dapat dikirimkan sebagai API, laporan, tabel, atau himpunan data di data lake.

Produk data yang berhasil harus:

• Dapat digunakan: Produk Anda harus memiliki pengguna di luar domain data langsung.
• Berharga: Produk Anda harus mempertahankan nilai dari waktu ke waktu. Jika tidak memiliki nilai jangka panjang, nilai tersebut tidak dapat berhasil.
• Layak: Produk Anda harus layak. Jika Anda tidak dapat benar-benar membangunnya, produk tidak bisa berhasil. Produk Anda harus layak dari ketersediaan data dan sudut pandang teknis.

Aset kode produk data menyertakan kode yang menghasilkannya dan kode yang mengirimkannya. Aset kode juga mencakup alur yang digunakan untuk membuat produk dan laporan akhir produk.

Untuk informasi selengkapnya tentang produk data, lihat Produk data analitik skala cloud di Azure.

Untuk panduan khusus tentang menggunakan jala data, lihat Apa itu produk data?.

Platform mandiri

Inti jala data adalah memiliki platform yang memungkinkan domain data untuk membangun produk data mereka sendiri. Domain data perlu menentukan produk data dengan menggunakan alat dan proses yang relevan bagi pengguna tanpa memiliki dependensi yang kuat pada platform pusat atau tim platform pusat. Dalam jala data, Anda memiliki tim otonom yang mengembangkan dan mengelola produk otonom.

Saat menggunakan desentralisasi dan keselarasan dengan pengguna bisnis yang memahami data Anda, ingatlah para generalis yang juga bekerja di platform Anda. Karena Anda memiliki generalis, Anda tidak dapat memiliki alat khusus yang memerlukan pengetahuan spesialis untuk beroperasi sebagai fondasi inti platform berbasis jala Anda.

Anda dapat berhasil menerapkan platform layanan mandiri Anda dengan mengadopsi praktik yang diuraikan dalam Pertimbangan Desain untuk platform data mandiri.

Tata kelola federasi

Saat mengadopsi platform data terdistribusi mandiri, Anda harus menempatkan peningkatan penekanan pada tata kelola. Kurangnya tata kelola menyebabkan silo dan duplikasi data di seluruh domain data Anda. Gabungkan tata kelola Anda, karena orang-orang yang memahami kebutuhan tata kelola ada dalam tim yang selaras dengan domain Anda dan di antara pemilik data.

Untuk membuat tata kelola federasi Anda, terapkan kebijakan otomatis di sekitar platform dan kebutuhan data. Gunakan otomatisasi tingkat tinggi untuk pengujian dan pemantauan. Mengadopsi strategi implementasi code-first untuk menangani standar, kebijakan, produk data, dan penyebaran platform sebagai kode.

Untuk informasi selengkapnya tentang menerapkan aspek tata kelola federasi, lihat Gambaran umum tata kelola data.

Ringkasan

Jala data dapat menjadi cara yang efektif untuk menerapkan platform data perusahaan, tetapi ini bukan solusi terbaik untuk semua organisasi. Jala data memerlukan tim otonom yang dapat bekerja secara independen. Jala data berfungsi paling baik di organisasi besar dan kompleks yang memiliki unit bisnis independen dan perlu menskalakan adopsi analitik mereka di luar satu platform dan tim implementasi.

Saat menggunakan jala data, berhati-hatilah saat menerapkan tata kelola Anda sehingga Anda tidak membuat silo. Selalu jaga pemikiran produk untuk data pada inti implementasi Anda untuk memastikan keberhasilan.

Langkah berikutnya

Domain data