Beberapa zona data untuk analitik skala cloud di Azure
Arsitektur referensi ini untuk organisasi yang telah menerapkan versi dasar analitik skala cloud, dan sekarang siap untuk menghosting unit bisnis baru untuk membantu memodernisasi operasi analitik mereka. Skenario yang lebih kompleks ini menggunakan beberapa zona pendaratan, aplikasi data, dan produk data.
Apache Hive dan logo Apache Hive adalah merek dagang terdaftar atau merek dagang dari Apache Software Foundation di Amerika Serikat dan/atau negara lain. Tidak ada dukungan oleh The Apache Software Foundation yang tersirat oleh penggunaan tanda ini.
Pernyataan masalah
Relecloud, perusahaan fiktif dalam contoh ini, adalah penyedia cloud privat yang menawarkan sumber daya komputasi dan penyimpanan bersama kepada organisasi global. Meskipun Relecloud menyediakan sumber daya komputasi, mereka tidak ingin membatasi platform mereka dengan operasi internal mereka sendiri. Oleh karena itu, mereka mengandalkan Microsoft Azure untuk memenuhi kebutuhan komputasi internal.
Analis data dalam grup operasi menggunakan data telemetri dari layanan cloud untuk memahami bagaimana pelanggan mereka menggunakan platform. Tim analis terpisah dalam grup penagihan mengkaji data faktur untuk mendapatkan wawasan tentang layanan yang menghasilkan pendapatan terbesar.
Kuartal terakhir, tim operasi memodernisasi platform analitiknya dengan memigrasikannya ke Azure. Salah satu tujuan dalam menerapkan analitik skala cloud adalah untuk memaksimalkan potensi penskalaan platform dan menambahkan beban kerja organisasi baru.
Saat ini, grup tagihan telah melampaui solusi analitik saat ini. Volume faktur yang akan dianalisis terlalu besar untuk server lokal mereka. Tim memutuskan untuk mengikuti prospek grup operasi dan memodernisasi platform analitik data mereka di Azure.
Analis dalam grup penagihan memiliki keterampilan yang berbeda dari analis dalam grup operasi. Analis penagihan tidak ingin dibatasi untuk menggunakan alat yang sama dengan operasi. Grup penagihan berada di bagian organisasi yang berbeda, dan menginginkan fleksibilitas untuk menerapkan kebijakan dan prosedur yang memenuhi kebutuhan mereka.
Solusi arsitektural
Relecloud menskalakan platform analitik mereka dengan menambahkan zona pendaratan baru untuk grup penagihan. Zona pendaratan ini menyediakan ruang kerja virtual bagi grup penagihan untuk menerapkan solusi analitik yang memenuhi kebutuhan bisnis mereka. Dengan memiliki zona pendaratan yang terpisah dari sumber daya organisasi lainnya, grup penagihan dapat menerapkan kebijakan akses mereka sendiri dan memperhitungkan biaya layanan mereka.
Diagram berikut tidak mewakili semua layanan Azure. Diagram disederhanakan untuk menyoroti konsep inti pengorganisasian sumber daya dalam arsitektur.
Zona arahan manajemen data
Persyaratan utama untuk implementasi analitik skala cloud adalah zona pendaratan manajemen data. Langganan ini berisi sumber daya yang dibagikan di semua zona pendaratan, termasuk komponen jaringan bersama seperti firewall atau zona DNS privat. Zona pendaratan manajemen data juga mencakup sumber daya untuk tata kelola data dan cloud seperti Azure Policy dan Azure Purview.
Relecloud membuat zona pendaratan manajemen data saat mereka menyebarkan solusi analitik data untuk grup operasi. Ketika grup penagihan bergabung dengan platform, mereka menggunakan zona pendaratan manajemen data yang sama untuk berbagi sumber daya umum dengan grup operasi.
Zona pendaratan data operasi
Grup operasi memiliki solusi berikut di zona pendaratan datanya.
Aplikasi data operasi
Tim telah membangun aplikasi data yang selaras dengan sumber yang menggunakan pekerjaan Apache Spark di Azure Databricks untuk menyerap data telemetri layanan dan menyimpannya di akun Azure Data Lake Storage.
Proses ini menyalin data apa adanya dari sistem sumber, tetapi tidak mengubahnya. Analis dapat bekerja dengan data yang disalin di platform analitik tanpa membebani sistem sumber secara berlebihan. Alih-alih membuat penyebaran khusus untuk aplikasi data ini, tim operasi menggunakan ruang kerja Databricks di grup sumber daya Ingest & Processing bersama.
Pelanggan Relecloud dapat membuat akun cloud untuk mengelola sumber daya dan tagihan di cloud privatnya. Setiap pelanggan bisa memiliki beberapa akun. Tim analitik membangun aplikasi data untuk mengimpor data akun cloud. Karena volume dan frekuensi data jauh lebih rendah daripada untuk data telemetri, tim tidak perlu menggunakan pekerjaan Spark. Sebagai gantinya, mereka membuat alur Azure Data Factory untuk menyalin data.
Azure Database for MySQL bertindak sebagai metastore Apache Hive dan Azure SQL Database adalah metastore Azure Data Factory.
Produk data operasi
Analis Relecloud mendapatkan nilai dari data dalam aplikasi data yang selaras dengan sumber dengan membuat aplikasi data baru yang selaras dengan konsumen. Salah satu aplikasi data yang selaras dengan konsumen ini adalah model pemberi rekomendasi layanan Cloud. Ilmuwan data Relecloud menggunakan Azure Pembelajaran Mesin untuk membangun model yang melihat layanan yang digunakan akun cloud, dan menyarankan layanan terkait yang dapat berguna. Tim menyebarkan model ini ke kluster Azure Kubernetes Service (AKS) yang berjalan di zona pendaratan dan dikelola oleh Azure Pembelajaran Mesin. Aplikasi yang berjalan di luar analitik skala cloud dapat memanggil titik akhir AKS untuk mendapatkan rekomendasi.
Setelah tim penagihan membuat zona pendaratan mereka, tim operasi membuat produk data baru yang diminta tim manajemen mereka. Tim manajemen ingin tahu berapa banyak pendapatan yang dihasilkan aplikasi data pemberi rekomendasi layanan Cloud. Produk data pendapatan Pemberi Rekomendasi baru menggunakan Azure Synapse Analytics untuk menggabungkan data dari pemberi rekomendasi layanan Cloud dan Pendapatan berdasarkan layanan ke dalam produk data baru. Analis bisnis dapat terhubung ke Azure Synapse dengan Microsoft Power BI untuk menemukan dan melaporkan wawasan dari produk data baru ini.
Zona pendaratan data tagihan
Grup penagihan menggunakan sistem lokal untuk mendukung analitik mereka, tetapi ketika volume data tumbuh dan perusahaan lebih bergantung pada pekerjaan mereka, sistem tidak dapat mengimbanginya. Grup memodernisasi platform mereka dengan pindah ke cloud.
Grup penagihan tidak berbagi zona pendaratan dengan grup operasi, tetapi mendapatkan zona pendaratan mereka sendiri di mana mereka memiliki kebebasan untuk membangun platform yang paling sesuai dengan kebutuhan mereka. Zona pendaratan baru terhubung ke zona pendaratan manajemen data dan semua zona pendaratan data lainnya dengan peering jaringan virtual. Mekanisme ini memungkinkan data dibagikan dengan aman melalui jaringan internal Azure.
Aplikasi data penagihan
Untuk mendaratkan data dari sistem yang ada ke platform analitik, grup penagihan membangun dua aplikasi data. Aplikasi pertama menyerap data pelanggan, termasuk daftar lengkap pelanggan dan semua data terkait, seperti alamat pelanggan, lokasi, dan penugasan tenaga penjualan. Aplikasi kedua mengimpor riwayat faktur perusahaan, yang mencakup semua biaya penagihan kepada pelanggan dan data pembayaran terkait.
Kedua aplikasi ini didukung oleh alur di ruang kerja Azure Synapse bersama. Setiap aplikasi memiliki kumpulan komputasi khusus untuk memfasilitasi akuntansi biaya dan batas keamanan. Karena aplikasi dapat sepenuhnya diimplementasikan dengan sumber daya bersama, grup penagihan tidak perlu membuat penyebaran untuk aplikasi data ini.
Produk data penagihan
Analis penagihan membuat produk data baru yang disebut Revenue by service yang menganalisis berapa banyak pendapatan yang dihasilkan setiap layanan cloud untuk Relecloud. Produk ini bergantung pada data dalam penyerapan Faktur. Produk ini juga terhubung ke zona pendaratan operasi dan membaca data penggunaan layanan. Seperti aplikasi data, produk data juga bergantung pada ruang kerja Azure Synapse bersama.
Templat penyebaran
Untuk menyebarkan arsitektur, gunakan templat implementasi referensi zona pendaratan data dan zona pendaratan data berikut:
Gunakan templat berikut untuk menyebarkan aplikasi data dan produk data lainnya di zona pendaratan data penagihan dan operasi Relecloud:
| Nama | Zona arahan data | Jenis | Templat |
|---|---|---|---|
| Akun cloud | Operasional | Aplikasi data | Templat batch produk data |
| Pendapatan perekomendasi | Operasional | Produk data | Templat batch produk data |
| Perekomendasi layanan cloud | Operasional | Aplikasi data | Templat analisis produk data |
| Pendapatan berdasarkan layanan | Billing | Produk data | Templat batch produk data |
Penting
Relecloud tidak perlu menyebarkan semuanya dalam templat implementasi referensi sebelumnya untuk memenuhi kebutuhan mereka. Templat memerlukan beberapa tingkat kustomisasi. Hapus layanan yang tidak Anda butuhkan dari templat sebelum penyebaran.
Langkah berikutnya
Lanjutkan ke skenario Lamna Healthcare untuk analitik skala cloud yang aman di Azure.
Untuk informasi lebih lanjut, baca artikel berikut: