Analitik real time pada data dengan Azure Bus Layanan dan Azure Data Explorer

Artikel ini menjelaskan cara menggunakan Azure Data Explorer dan Azure Bus Layanan untuk meningkatkan arsitektur broker pesan yang ada dengan analitik mendekati real-time. Ini ditujukan untuk administrator TI, arsitek cloud, dan operasi dan tim pemantauan.

Sistem

Unduh file Visio arsitektur ini.

Logo Grafana adalah merek dagang dari Raintank, Inc., dba Grafana Labs. Tidak ada dukungan yang tersirat oleh penggunaan tanda ini.

Diagram menunjukkan dua jalur data. Jalur utama, yang diwakili oleh garis solid dan kotak 1 hingga 5, adalah penyerapan data dari berbagai sumber ke dalam bus layanan, di mana diproses oleh pekerjaan analisis aliran dan disimpan dalam database SQL. Jalur kedua, yang diwakili oleh garis dan kotak putus-putus, menunjukkan data yang mengalir dari bus layanan ke kluster Azure Data Explorer, di mana dapat dikueri dan dianalisis melalui Bahasa Kueri Kusto (KQL).

Bus Layanan digunakan untuk mengimplementasikan Pola Load Leveling Berbasis Antrean untuk aplikasi transaksi.

Azure Data Explorer digunakan untuk menjalankan analitik dalam dasbor hampir real-time dan mengekspos data melalui API atau kueri langsung ke, misalnya, Power BI, Azure Managed Grafana, atau Azure Data Explorer.

Aliran data

Sumber data dalam arsitektur adalah aplikasi Pemrosesan Transaksi Online (OLTP) yang ada. Bus Layanan digunakan untuk menskalakan aplikasi secara asinkron.

1. Aplikasi OLTP (sumber data), yang dihosting di Azure App Service, mengirim data ke Bus Layanan.

2. Aliran data dari Bus Layanan dalam dua arah:

   1. Dalam alur aplikasi OLTP yang ada, ini memicu aplikasi fungsi untuk menyimpan data di Azure SQL Database, Azure Cosmos DB, atau database operasional serupa.

   2. Dalam alur analitik mendekati real-time, alur orkestrasi memicu.

3. Alur orkestrasi mengirim data ke Azure Data Explorer untuk analitik mendekati real-time. Alur dapat menggunakan:

   • Aplikasi fungsi yang menggunakan SDK untuk mengirim data dalam batch mikro atau yang menggunakan dukungan penyerapan streaming terkelola yang disediakan oleh Azure Data Explorer saat dikonfigurasi untuk penyerapan streaming.
   • Layanan polling, seperti aplikasi yang dihosting di Azure Kubernetes Service (AKS) atau Azure VM, yang mengirim data ke Azure Data Explorer dalam batch mikro. Opsi ini tidak memerlukan konfigurasi penyerapan streaming Azure Data Explorer.

4. Azure Data Explorer memproses data, dengan menggunakan kebijakan pemetaan dan pembaruan skema, dan membuatnya tersedia melalui API, SDK, atau konektor untuk analitik atau pelaporan interaktif. Secara opsional, Azure Data Explorer juga dapat menyerap atau mereferensikan data dari sumber data lain, seperti SQL Database atau Azure Data Lake Storage.

5. Aplikasi, layanan kustom, atau layanan pelaporan seperti dasbor Azure Data Explorer, Power BI, dan Azure Managed Grafana dapat mengkueri data di Azure Data Explorer mendekati real time.

Komponen

• App Service memungkinkan Anda membangun dan menghosting aplikasi web, ujung belakang seluler, dan API RESTful dalam bahasa pemrograman pilihan Anda tanpa mengelola infrastruktur.
• Bus Layanan menyediakan pesan cloud yang andal sebagai layanan.
• SQL Database adalah database SQL yang dikelola sepenuhnya yang dibangun untuk cloud. Ini menyediakan pembaruan otomatis, provisi, penskalakan, dan pencadangan.
• Azure Cosmos DB adalah database multimodel yang didistribusikan secara global untuk aplikasi dalam skala apa pun.
• Azure Functions adalah platform komputasi tanpa server berbasis peristiwa. Dengan Fungsi, Anda dapat menyebarkan dan mengoperasikan dalam skala besar di cloud dan menggunakan pemicu dan pengikatan untuk mengintegrasikan layanan.
• AKS adalah layanan Kubernetes yang sangat tersedia, sangat aman, dan dikelola sepenuhnya untuk beban kerja aplikasi dan layanan mikro.
• Azure Data Explorer adalah layanan analitik data yang cepat, dikelola sepenuhnya, dan sangat dapat diskalakan untuk analisis real time data dalam volume besar yang mengalir dari aplikasi, situs web, perangkat IoT, dan banyak lagi.
• Data Lake Storage, dibangun di Azure Blob Storage, menyediakan fungsionalitas data lake yang dapat diskalakan secara besar-besaran.
• Power BI dapat membantu Anda mengubah data menjadi wawasan interaktif yang koheren, imersif secara visual.
• Azure Managed Grafana adalah layanan terkelola penuh yang memungkinkan Anda menyebarkan Grafana tanpa menghabiskan waktu untuk konfigurasi.

Detail skenario

Analitik real time adalah proses menganalisis data segera setelah dihasilkan untuk mendapatkan wawasan tentang status sistem saat ini. Organisasi semakin mengadopsi analitik real-time untuk mendapatkan keunggulan kompetitif. Analitik mendekati real-time adalah varian analitik real-time yang memberikan wawasan dalam hitungan detik atau menit pembuatan data.

Proses ini memungkinkan organisasi untuk mendapatkan wawasan lebih cepat, membuat keputusan yang lebih baik, dan menanggapi perubahan kondisi secara lebih efektif. Analitik mendekati real-time dapat diterapkan ke berbagai domain, seperti e-niaga, layanan kesehatan, manufaktur, dan keuangan. Misalnya, perusahaan e-niaga dapat menggunakan analitik mendekati real-time untuk memantau perilaku pelanggan, mengoptimalkan harga, dan mempersonalisasi rekomendasi.

Banyak organisasi menerapkan analitik mendekati real-time dalam solusi yang ada. Ide solusi ini menunjukkan cara menambahkan analitik mendekati real-time ke arsitektur yang ada yang didasarkan pada broker pesan dan itu adalah bagian dari aplikasi OLTP operasional.

OLTP adalah singkatan dari Pemrosesan Transaksi Online. Ini adalah jenis pemrosesan data yang mengelola aplikasi berorientasi transaksi, biasanya untuk transaksi entri dan pengambilan data di lingkungan real time. Sistem OLTP dirancang untuk memproses transaksi kecil dan cepat yang sering bersifat finansial, seperti transaksi bank atau pembelian kartu kredit.

Kemungkinan kasus penggunaan

Berikut adalah beberapa kasus penggunaan yang menggambarkan manfaat analitik mendekati real-time:

• Penyedia layanan kesehatan dapat melacak hasil pasien, mendeteksi anomali, dan meningkatkan kualitas perawatan.
• Perusahaan manufaktur dapat mengoptimalkan produksi, mengurangi limbah, dan mencegah waktu henti.
• Lembaga keuangan dapat memantau transaksi, mendeteksi penipuan, mengelola risiko, dan memastikan kepatuhan terhadap peraturan.
• Perusahaan perdagangan dapat memantau kampanye dan mendapatkan wawasan untuk mendukung promosi.
• Perusahaan dapat memantau, mengoptimalkan, menganalisis, dan memperkirakan rantai pasokan.

Kontributor

Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

• Shlomo Sagir | Pengembang Konten Senior

Kontributor lainnya:

• Mick Alberts | Penulis Teknis

Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.

Langkah berikutnya

• Sampel Azure Bus Layanan
• Sampel penyerapan data Azure Data Explorer

Sumber daya terkait

• Pemrosesan data lakehouse mendekati real time