Analitik real time dengan Azure Service Bus dan Microsoft Fabric

Azure Service Bus
Analitik Real-Time
Microsoft Fabric

Ide solusi

Artikel ini menjelaskan ide solusi. Arsitek cloud Anda dapat menggunakan panduan ini untuk membantu memvisualisasikan komponen utama untuk implementasi umum arsitektur ini. Gunakan artikel ini sebagai titik awal untuk merancang solusi yang dirancang dengan baik yang selaras dengan persyaratan spesifik beban kerja Anda.

Arsitek cloud, teknisi data, dan strategi solusi ritel dapat menggunakan arsitektur ini untuk membangun solusi analitik real-time yang dapat diskalakan, aman, dan cerdas dengan menggunakan Azure Service Bus dan Fabric Real-Time Intelligence. Solusi ini memberikan wawasan yang dapat ditindakkan dari aliran data kecepatan tinggi. Ini ideal untuk skenario seperti rekomendasi produk yang dipersonalisasi, harga dinamis, dan pengoptimalan inventaris.

Arsitektur

Diagram yang menunjukkan arsitektur untuk menerapkan analitik hampir real-time dengan Fabric dan Bus Layanan.

Unduh file Visio arsitektur ini.

Alur kerja

Alur kerja berikut ini sesuai dengan diagram sebelumnya.

Penyerapan

  1. Azure Bus Layanan menerima peristiwa diskrit dan transaksional seperti pembaruan inventori, transaksi pembelian, pembaruan program loyalitas, dan pengiriman umpan balik pelanggan.

    Contoh: Pelanggan menukarkan titik loyalitas saat checkout. Tindakan ini memulai pesan Bus Layanan untuk memperbarui profil pelanggan dan persediaan.

  2. Eventstream mengambil data berkecepatan tinggi secara terus-menerus dengan latensi kurang dari satu detik.

    Contoh: Pengguna menelusuri 20 produk dalam 30 detik. Data clickstream mengalir ke eventstream untuk analisis langsung.

  3. Eventstream membawa peristiwa real time ke Fabric, mengubahnya, dan merutekannya ke berbagai tujuan tanpa mengharuskan Anda menulis kode apa pun.

    Contoh: Memperkaya data clickstream secara otomatis dengan metadata produk sebelum diarahkan ke analitik.

Penyimpanan dan pengambilan data

  1. Eventhouse menyimpan data peristiwa real time dan mendukung kueri melalui Kusto Query Language (KQL).

    Contoh: Kueri semua pembelian headphone nirkabel dalam lima menit terakhir di seluruh toko Melbourne.

  2. Fabric lakehouse menyediakan data untuk kasus penggunaan lain seperti sinkronisasi ke sistem eksternal atau kompatibilitas titik akhir SQL. Langkah ini bersifat opsional.

    Contoh: Jalankan analisis tren penjualan bulanan dengan menggunakan SQL pada data historis.

Sistem tindakan

  1. Analitik yang menggunakan set kueri KQL mendukung berbagai kemampuan penemuan data, seperti analisis rangkaian waktu, penguraian teks, kueri geospasial, pencarian kesamaan vektor, deteksi anomali, deteksi outlier, penemuan pola, dan pembuatan model statistik.

    Contoh: Deteksi anomali dalam perilaku checkout, seperti peningkatan mendadak dalam pengabaian keranjang belanja.

  2. Lihat wawasan dan tindakan hampir secara real-time dengan menggunakan dasbor real-time dan Power BI.

    Contoh: Manajer toko melihat dasbor langsung yang menampilkan item penjualan teratas dan sentimen pelanggan.

  3. Memantau streaming langsung dan memicu tindakan berdasarkan pola. A aktivator Fabric memantau data pada beberapa tahap, termasuk dari eventstream selama penyerapan atau dari lapisan pelaporan. Tindakan termasuk pemberitahuan Microsoft Teams, email, item Fabric seperti menjalankan alur atau buku catatan, atau alur Power Automate.

    Contoh: Jika stok produk tidak memenuhi ambang batas tertentu, picu alur kerja restock.

Kemampuan AI

  1. Agen data Fabric mengekspos data yang terhubung ke eventhouse untuk pengalaman percakapan terhadap data real time. Anda dapat menggunakan Microsoft Copilot Studio untuk mengekspos pengalaman obrolan ini langsung di Teams, atau menggunakan Microsoft Foundry untuk pengalaman obrolan berbasis aplikasi.

    Contoh: Sediakan antarmuka bahasa alami bagi manajer toko untuk menentukan item terjual teratas dalam lima menit terakhir.

Komponen

  • Bus Layanan adalah broker pesan terkelola untuk komunikasi yang dipisahkan antara aplikasi dan layanan. Dalam arsitektur ini, Azure Bus Layanan menerima peristiwa transaksi dari klien seluler.

  • Fabric eventstream adalah kemampuan data streaming di Fabric yang mengumpulkan, mengubah, dan merutekan peristiwa secara real-time. Dalam arsitektur ini, eventstream Fabric mengumpulkan data clickstream dan operasional berkecepatan tinggi dan mengirimkan aliran yang telah diproses ke analitik hilir.

  • Fabric Eventhouse adalah penyimpanan analitik berbasis KQL untuk eksplorasi dan kueri data waktu nyata. Dalam arsitektur ini, eventhouse Fabric menyimpan peristiwa real time dan mendukung kueri KQL untuk wawasan operasional dan bisnis.

  • Fabric lakehouse adalah platform data terpadu untuk file, tabel, dan beban kerja analitik. Dalam arsitektur ini, lakehouse secara opsional menyimpan data historis untuk pelaporan berbasis SQL hilir dan integrasi eksternal.

  • Power BI adalah platform kecerdasan bisnis (BI) untuk analitik dan pelaporan interaktif. Dalam arsitektur ini, Power BI menyediakan dasbor mendekati real-time untuk tim penyimpanan dan operasi.

  • Aktivator Fabric adalah kemampuan berbasis peristiwa yang mengevaluasi sinyal real-time dan memulai tindakan ketika kondisi terpenuhi. Dalam arsitektur ini, aktivator Fabric memantau pola data dan memicu respons seperti pemberitahuan dan alur kerja otomatis.

  • Agen data Fabric adalah agen percakapan yang berdasarkan pada sumber data Fabric. Dalam arsitektur ini, agen data Fabric menyediakan akses bahasa alami ke data eventhouse untuk pertanyaan operasional real time.

  • Copilot Studio adalah platform untuk membangun dan menerbitkan co-pilot di seluruh saluran. Dalam arsitektur ini, Copilot Studio mengekspos pengalaman agen data di Teams.

  • Foundry adalah platform untuk membangun dan mengoperasikan aplikasi dan agen AI. Dalam arsitektur ini, Foundry mendukung pengalaman obrolan berbasis aplikasi kustom jika solusi tidak dapat dikirimkan melalui Copilot Studio.

  • Microsoft Purview adalah solusi tata kelola dan kepatuhan data yang mendukung katalog data, klasifikasi, silsilah data, dan manajemen kebijakan. Dalam arsitektur ini, Microsoft Purview membantu mengatur aset data Fabric dan menerapkan persyaratan akses dan kepatuhan data.

Keamanan dan tata kelola

Keamanan dan tata kelola bersifat dasar untuk arsitektur ini:

  • Integrasi Microsoft Purview: Gunakan Microsoft Purview untuk menerapkan klasifikasi data, pelacakan silsilah data, dan kebijakan akses di seluruh beban kerja Fabric.

  • Kontrol akses berbasis peran (RBAC): Gunakan RBAC untuk memungkinkan hanya pengguna yang berwenang untuk mengakses aliran dan dasbor data sensitif.

  • Enkripsi data: Mengenkripsi data saat tidak aktif dan saat transit dengan menggunakan mekanisme asli Azure.

  • Pencatatan audit: Pantau akses dan perubahan untuk mendukung kepatuhan dan transparansi operasional.

  • Pemfilteran tingkat peristiwa: Gunakan aktivator Fabric untuk menekan atau mengalihkan peristiwa sensitif berdasarkan aturan bisnis.

  • Akses bersyarah dan jaringan privat: Gunakan kebijakan akses bersyarah dan batas jaringan privat untuk mengurangi akses dan paparan data yang tidak sah.

Mengatasi tantangan umum

Arsitektur solusi ini menyelesaikan tantangan berikut:

  • Penyempitan latensi dan skalabilitas: Real-Time Intelligence memungkinkan latensi subsekond untuk analitik streaming, yang memungkinkan organisasi untuk menyerap dan memproses miliaran peristiwa per hari tanpa penskalaan manual. Ini mendukung penskalaan otomatis dan penyerapan latensi rendah dari berbagai sumber seperti perangkat Internet of Things (IoT), sistem telemetri, dan interaksi pelanggan.

  • Aliran data terfragmentasi: Real-Time Intelligence menyatukan sumber streaming internal dan eksternal ke hub real time pusat, yang menghilangkan silo dan memungkinkan visibilitas operasional holistik.

  • Pengambilan keputusan yang tertunda: Dasbor real time dan mekanisme pemberitahuan dalam alat seperti Power BI, Teams, dan alur kerja otomatis memberi tim wawasan langsung tentang anomali, pelanggaran perjanjian tingkat layanan (SLA), atau pemicu operasional. Wawasan langsung ini mendukung tindakan cepat dan mencegah penundaan.

  • Kesenjangan pengamatan dan pemantauan: Real-Time Intelligence mendukung standar telemetri terbuka, yang memungkinkan pengamatan hemat biaya.

Detail skenario

Pelanggan menelusuri aplikasi ritel, memilih produk, menambahkan item ke keranjang belanja, atau memindai kartu loyalitas di toko. Setiap interaksi disiarkan secara real time, yang memungkinkan sistem untuk segera menganalisis perilaku, merekomendasikan produk pelengkap, menerapkan diskon yang ditargetkan, atau memberi tahu staf untuk mengisi ulang rak.

Kemungkinan kasus penggunaan

Pertimbangkan kasus penggunaan berikut.

E-commerce

  • Pantau metrik performa dan perilaku pengguna di seluruh platform.

  • Mendeteksi anomali dalam transaksi, waktu pemuatan halaman, dan corong konversi.

  • Aktifkan resolusi masalah proaktif dan pengalaman yang dipersonalisasi.

Education

  • Streaming data dari sistem transportasi kampus, kamera keamanan, dan titik kontrol akses.

  • Pantau keamanan siswa, optimalkan rute antar-jemput, dan tanggapi insiden secara real time.

Layanan keuangan

  • Menangani acara transaksi berkapasitas tinggi dari ATM, aplikasi seluler, dan gateway pembayaran.

  • Gunakan model deteksi anomali untuk meminimalkan penipuan, meningkatkan kepatuhan, dan meningkatkan kepercayaan.

Layanan Kesehatan

  • Mengirimkan data telemetri dari perangkat medis dengan dukungan IoT ke sistem back-end.

  • Menganalisis aliran data untuk anomali dan memicu pemberitahuan untuk perawatan proaktif.

  • Meningkatkan hasil pasien melalui pemantauan dan intervensi real time.

Perhotelan

  • Streaming data pemesanan, hunian, dan pembenahan kamar untuk mengoptimalkan alokasi kamar dan jadwal pembersihan.

  • Tingkatkan pengalaman tamu melalui koordinasi layanan real time.

Manufaktur

  • Streaming telemetri dari peralatan lantai pabrik untuk mendeteksi anomali dalam getaran, suhu, dan tekanan.

  • Aktifkan pemeliharaan prediktif untuk mengurangi waktu henti dan meningkatkan keselamatan pekerja.

  • Terapkan analisis video dan gambar yang didukung AI ke umpan kamera langsung untuk deteksi cacat dan jaminan kualitas.

  • Pantau metrik produksi dan laporan cacat untuk mendeteksi hambatan dan mengoptimalkan throughput.

Kepatuhan kualitas dan keamanan

  • Mendeteksi perilaku pekerja yang tidak aman, pelanggaran APD, dan kondisi berbahaya melalui sensor lingkungan dan umpan video.

  • Memicu pemberitahuan real time dan mengotomatiskan laporan insiden untuk kepatuhan terhadap peraturan.

Keandalan situs dan rekayasa perangkat lunak

  • Alirkan telemetri penerapan dan log kesalahan untuk mendeteksi regresi dan peluncuran yang gagal.

  • Menyatukan aplikasi, infrastruktur, dan telemetri pengguna ke dasbor real-time.

  • Pantau kesehatan sistem, deteksi hambatan, dan korelasikan insiden.

  • Mengekspos aliran data real-time melalui eventstream Fabric dan KQL untuk pengalaman pengguna dinamis dan wawasan operasional.

Pemantauan media sosial

  • Menyerap dan menganalisis aliran media sosial real-time untuk mendeteksi pergeseran sentimen, topik yang sedang tren, dan penyebutan merek.

  • Memicu pemberitahuan untuk krisis PR, keluhan pelanggan, atau konten viral.

  • Mendukung strategi keterlibatan dinamis dan pengoptimalan kampanye.

Transportasi

  • Streaming GPS dan data sensor dari kendaraan, pesawat, dan kapal.

  • Optimalkan rute, lalu lintas, jadwal cuaca, dan efisiensi bahan bakar.

  • Tingkatkan pengalaman pelanggan melalui pembaruan dan koordinasi real-time.

Utilitas dan energi

  • Kumpulkan data meteran pintar untuk mengidentifikasi pemadaman, anomali konsumsi, dan pola beban puncak.

  • Aktifkan harga dinamis dan pemeliharaan infrastruktur prediktif.

Pengoptimalan biaya

Perkiraan preconfigured berikut dalam kalkulator harga Azure mencerminkan konfigurasi default yang dijelaskan dalam artikel ini. Sesuaikan nilai agar sesuai dengan volume peristiwa, persyaratan retensi, dan kebutuhan kapasitas yang diharapkan.

Perkiraan mencakup layanan berikut untuk arsitektur ini:

  • Azure Service Bus Premium dengan satu unit olahpesan untuk pengiriman peristiwa transaksi yang andal dengan dukungan jaringan privat.
  • Kapasitas F2 Microsoft Fabric untuk beban kerja eventstream, eventhouse, lakehouse, activator, agen data, dan Power BI.
  • Tata Kelola Data Microsoft Purview untuk katalog data, klasifikasi, dan pelacakan silsilah data.

Copilot Studio dikecualikan karena dilisensikan untuk setiap tenant melalui Microsoft 365, bukan sebagai sumber daya Azure bayar sesuai penggunaan.

Kontributor

Microsoft mempertahankan artikel ini. Kontributor berikut menulis artikel ini.

Penulis utama:

Untuk melihat profil LinkedIn nonpublik, masuk ke LinkedIn.

Langkah berikutnya