Edit

Bagikan melalui

Membangun pemantauan real time dan sistem yang dapat diamati untuk media

Azure Data Explorer
Azure Functions
Azure AI Metrics Advisor
Azure Blob Storage
Azure Event Hubs

Arsitektur ini menjelaskan solusi yang menyediakan pemantauan dan pengamatan sistem secara real time dan data telemetri perangkat pengguna akhir. Ini berfokus pada kasus penggunaan untuk industri media.

Grafana adalah merek dagang dari perusahaannya masing-masing. Tidak ada dukungan yang tersirat oleh penggunaan tanda ini.

Sistem

Diagram yang menunjukkan arsitektur yang menyediakan pemantauan dan pengamatan sistem secara real time dan data telemetri perangkat pengguna akhir.

Unduh file Visio arsitektur ini.

Aliran data

Dalam sistem yang dapat diamati yang ditunjukkan dalam diagram, telemetri mentah dialirkan ke Azure Blob Storage melalui HTTP dan konektor. Telemetri mentah diproses, diubah, dinormalisasi, dan disimpan di Azure Data Explorer untuk analisis. Sistem seperti Grafana dan Azure Metrics Advisor membaca data dari Data Explorer dan memberikan wawasan kepada pengguna akhir.

Lebih khusus lagi, ini adalah elemen sistem dalam diagram:

  1. Instrumentasi. Instrumentasi terjadi melalui pemeriksaan atau agen yang diinstal dalam sistem untuk memantau data. Agen-agen ini datang dalam berbagai bentuk. Misalnya, dalam platform streaming video sesuai permintaan, perusahaan mungkin menggunakan standar terbuka dash.js untuk mengumpulkan metrik Kualitas Pengalaman dari pelanggan.
  2. Penyerapan. Telemetri mentah ini dapat berasal langsung dari klien akhir melalui panggilan HTTP. Atau, Anda dapat mengunggahnya melalui sistem pihak ketiga ke penyimpanan persisten dan data lake seperti Blob Storage. Penyimpanan Blog mendukung kemampuan untuk memanggil fungsi Azure saat file baru diunggah. Anda dapat menggunakan mekanisme pemicu ini untuk memindahkan telemetri mentah ke gudang data terstruktur.
  3. Transformasi dan persistensi. Anda mungkin memerlukan sistem transformasi untuk menormalkan data Anda. Aplikasi Azure Functions mengubah data sesuai kebutuhan lalu menulisnya ke Data Explorer. Data Explorer sangat ideal untuk analitik big data karena dirancang untuk performa tinggi dan throughput pada himpunan data besar.
  4. Pemantauan. Azure Managed Grafana mendukung integrasi dengan Data Explorer. Anda dapat menggunakan fitur seret dan letakkan Grafana untuk membuat dasbor dan bagan dengan cepat. Grafana cocok untuk pemantauan media karena menyediakan penyegaran sub-menit petak peta dasbor dan juga dapat digunakan untuk pemberitahuan.
  5. Deteksi anomali. Dasbor Grafana menyediakan dukungan untuk pemantauan manual di NOC. Namun, dengan himpunan data besar dan basis pengguna yang tersebar di berbagai geografi dan menggunakan berbagai perangkat, identifikasi masalah manual melalui bagan dan aturan pemberitahuan yang memiliki ambang batas yang dikodekan secara permanen menjadi tidak efisien. Anda dapat menggunakan AI untuk mengatasi masalah ini. Layanan seperti Metrics Advisor menggunakan algoritma pembelajaran mesin untuk secara otomatis memahami dan mendeteksi anomali berdasarkan data rangkaian waktu. Selain itu, platform data Kusto memiliki fungsi deteksi anomali bawaan yang memperhitungkan tren musiman dan garis besar dalam data.

Komponen

  • Data Explorer adalah layanan analitik data terkelola untuk analisis real time data dalam volume besar. Data Explorer adalah alat yang bagus untuk menangani himpunan data besar yang membutuhkan kecepatan tinggi dan throughput pengambilan data. Arsitektur ini menggunakan Data Explorer untuk menyimpan dan mengkueri himpunan data untuk analisis.
  • Blob Storage digunakan untuk menyimpan telemetri mentah. Telemetri ini dapat berasal dari aplikasi dan layanan Anda atau dari vendor pihak ketiga. Data dapat diperlakukan sebagai sementara jika Anda tidak perlu melakukan analisis lebih lanjut nanti. Data dari Blob Storage diserap ke dalam kluster Data Explorer.
  • Azure Event Grid adalah sistem pengiriman peristiwa. Ini digunakan untuk mendengarkan peristiwa yang diterbitkan oleh Blob Storage. Peristiwa Azure Storage memungkinkan aplikasi untuk bereaksi terhadap peristiwa seperti pembuatan dan penghapusan blob. Fungsi Azure berlangganan peristiwa yang diterbitkan oleh Event Grid.
  • Azure Event Hubs adalah layanan penyerapan data real-time yang dapat Anda gunakan untuk menyerap jutaan peristiwa per detik dari sumber apa pun. Hub peristiwa mewakili pintu depan, sering disebut ingestor peristiwa, untuk alur peristiwa. Ingestor peristiwa adalah komponen atau layanan yang terletak antara penerbit peristiwa dan konsumen peristiwa. Ini memisahkan produksi aliran peristiwa dari konsumsi peristiwa.
  • Azure Functions adalah solusi tanpa server yang digunakan untuk mengurai dan mengubah data yang diserap melalui titik akhir HTTP dan blob dan menulis ke kluster Data Explorer.
  • Azure Managed Grafana terhubung dengan mudah ke Data Explorer. Dalam arsitektur ini, ia menghasilkan bagan dan dasbor yang memvisualisasikan data telemetri. Azure Managed Grafana menyediakan integrasi mendalam dengan MICROSOFT Entra ID sehingga Anda dapat menerapkan akses berbasis peran ke dasbor dan tampilan.
  • Metrics Advisor adalah bagian dari Azure Applied AI Services. Ini menggunakan AI untuk melakukan pemantauan data dan deteksi anomali dalam data rangkaian waktu. Metrics Advisor mengotomatiskan proses penerapan model ke data dan menyediakan sekumpulan API dan ruang kerja berbasis web untuk penyerapan data, deteksi anomali, dan diagnostik. Anda dapat menggunakannya bahkan jika Anda tidak memiliki pengetahuan tentang pembelajaran mesin.

Alternatif

Azure Data Factory dan Azure Synapse Analytics menyediakan alat dan ruang kerja untuk membangun alur kerja ETL dan kemampuan untuk melacak dan mencoba kembali pekerjaan dari antarmuka grafis. Perhatikan bahwa Data Factory dan Azure Synapse keduanya memiliki jeda minimum sekitar 5 menit dari waktu penyerapan hingga persistensi. Jeda ini mungkin dapat diterima dalam sistem pemantauan Anda. Jika ya, kami sarankan Anda mempertimbangkan alternatif ini.

Detail skenario

Organisasi sering menyebarkan teknologi berskala besar dan bervariasi untuk menyelesaikan masalah bisnis. Sistem ini, dan perangkat pengguna akhir, menghasilkan sekumpulan besar data telemetri.

Arsitektur ini didasarkan pada kasus penggunaan untuk industri media. Streaming media untuk pemutaran langsung dan video sesuai permintaan memerlukan identifikasi dan respons yang hampir real-time terhadap masalah aplikasi. Untuk mendukung skenario real time ini, organisasi perlu mengumpulkan set telemetri besar-besaran, yang memerlukan arsitektur yang dapat diskalakan. Setelah data dikumpulkan, jenis analisis lain, seperti AI dan deteksi anomali, diperlukan untuk mengidentifikasi masalah secara efisien di begitu besar himpunan data.

Ketika teknologi skala besar disebarkan, sistem dan perangkat pengguna akhir yang berinteraksi dengan mereka menghasilkan sekumpulan data telemetri besar-besaran. Dalam skenario tradisional, data ini dianalisis melalui sistem gudang data untuk menghasilkan wawasan yang dapat digunakan untuk mendukung keputusan manajemen. Pendekatan ini mungkin berfungsi dalam beberapa skenario, tetapi tidak cukup responsif untuk kasus penggunaan media streaming. Untuk mengatasi masalah ini, wawasan real time diperlukan untuk data telemetri yang dihasilkan dari server pemantauan, jaringan, dan perangkat pengguna akhir yang berinteraksi dengannya. Sistem pemantauan yang menangkap kegagalan dan kesalahan adalah umum, tetapi untuk menangkapnya mendekati real-time sulit. Itulah fokus arsitektur ini.

Dalam pengaturan streaming langsung atau video sesuai permintaan, data telemetri dihasilkan dari sistem dan klien heterogen (seluler, desktop, dan TV). Solusinya melibatkan pengambilan data mentah dan mengaitkan konteks dengan titik data, misalnya, dimensi seperti geografi, sistem operasi pengguna akhir, ID konten, dan penyedia CDN. Telemetri mentah dikumpulkan, diubah, dan disimpan di Data Explorer untuk analisis. Anda kemudian dapat menggunakan AI untuk memahami data dan mengotomatiskan proses pengamatan dan peringatan manual. Anda dapat menggunakan sistem seperti Grafana dan Metrics Advisor untuk membaca data dari Data Explorer untuk menampilkan dasbor interaktif dan memicu pemberitahuan.

Pertimbangan

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, sekumpulan tenet panduan yang dapat Anda gunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.

Keandalan

Keandalan memastikan aplikasi Anda dapat mencapai komitmen yang Anda buat kepada pelanggan Anda. Untuk informasi selengkapnya, lihat Gambaran Umum pilar keandalan.

Aplikasi penting bisnis perlu terus berjalan bahkan selama peristiwa yang mengganggu seperti pemadaman wilayah Azure atau CDN. Ada dua strategi utama dan satu strategi hibrid untuk membangun redundansi ke dalam sistem Anda:

  • Aktif/aktif. Kode dan fungsi duplikat sedang berjalan. Salah satu sistem dapat mengambil alih selama kegagalan.
  • Aktif/siaga. Hanya satu simpul yang aktif/utama. Yang lain siap untuk mengambil alih jika node utama turun.
  • Campuran. Beberapa komponen/layanan berada dalam konfigurasi aktif/aktif, dan beberapa berada dalam status aktif/siaga.

Perlu diingat bahwa tidak semua layanan Azure memiliki redundansi bawaan. Misalnya, Azure Functions menjalankan aplikasi fungsi hanya di wilayah tertentu. Pemulihan bencana geografis Azure Functions menjelaskan berbagai strategi yang dapat Anda terapkan, tergantung pada bagaimana fungsi Anda dipicu (HTTP versus pub/sub).

Aplikasi fungsi penyerapan dan transformasi dapat berjalan dalam mode aktif/aktif. Anda dapat menjalankan Data Explorer dalam konfigurasi aktif/aktif dan aktif/siaga.

Azure Managed Grafana mendukung redundansi zona ketersediaan. Salah satu strategi untuk membuat redundansi lintas wilayah adalah menyiapkan Grafana di setiap wilayah tempat kluster Data Explorer Anda disebarkan.

Pengoptimalan biaya

Pengoptimalan biaya adalah tentang mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Gambaran umum pilar pengoptimalan biaya.

Biaya arsitektur ini tergantung pada jumlah peristiwa telemetri masuk, penyimpanan telemetri mentah Anda di Blob Storage dan Data Explorer, biaya per jam untuk Azure Managed Grafana, dan biaya statis untuk jumlah bagan rangkaian waktu di Metrics Advisor.

Anda dapat menggunakan kalkulator harga Azure untuk memperkirakan biaya per jam atau bulanan Anda.

Efisiensi kinerja

Efisiensi performa adalah kemampuan beban kerja Anda untuk diskalakan agar memenuhi permintaan yang diberikan oleh pengguna dengan cara yang efisien. Untuk informasi selengkapnya, lihat Gambaran umum pilar efisiensi performa.

Tergantung pada skala dan frekuensi permintaan masuk, aplikasi fungsi mungkin menjadi hambatan, karena dua alasan utama:

  • Cold start. Cold start adalah konsekuensi dari eksekusi tanpa server. Ini mengacu pada penjadwalan dan waktu penyiapan yang diperlukan untuk memutar lingkungan sebelum fungsi pertama kali mulai berjalan. Paling lama, waktu yang diperlukan adalah beberapa detik.
  • Frekuensi permintaan. Katakanlah Anda memiliki 1.000 permintaan HTTP tetapi hanya server utas tunggal untuk menanganinya. Anda tidak akan dapat melayani semua 1.000 permintaan HTTP secara bersamaan. Untuk melayani permintaan ini secara tepat waktu, Anda perlu menyebarkan lebih banyak server. Artinya, Anda perlu menskalakan secara horizontal.

Kami menyarankan agar Anda menggunakan SKU Premium atau Khusus untuk:

  • Menghilangkan awal yang dingin.
  • Tangani persyaratan untuk permintaan bersamaan dengan menskalakan jumlah layanan komputer virtual ke atas atau ke bawah.

Untuk informasi selengkapnya, lihat Memilih SKU untuk kluster Azure Data Explorer Anda.

Menyebarkan skenario ini

Untuk informasi tentang menyebarkan skenario ini, lihat real-time-monitoring-and-observability-for-media di GitHub. Sampel kode ini mencakup infrastruktur sebagai kode (IaC) yang diperlukan untuk pengembangan bootstrap dan fungsi Azure untuk menyerap dan mengubah data dari titik akhir HTTP dan blob.

Kontributor

Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

Kontributor lain:

Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.

Langkah berikutnya