Edit

Analitik real time pada arsitektur big data

Analysis Services
Event Hubs
Synapse Analytics

Ide solusi

Artikel ini adalah ide solusi. Jika Anda ingin kami memperluas konten dengan informasi lebih lanjut, seperti potensi kasus penggunaan, layanan alternatif, pertimbangan implementasi, atau panduan harga, beri tahu kami dengan memberikan umpan balik GitHub.

Ide solusi ini menjelaskan bagaimana Anda bisa mendapatkan wawasan dari data streaming langsung. Ambil data secara terus-menerus dari perangkat IoT apa pun, atau log dari clickstream situs web, dan proses dalam waktu yang mendekati real-time.

Arsitektur

Diagram solusi analitik real-time pada arsitektur big data menggunakan Azure Synapse Analytics dengan Azure Data Lake Storage Gen2, Event Hubs, Azure Analysis Services, Azure Cosmos DB, dan Power BI.

Unduh file Visio arsitektur ini.

Aliran data

  1. Dengan mudah menyerap data streaming langsung untuk aplikasi, dengan menggunakan Azure Event Hubs.
  2. Satukan semua data terstruktur Anda menggunakan Synapse Pipelines ke Azure Blob Storage.
  3. Manfaatkan kumpulan Apache Spark untuk membersihkan, mengubah, dan menganalisis data streaming, dan menggabungkannya dengan data terstruktur dari database operasional atau gudang data.
  4. Gunakan teknik pembelajaran mesin/pembelajaran mendalam yang dapat diskalakan, untuk mendapatkan wawasan yang lebih mendalam dari data ini, menggunakan Python, Scala, atau .NET, dengan pengalaman notebook di kumpulan Apache Spark.
  5. Terapkan kumpulan Apache Spark dan Synapse Pipelines di Azure Synapse Analytics untuk mengakses dan memindahkan data dalam skala besar.
  6. Bangun dasbor analitik dan laporan tersemat di kumpulan SQL khusus untuk berbagi wawasan dalam organisasi Anda dan gunakan Azure Analysis Services untuk menyajikan data ini ke ribuan pengguna.
  7. Ambil wawasan dari kumpulan Apache Spark ke Azure Cosmos DB untuk membuatnya dapat diakses melalui aplikasi real time.

Komponen

  • Azure Synapse Analytics adalah gudang data cloud yang cepat, fleksibel, dan tepercaya yang memungkinkan Anda menskalakan, menghitung, dan menyimpan secara elastis dan mandiri, dengan arsitektur pemrosesan paralel yang masif.
  • Dokumentasi Synapse Pipelines memungkinkan Anda membuat, menjadwalkan, dan mengatur alur kerja ETL/ELT Anda.
  • Azure Data Lake Storage: Fungsionalitas data lake yang sangat dapat diskalakan dan aman yang dibangun di Azure Blob Storage
  • Kumpulan Azure Synapse Analytics Spark adalah platform analisis berbasis Apache Spark yang cepat, mudah, dan kolaboratif.
  • Dokumentasi Azure Event Hubs Azure adalah platform streaming data besar dan layanan penyerapan peristiwa.
  • Azure Cosmos DB adalah layanan database multi-model yang didistribusikan secara global. Kemudian pelajari cara mereplikasi data Anda di sejumlah wilayah Azure dan menskalakan throughput Anda secara independen dari penyimpanan Anda.
  • Azure Synapse Link untuk Azure Cosmos DB memungkinkan Anda menjalankan analisis yang mendekati real-time atas data operasional di Azure Cosmos DB, tanpa dampak performa atau biaya apa pun pada beban kerja transaksional Anda, dengan menggunakan dua mesin analitik yang tersedia dari ruang kerja Azure Synapse Anda: SQL Serverless dan Spark Pools.
  • Azure Analysis Services adalah analitik tingkat perusahaan sebagai layanan yang memungkinkan Anda mengatur, menyebarkan, menguji, dan memberikan solusi BI Anda dengan keyakinan.
  • Power BI adalah serangkaian alat analitik bisnis yang memberikan wawasan ke seluruh organisasi Anda. Tersambung ke ratusan sumber data, sederhanakan persiapan data, dan dorong analisis yang tidak direncanakan. Buat laporan yang menarik, lalu terbitkan untuk digunakan organisasi Anda di web dan di seluruh perangkat seluler.

Alternatif

  • Synapse Link adalah solusi pilihan Microsoft untuk analitik di atas data Azure Cosmos DB.
  • Azure IoT Hub dapat digunakan alih-alih Azure Event Hubs. IoT Hub adalah layanan terkelola yang di-hosting di cloud yang bertindak sebagai hub pesan utama untuk komunikasi antara aplikasi IoT dan perangkat yang terpasang. Anda dapat menghubungkan jutaan perangkat dan solusi backend mereka dengan andal dan aman. Hampir semua perangkat dapat tersambung ke IoT Hub.

Detail skenario

Skenario ini menggambarkan bagaimana Anda bisa mendapatkan wawasan dari data streaming langsung. Anda dapat mengambil data terus menerus dari perangkat IoT apa pun, atau log dari aliran klik situs web, dan memprosesnya hampir secara real time.

Potensi penggunaan kasus

Solusi ini sangat ideal untuk industri media dan hiburan. Skenarionya adalah untuk membangun analitik dari data streaming langsung.

Pertimbangan

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian prinsip panduan yang dapat digunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.

Pengoptimalan biaya

Optimalisasi biaya adalah tentang mencari cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Gambaran umum pilar pengoptimalan biaya.

Anda dapat menggunakan kalkulator harga Azure untuk mendapatkan perkiraan harga yang disesuaikan.

Langkah berikutnya