Edit

Bagikan melalui

Analitik real time pada arsitektur big data

Azure Analysis Services
Azure Event Hubs
Azure Synapse Analytics

Ide solusi

Artikel ini menjelaskan ide solusi. Arsitek cloud Anda dapat menggunakan panduan ini untuk membantu memvisualisasikan komponen utama untuk implementasi umum arsitektur ini. Gunakan artikel ini sebagai titik awal untuk merancang solusi yang dirancang dengan baik yang selaras dengan persyaratan spesifik beban kerja Anda.

Ide solusi ini menjelaskan bagaimana Anda bisa mendapatkan wawasan dari data streaming langsung. Ambil data secara terus-menerus dari perangkat IoT apa pun, atau log dari clickstream situs web, dan proses dalam waktu yang mendekati real-time.

Sistem

Diagram solusi analitik real time pada arsitektur big data yang menggunakan Azure Synapse Analytics dengan Azure Data Lake Storage, Event Hubs, Azure Analysis Services, Azure Cosmos DB, dan Power BI.

Unduh file Visio arsitektur ini.

Aliran data

  1. Dengan mudah menyerap data streaming langsung untuk aplikasi, dengan menggunakan Azure Event Hubs.
  2. Satukan semua data terstruktur Anda menggunakan Synapse Pipelines ke Azure Blob Storage.
  3. Manfaatkan kumpulan Apache Spark untuk membersihkan, mengubah, dan menganalisis data streaming, dan menggabungkannya dengan data terstruktur dari database operasional atau gudang data.
  4. Gunakan teknik pembelajaran mesin/pembelajaran mendalam yang dapat diskalakan, untuk mendapatkan wawasan yang lebih mendalam dari data ini, menggunakan Python, Scala, atau .NET, dengan pengalaman notebook di kumpulan Apache Spark.
  5. Terapkan kumpulan Apache Spark dan Synapse Pipelines di Azure Synapse Analytics untuk mengakses dan memindahkan data dalam skala besar.
  6. Bangun dasbor analitik dan laporan tersemat di kumpulan SQL khusus untuk berbagi wawasan dalam organisasi Anda dan gunakan Azure Analysis Services untuk menyajikan data ini ke ribuan pengguna.
  7. Ambil wawasan dari kumpulan Apache Spark ke Azure Cosmos DB untuk membuatnya dapat diakses melalui aplikasi real time.

Komponen

  • Azure Synapse Analytics adalah gudang data cloud yang cepat, fleksibel, dan tepercaya yang memungkinkan Anda menskalakan, menghitung, dan menyimpan secara elastis dan mandiri, dengan arsitektur pemrosesan paralel yang masif.
  • Dokumentasi Synapse Pipelines memungkinkan Anda membuat, menjadwalkan, dan mengatur alur kerja ETL/ELT Anda.
  • Azure Data Lake Storage: Fungsionalitas data lake yang sangat dapat diskalakan dan aman yang dibangun di Azure Blob Storage
  • Kumpulan Azure Synapse Analytics Spark adalah platform analisis berbasis Apache Spark yang cepat, mudah, dan kolaboratif.
  • Dokumentasi Azure Event Hubs Azure adalah platform streaming data besar dan layanan penyerapan peristiwa.
  • Azure Cosmos DB adalah layanan database multi-model yang didistribusikan secara global. Kemudian pelajari cara mereplikasi data Anda di sejumlah wilayah Azure dan menskalakan throughput Anda secara independen dari penyimpanan Anda.
  • Azure Synapse Link untuk Azure Cosmos DB memungkinkan Anda menjalankan analisis mendekati real-time terhadap data operasional di Azure Cosmos DB, tanpa menimbulkan dampak performa atau biaya pada beban kerja transaksional, dengan menggunakan dua mesin analitik yang tersedia dari ruang kerja Azure Synapse Anda: SQL Serverless dan Spark Pools.
  • Azure Analysis Services adalah analitik tingkat perusahaan sebagai layanan yang memungkinkan Anda mengatur, menerapkan, menguji, dan memberikan solusi BI Anda dengan percaya diri.
  • Power BI adalah rangkaian alat analisis bisnis yang memberikan wawasan ke seluruh organisasi Anda. Tersambung ke ratusan sumber data, sederhanakan persiapan data, dan dorong analisis yang tidak direncanakan. Buat laporan yang menarik, lalu terbitkan untuk digunakan organisasi Anda di web dan di seluruh perangkat seluler.

Alternatif

  • Synapse Link adalah solusi pilihan Microsoft untuk analitik di atas data Azure Cosmos DB.
  • Azure IoT Hub dapat digunakan alih-alih Azure Event Hubs. IoT Hub adalah layanan terkelola yang di-hosting di cloud yang bertindak sebagai hub pesan utama untuk komunikasi antara aplikasi IoT dan perangkat yang terpasang. Anda dapat menghubungkan jutaan perangkat dan solusi backend mereka dengan andal dan aman. Hampir semua perangkat dapat tersambung ke IoT Hub.

Detail skenario

Skenario ini menggambarkan bagaimana Anda bisa mendapatkan wawasan dari data streaming langsung. Anda dapat mengambil data terus menerus dari perangkat IoT apa pun, atau log dari clickstream situs web, dan memprosesnya hampir secara real time.

Kemungkinan kasus penggunaan

Solusi ini sangat ideal untuk industri media dan hiburan. Skenarionya adalah untuk membangun analitik dari data streaming langsung.

Pertimbangan

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat digunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.

Pengoptimalan biaya

Optimalisasi biaya adalah tentang mencari cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Gambaran umum pilar pengoptimalan biaya.

Anda dapat menggunakan kalkulator harga Azure untuk mendapatkan perkiraan harga yang disesuaikan.

Langkah berikutnya