Edit

Analitik data besar dengan Azure Data Explorer

Azure Data Explorer
Azure Event Hubs
Azure IoT Hub
Azure Storage
Azure Synapse Analytics

Ide solusi

Artikel ini adalah ide solusi. Jika Anda ingin kami memperluas konten dengan informasi lebih lanjut, seperti potensi kasus penggunaan, layanan alternatif, pertimbangan implementasi, atau panduan harga, beri tahu kami dengan memberikan umpan balik GitHub.

Ide solusi ini menunjukkan analitik big data melalui volume besar data kecepatan tinggi dari berbagai sumber.

Apache® dan Apache Kafka® adalah merek dagang terdaftar atau merek dagang dari Apache Software Foundation di Amerika Serikat dan/atau negara lain. Tidak ada dukungan dari Apache Software Foundation yang tersirat dari penggunaan tanda ini.

Arsitektur

Diagram memperlihatkan analitik big data dengan Azure Data Explorer.

Unduh file Visio arsitektur ini.

Aliran data

  1. Data mentah yang terstruktur, semi-terstruktur, dan tidak terstruktur (teks bebas) seperti semua jenis log, acara bisnis, dan aktivitas pengguna dapat diserap ke Azure Data Explorer dari berbagai sumber.
  2. Serap data ke Azure Data Explorer dengan latensi rendah dan throughput tinggi menggunakan konektornya untuk Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka, dan sebagainya. Atau, menyerap data melalui Azure Storage (Blob atau ADLS Gen2), yang menggunakan Azure Event Grid dan memicu alur penyerapan ke Azure Data Explorer. Anda juga dapat mengekspor data ke Azure Storage secara terus-menerus dalam format parket yang dipartisi dan dikompresi, dan melakukan kueri data tersebut secara mulus seperti yang dirinci dalam Gambaran umum ekspor data berkelanjutan.
  3. Mengekspor data yang telah diagregasi sebelumnya dari Azure Data Explorer ke Azure Storage, kemudian menyerap data ke dalam Synapse Analytics untuk membuat model dan laporan data.
  4. Gunakan kemampuan asli Azure Data Explorer untuk memproses, menggabungkan, dan menganalisis data. Untuk mendapatkan wawasan dengan kecepatan kilat, buat dasbor analitik mendekati real-time menggunakan Dasbor Azure Data Explorer, Power BI, Grafana, atau alat lainnya. Gunakan Azure Synapse Analytics untuk membangun gudang data modern dan menggabungkannya dengan data Azure Data Explorer untuk menghasilkan laporan BI tentang model data yang dikurasi dan diagregasi.
  5. Azure Data Explorer menyediakan kemampuan analitik lanjutan asli untuk analisis deret waktu, pengenalan pola, deteksi dan perkiraan anomali, dan pembelajaran mesin. Azure Data Explorer juga terintegrasi dengan baik dengan layanan ML seperti Databricks dan Azure Machine Learning. Integrasi ini memungkinkan Anda membuat model menggunakan alat dan layanan lain dan mengekspor model ML ke Azure Data Explorer untuk mencetak data.

Komponen

  • Azure Event Hubs: Layanan penyerapan data real-time yang dikelola sepenuhnya yang sederhana, tepercaya, dan dapat diskalakan.
  • Azure IoT Hub: Layanan terkelola untuk mengaktifkan komunikasi dua arah antara perangkat IoT dan Azure.
  • Kafka di HDInsight: Layanan kelas perusahaan yang mudah dan hemat biaya untuk analitik sumber terbuka dengan Apache Kafka.
  • Azure Data Explorer: Layanan analisis data yang cepat, terkelola sepenuhnya, dan sangat bisa diskalakan untuk analisis real-time pada aliran data dalam jumlah besar dari aplikasi, situs web, perangkat IoT, dan banyak lagi.
  • Dasbor Azure Data Explorer: Mengekspor kueri Kusto yang dijelajahi di UI Web secara asli ke dasbor yang dioptimalkan.
  • Azure Synapse Analytics: Layanan analitik yang menyatukan pergudangan data perusahaan dan analitik Big Data.

Detail skenario

Potensi kasus penggunaan

Solusi ini menggambarkan bagaimana Azure Data Explorer dan Azure Synapse Analytics saling melengkapi untuk analitik mendekati real-time dan kasus penggunaan pergudangan data modern.

Solusi ini sudah digunakan oleh pelanggan Microsoft. Misalnya, perusahaan transportasi online yang berbasis di Singapura, Grab, menerapkan analitik real-time atas sejumlah besar data yang dikumpulkan dari taksi dan layanan pesan-antar makanan serta aplikasi mitra pedagang. Tim dari Grab mempresentasikan solusi mereka di MS Ignite dalam video ini (menit 20:30 dan seterusnya). Dengan menggunakan pola ini, Grab memproses lebih dari satu triliun peristiwa per hari.

Solusi ini dioptimalkan untuk industri ritel.

Kontributor

Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.

Langkah berikutnya