Apa itu Azure Data Explorer?

Azure Data Explorer adalah platform analitik big data berkinerja tinggi yang dikelola sepenuhnya yang memudahkan untuk menganalisis data dalam volume tinggi hampir secara real time. Kotak alat Azure Data Explorer memberi Anda solusi akhir ke akhir untuk menyerap, mengkueri, memvisualisasi, dan mengelola data.

Dengan menganalisis data terstruktur, semi terstruktur, dan tidak terstruktur di seluruh rangkaian waktu, dan dengan menggunakan pembelajaran mesin, Azure Data Explorer memudahkan untuk mengekstrak wawasan utama, pola dan tren spot, dan membuat model prakiraan. Azure Data Explorer menggunakan model relasional tradisional, mengatur data ke dalam tabel dengan skema bertipe kuat. Tabel disimpan dalam database, dan kluster dapat mengelola beberapa database. Azure Data Explorer dapat diskalakan, aman, kuat, dan siap untuk perusahaan. Ini berguna untuk analitik log, analitik rangkaian waktu, IoT, dan analitik eksplorasi tujuan umum.

Layanan lain yang dibangun berdasarkan bahasa kuerinya, Kusto Query Language (KQL), memperluas kemampuan Azure Data Explorer. Layanan ini mencakup Log Azure Monitor, Application Insights, dan Microsoft Defender untuk Titik Akhir.

Kapan Anda harus menggunakan Azure Data Explorer?

Gunakan pertanyaan berikut untuk membantu memutuskan apakah Azure Data Explorer tepat untuk kasus penggunaan Anda:

  • Analitik interaktif: Apakah analisis interaktif merupakan bagian dari solusi? Misalnya, agregasi, korelasi, atau deteksi anomali.
  • Variasi, kecepatan, volume: Apakah skema Anda beragam? Apakah Anda perlu menangani data dalam jumlah sangat besar hampir secara real-time?
  • Organisasi data: Apakah Anda ingin menganalisis data mentah? Misalnya, data yang bukan skema bintang yang dikurasi sepenuhnya.
  • Konkurensi kueri: Apakah beberapa pengguna atau proses akan menggunakan Azure Data Explorer?
  • Bangun vs. beli: Apakah Anda berencana menyesuaikan platform data Anda?

Azure Data Explorer sangat ideal untuk mengaktifkan kemampuan analitik interaktif melalui kecepatan tinggi, data mentah yang beragam. Gunakan pohon keputusan berikut untuk membantu Anda memutuskan apakah Azure Data Explorer tepat untuk Anda:

Diagram pohon keputusan yang memandu Anda kapan harus menggunakan Azure Data Explorer berdasarkan kebutuhan analitik Anda.

Apa yang membuat Azure Data Explorer unik?

Kecepatan, variasi, dan volume data

Dengan Azure Data Explorer, Anda dapat menyerap terabyte data dalam hitungan menit melalui penyerapan antrean atau penyerapan streaming. Anda dapat mengkueri petabyte data, dengan hasil yang dikembalikan dalam milidetik hingga detik. Azure Data Explorer memberikan kecepatan tinggi (jutaan peristiwa per detik), latensi rendah (detik), dan penyerapan data mentah skala linier. Serap data Anda dalam format dan struktur yang berbeda, mengalir dari berbagai alur dan sumber.

Bahasa kueri yang mudah digunakan

Kueri Azure Data Explorer dengan menggunakan Kusto Query Language (KQL), bahasa sumber terbuka yang dibuat tim Azure Data Explorer. Bahasa ini mudah dipahami dan dipelajari, dan sangat produktif. Anda dapat menggunakan operator sederhana dan analitik tingkat lanjut. Azure Data Explorer juga mendukung T-SQL.

Analitik lanjutan

Gunakan Azure Data Explorer untuk analisis rangkaian waktu dengan serangkaian fungsi besar, termasuk menambahkan dan mengurangi rangkaian waktu, pemfilteran, regresi, deteksi musiman, analisis geospasial, deteksi anomali, pemindaian, dan prakiraan. Fungsi rangkaian waktu dioptimalkan untuk memproses ribuan rangkaian waktu dalam hitungan detik. Deteksi pola mudah dilakukan dengan plugin kluster yang dapat mendiagnosis anomali dan melakukan analisis akar penyebab. Anda juga dapat memperluas kemampuan Azure Data Explorer dengan menyematkan kode Python dalam kueri KQL.

Wizard yang mudah digunakan

Pengalaman mendapatkan data membuat proses penyerapan data menjadi mudah, cepat, dan intuitif. UI web Azure Data Explorer memberikan pengalaman intuitif dan terpandu yang membantu Anda dengan cepat mulai menyerap data, membuat tabel database, dan struktur pemetaan. Ini memungkinkan penyerapan satu kali atau berkelanjutan dari berbagai sumber dan dalam berbagai format data. Pemetaan dan skema tabel secara otomatis disarankan dan mudah dimodifikasi.

Visualisasi data serbaguna

Visualisasi data membantu Anda mendapatkan wawasan penting. Azure Data Explorer menawarkan visualisasi dan pembuatan dasbor secara bawaan, dengan dukungan untuk berbagai bagan dan visualisasi. Ini memiliki integrasi asli dengan Power BI, konektor asli untuk Grafana, Kibana, dan Databricks, dan dukungan ODBC untuk Tableau, Sisense, Qlik, dan banyak lagi.

Menyerap, memproses, dan mengekspor secara otomatis

Azure Data Explorer mendukung fungsi tersimpan sisi server, penyerapan berkelanjutan, dan ekspor berkelanjutan ke Azure Data Lake Storage. Ini juga mendukung transformasi pemetaan waktu penyerapan di sisi server, memperbarui kebijakan, dan agregat terjadwal yang telah dikomputasi dengan tampilan materialisasi.

Alur Azure Data Explorer

Diagram berikut menunjukkan berbagai aspek bekerja dengan Azure Data Explorer.

Diagram yang memperlihatkan alur kerja Azure Data Explorer, dari membuat database melalui menyerap, mengkueri, dan memvisualisasikan data.

Saat berinteraksi dengan Azure Data Explorer, Anda biasanya mengikuti alur kerja ini:

Catatan

Anda dapat mengakses sumber daya Azure Data Explorer baik di UI web Azure Data Explorer atau dengan menggunakan SDK.

  1. Membuat database: Buat kluster, lalu buat satu atau beberapa database di kluster tersebut. Setiap kluster Azure Data Explorer dapat menampung hingga 10.000 database, dan setiap database dapat menampung hingga 10.000 tabel. Data dalam setiap tabel disimpan dalam shard data, yang juga disebut extent. Semua data secara otomatis diindeks dan dipartisi berdasarkan waktu penyerapan. Arsitektur penyimpanan ini berarti Anda dapat menyimpan sejumlah besar data yang bervariasi, dan Anda mendapatkan akses cepat saat mengkuerinya. Mulai cepat: Membuat kluster dan database Azure Data Explorer

  2. Menyerap data: Memuat data ke dalam tabel database sehingga Anda bisa menjalankan kueri terhadapnya. Azure Data Explorer mendukung beberapa metode penyerapan, masing-masing dengan skenario targetnya sendiri. Metode ini mencakup alat penyerapan, konektor, dan plugin ke beragam layanan, saluran terkelola, penyerapan terprogram menggunakan SDK, dan akses langsung ke penyerapan. Mulai dengan pengalaman Dapatkan Data.

  3. Mengkueri database: Azure Data Explorer menggunakan Bahasa Kueri Kusto, yang merupakan bahasa kueri yang ekspresif, intuitif, dan sangat produktif. Ini menawarkan transisi yang lancar dari satu baris sederhana ke skrip pemrosesan data yang kompleks, dan mendukung kueri data terstruktur, semi terstruktur, dan tidak terstruktur (pencarian teks). Bahasa ini memiliki berbagai operator dan fungsi kueri, termasuk agregasi, pemfilteran, fungsi rangkaian waktu, fungsi geospasial, gabungan, dan serikat. KQL mendukung kueri lintas kluster dan lintas database, dan fitur ini kaya untuk mengurai format seperti JSON dan XML. Bahasa ini juga secara asli mendukung analitik tingkat lanjut.

    Gunakan aplikasi web untuk menjalankan, meninjau, dan berbagi kueri dan hasil. Anda juga dapat mengirim kueri secara terprogram (menggunakan SDK) atau ke titik akhir REST API. Jika Anda terbiasa dengan SQL, mulailah dengan lembar contekan SQL ke Kusto dan Mulai cepat: Membuat kueri data di UI web Azure Data Explorer.

  4. Memvisualisasikan hasil: Gunakan tampilan visual data Anda yang berbeda di dasbor Azure Data Explorer asli. Anda juga dapat menampilkan hasil Anda dengan menggunakan konektor ke beberapa layanan visualisasi terkemuka, seperti Power BI dan Grafana. Azure Data Explorer juga memiliki dukungan konektor ODBC dan JDBC untuk alat seperti Tableau dan Sisense.

Berikan tanggapan

Untuk berbagi umpan balik tentang Azure Data Explorer dan Bahasa Kueri Kusto, gunakan sumber daya berikut:

Konten terkait

  • Last updated on