Apa itu Azure Data Explorer?

  • Artikel

Azure Data Explorer adalah platform analitik big data berkinerja tinggi yang dikelola sepenuhnya yang memudahkan analisis data dalam volume tinggi mendekati real time. Kotak alat Azure Data Explorer memberi Anda solusi akhir ke akhir untuk menyerap, mengkueri, memvisualisasi, dan mengelola data.

Dengan menganalisis data terstruktur, semi terstruktur, dan tidak terstruktur di seluruh rangkaian waktu, dan dengan menggunakan Pembelajaran Mesin, Azure Data Explorer memudahkan untuk mengekstrak wawasan utama, pola dan tren titik, dan membuat model perkiraan. Azure Data Explorer menggunakan model relasional tradisional, mengatur data ke dalam tabel dengan skema yang sangat diketik. Tabel disimpan dalam database, dan kluster dapat mengelola beberapa database. Azure Data Explorer dapat diskalakan, aman, kuat, dan siap untuk perusahaan, dan berguna untuk analitik log, analitik deret waktu, IoT, dan analitik eksplorasi tujuan umum.

Kemampuan Azure Data Explorer diperluas oleh layanan lain yang dibangun berdasarkan bahasa kuerinya: Bahasa Kueri Kusto (KQL). Layanan ini termasuk log Azure Monitor, Application Insights, Time Series Insights, dan Microsoft Defender untuk Titik Akhir.

Kapan Anda harus menggunakan Azure Data Explorer?

Gunakan pertanyaan berikut untuk membantu memutuskan apakah Azure Data Explorer tepat untuk kasus penggunaan Anda:

  • Analitik interaktif: Apakah analisis interaktif merupakan bagian dari solusi? Misalnya, agregasi, korelasi, atau deteksi anomali.
  • Variasi, Kecepatan, Volume: Apakah skema Anda beragam? Apakah Anda perlu menyerap data dalam jumlah besar mendekati real-time?
  • Organisasi data: Apakah Anda ingin menganalisis data mentah? Misalnya, skema star yang tidak sepenuhnya dikumpulkan.
  • Konkurensi kueri: Apakah beberapa pengguna atau proses akan menggunakan Azure Data Explorer?
  • Build vs Buy: Apakah Anda berencana untuk menyesuaikan platform data Anda?

Azure Data Explorer sangat ideal untuk mengaktifkan kemampuan analitik interaktif melalui kecepatan tinggi, beragam data mentah. Gunakan pohon keputusan berikut untuk membantu Anda memutuskan apakah Azure Data Explorer tepat untuk Anda:

Gambar ini adalah gambar alur kerja skematik pohon keputusan Azure Data Explorer.

Apa yang membuat Azure Data Explorer unik?

Kecepatan, variasi, dan volume data

Dengan Azure Data Explorer, Anda dapat menyerap terabyte data dalam hitungan menit melalui penyerapan antrean atau penyerapan streaming. Anda dapat mengkueri petabyte data, dengan hasil yang dikembalikan dalam milidetik hingga detik. Azure Data Explorer menyediakan kecepatan tinggi (jutaan peristiwa per detik), latensi rendah (detik), dan penyerapan data mentah skala linier. Serap data Anda dalam format dan struktur yang berbeda, mengalir dari berbagai alur dan sumber.

Bahasa kueri yang mudah digunakan

Kueri Azure Data Explorer dengan Bahasa Kueri Kusto (KQL), bahasa sumber terbuka yang awalnya dibuat oleh tim. Bahasa ini mudah dipahami dan dipelajari, dan sangat produktif. Anda dapat menggunakan operator sederhana dan analitik tingkat lanjut. Azure Data Explorer juga mendukung T-SQL.

Analitik lanjutan

Gunakan Azure Data Explorer untuk analisis rangkaian waktu dengan serangkaian fungsi besar termasuk: menambahkan dan mengurangi rangkaian waktu, pemfilteran, regresi, deteksi musiman, analisis geospasial, deteksi anomali, pemindaian, dan prakiraan. Fungsi rangkaian waktu dioptimalkan untuk memproses ribuan rangkaian waktu dalam hitungan detik. Deteksi pola menjadi mudah dengan plugin kluster yang dapat mendiagnosis anomali dan melakukan analisis penyebab akar. Anda juga dapat memperluas kemampuan Azure Data Explorer dengan menyematkan kode python dalam kueri KQL.

Wizard yang mudah digunakan

Wizard penyerapan membuat proses penyerapan data menjadi mudah, cepat, dan intuitif. Antarmuka pengguna web Azure Data Explorer memberikan pengalaman intuitif dan terpandu yang membantu Anda meningkatkan dengan cepat untuk mulai menyerap data, membuat tabel database, dan struktur pemetaan. Ini memungkinkan satu kali atau penyerapan berkelanjutan dari berbagai sumber dan dalam berbagai format data. Pemetaan tabel dan skema disarankan secara otomatis dan mudah dimodifikasi.

Visualisasi data serbaguna

Visualisasi data membantu Anda mendapatkan wawasan penting. Azure Data Explorer menawarkan visualisasi dan dasbor bawaan di luar kotak, dengan dukungan untuk berbagai bagan dan visualisasi. Ini memiliki integrasi asli dengan Power BI, konektor asli untuk Grafana, Kibana dan Databricks, dukungan ODBC untuk Tableau, Sisense, Qlik, dan banyak lagi.

Menyerap, memproses, dan mengekspor secara otomatis

Azure Data Explorer mendukung fungsi yang disimpan di sisi server, menyerap terus menerus, dan mengekspor berkelanjutan ke penyimpanan Azure Data Lake. Ini juga mendukung transformasi pemetaan waktu penyerapan di sisi server, memperbarui kebijakan, dan agregat terjadwal yang telah dikomputasi sebelumnya dengan tampilan terwujud.

Alur Data Explorer Azure

Diagram berikut menunjukkan berbagai aspek bekerja dengan Azure Data Explorer.

Alur Data Explorer Azure.

Secara umum, saat Anda berinteraksi dengan Azure Data Explorer, Anda akan melalui alur kerja berikut:

Catatan

Anda dapat mengakses sumber daya Azure Data Explorer baik di UI web Azure Data Explorer atau dengan menggunakan SDK.

  1. Buat database: Buat kluster lalu buat satu atau beberapa database di kluster tersebut. Setiap kluster Azure Data Explorer dapat menampung hingga 10.000 database dan setiap database hingga 10.000 tabel. Data dalam setiap tabel tersimpan dalam pecahan data yang juga disebut "jangkauan". Semua data secara otomatis diindeks dan dipartisi berdasarkan waktu penyerapan. Ini berarti Anda dapat menyimpan banyak data yang bervariasi, dan karena cara menyimpannya, Anda mendapatkan akses cepat untuk meminta data. Mulai cepat: Membuat kluster dan database Azure Data Explorer

  2. Menyerap data: Muat data ke dalam tabel database sehingga Anda bisa menjalankan kueri terhadapnya. Azure Data Explorer mendukung beberapa metode penyerapan, masing-masing dengan skenario targetnya sendiri. Metode ini mencakup alat penyerapan, konektor, dan plugin ke beragam layanan, saluran terkelola, penyerapan terprogram menggunakan SDK, dan akses langsung ke penyerapan. Mulai menggunakan wizard penyerapan.

  3. Database kueri: Azure Data Explorer menggunakan Bahasa Kueri Kusto, yang merupakan bahasa kueri yang ekspresif, intuitif, dan sangat produktif. Ini menawarkan transisi yang mulus dari satu liner sederhana ke skrip pemrosesan data yang kompleks, dan mendukung kueri data terstruktur, semi-terstruktur, dan tidak terstruktur (pencarian teks). Ada berbagai operator dan fungsi bahasa kueri (agregasi, pemfilteran, fungsi rangkaian waktu, fungsi geospasial, gabungan, serikat, dan banyak lagi) dalam bahasa. KQL mendukung kueri lintas kluster dan lintas database, dan kaya akan fitur dari perspektif penguraian (json, XML, dan lainnya). Bahasa ini juga secara asli mendukung analitik tingkat lanjut.

    Gunakan aplikasi web untuk menjalankan, meninjau, dan berbagi kueri dan hasil. Anda juga dapat mengirim kueri secara terprogram (menggunakan SDK) atau ke titik akhir REST API. Jika Anda terbiasa dengan SQL, mulailah dengan referensi cepat SQL ke Kusto. Mulai cepat: Mengkueri data di antarmuka pengguna web Azure Data Explorer

  4. Memvisualisasikan hasil: Gunakan tampilan visual data Anda yang berbeda di Dasbor azure Data Explorer asli. Anda juga bisa menampilkan hasil Anda menggunakan konektor ke beberapa layanan visualisasi terkemuka, seperti Power BI dan Grafana. Azure Data Explorer juga memiliki dukungan konektor ODBC dan JDBC ke alat seperti Tableau dan Sisense.

Cara memberikan umpan balik

Kami akan senang mendengar umpan balik Anda tentang Azure Data Explorer dan Bahasa Kueri Kusto di:

Konten terkait