Cara kerja Azure Data Explorer
Dalam unit ini, kita melihat cara kerja Azure Data Explorer di belakang layar dengan membahas komponen utama sistem. Kemudian, Anda mempelajari tentang cara berinteraksi dengan layanan dengan menjelajahi alur kerja umum:
- Penyerapan data
- Bahasa Kueri Kusto
- Visualisasi data
Pengetahuan ini membantu Anda memutuskan apakah Azure Data Explorer cocok untuk kebutuhan data Anda.
Komponen utama
Kluster Azure Data Explorer melakukan semua pekerjaan untuk menyerap, memproses, dan mengkueri data Anda. Kluster dapat diskalakan otomatis sesuai dengan kebutuhan Anda. Azure Data Explorer juga menyimpan data di Azure Storage, dan menyimpan beberapa data ini pada simpul komputasi kluster untuk mencapai performa kueri yang optimal.
Apa yang ada di kluster Azure Data Explorer?
Setiap kluster Azure Data Explorer dapat menampung hingga 10.000 database dan setiap database hingga 10.000 tabel. Data di setiap tabel disimpan dalam pecahan data yang juga disebut sejauh mana. Semua data secara otomatis diindeks dan dipartisi berdasarkan waktu penyerapan. Tidak seperti database relasional, tidak ada kendala kunci asing atau kendala lainnya, seperti keunikan. Desain ini berarti Anda dapat menyimpan sejumlah besar data yang bervariasi. Dan karena cara penyimpanannya, Anda mendapatkan akses cepat untuk mengkuerinya.
Struktur logika database mirip dengan banyak database relasional lainnya. Database Azure Data Explorer bisa berisi:
- Tabel: Terdiri dari sekumpulan kolom. Setiap kolom memiliki salah satu dari sembilan jenis data berbeda.
- Tabel eksternal: Tabel yang mendasari penyimpanannya berada di lokasi lain seperti Azure Data Lake.
Mengenal alur kerja umum
Secara umum, saat Anda berinteraksi dengan Azure Data Explorer, Anda melalui alur kerja berikut: Pertama-tama Anda menyerap data anda untuk mendapatkannya dalam sistem. Kemudian, Anda menganalisis data Anda. Selanjutnya, Anda memvisualisasikan hasil analisis Anda. Kapan saja, Anda juga dapat terlibat dengan fitur manajemen data. Pekerjaan dengan Azure Data Explorer ini dilakukan melalui interaksi dengan kluster. Anda dapat mengakses sumber daya ini baik di UI Web atau menggunakan SDK.
Bagaimana cara memasukkan data saya ke Azure Data Explorer?
Penyerapan data adalah proses yang digunakan untuk memuat rekaman data dari satu atau beberapa sumber ke dalam tabel di Azure Data Explorer. Manipulasi data lebih lanjut mencakup skema pencocokan, pengorganisasian, pengindeksan, pengodean, dan mengompresi data. Manajer Data lalu melakukan penyimpanan data ke mesin, di mana data tersedia untuk kueri.
Selain wizard Antarmuka Pengguna Web asli, ada berbagai alat penyerapan yang tersedia. Termasuk alur terkelola, Event Grid, IoT Hub, dan Azure Data Factory. Anda dapat menggunakan konektor dan plugin seperti plugin Logstash, konektor Kafka, Power Automate, dan konektor Apache Spark. Anda juga dapat menggunakan penyerapan terprogram menggunakan SDK, atau LightIngest.
Data dapat diserap dalam dua mode: Batching atau Streaming. Batching penyerapan dioptimalkan untuk hasil penyerapan tinggi dan hasil kueri yang cepat. Penyerapan streaming memungkinkan latensi mendekati real-time untuk sekumpulan kecil data per tabel.
Bagaimana cara menganalisis data saya?
Azure Data Explorer menggunakan Bahasa Kueri Kusto (KQL) berpemilik untuk menganalisis data. Ini banyak digunakan di Microsoft (Azure Monitor - Log Analytics dan Application Insights, Microsoft Sentinel, dan Microsoft Defender XDR). KQL dioptimalkan untuk eksplorasi big data yang mengalir cepat, beragam, dan besar. Kueri mereferensikan tabel, tampilan, fungsi, dan ekspresi tabular lainnya. Termasuk tabel dalam database yang berbeda atau bahkan kluster. Kueri dapat dijalankan menggunakan UI Web, berbagai alat kueri, atau dengan salah satu SDK Azure Data Explorer.
Bagaimana cara kerja Bahasa Kueri Kusto?
Bahasa Kueri Kusto adalah bahasa kueri yang ekspresif, intuitif, dan sangat produktif. Ini menawarkan transisi yang mulus dari satu liner sederhana ke skrip pemrosesan data yang kompleks, dan mendukung kueri data terstruktur, semi-terstruktur, dan tidak terstruktur (pencarian teks). Ada berbagai operator dan fungsi bahasa kueri (agregasi, pemfilteran, fungsi rangkaian waktu, fungsi geospasial, gabungan, serikat, dan banyak lagi) dalam bahasa. KQL mendukung kueri lintas kluster dan lintas database, dan kaya fitur dari perspektif penguraian (json, XML, dll.). Selain itu, bahasa ini secara native mendukung analitik tingkat lanjut.
Bagaimana cara menampilkan hasil kueri saya?
UI Web Azure Data Explorer dirancang untuk big data, yang memungkinkan Anda menjalankan kueri dan membangun dasbor. Ini mendukung tampilan hingga 500-K rekaman dan ribuan kolom. Ini sangat dapat diskalakan dan kaya dengan fungsionalitas yang membantu Anda menarik wawasan cepat dari data Anda. Anda juga bisa menggunakan tampilan visual data yang berbeda di Dasbor Azure Data Explorer Anda. Anda juga bisa menampilkan hasil Anda menggunakan konektor asli ke beberapa layanan visualisasi terkemuka yang tersedia saat ini, seperti Power BI dan Grafana. Azure Data Explorer juga memiliki dukungan konektor ODBC dan JDBC ke alat seperti Tableau dan Qlik.
Bagaimana cara mengelola data saya?
Admin ingin melakukan berbagai tugas pemeliharaan dan kebijakan pada kluster Azure Data Explorer mereka, dan perintah Kontrol memberi mereka kemampuan untuk melakukannya. Menggunakan perintah Kontrol, mereka dapat membuat kluster atau database baru, membuat koneksi data, melakukan penskalakan otomatis, dan menyesuaikan konfigurasi kluster. Mereka juga dapat mengontrol dan memodifikasi entitas, objek metadata, mengelola izin, dan kebijakan keamanan. Selain itu, mereka dapat memodifikasi tampilan materialisasi (tampilan tabel lain yang difilter terus diperbarui), fungsi (fungsi tersimpan dan fungsi yang ditentukan pengguna), dan kebijakan pembaruan (fungsi yang dipicu setelah penyerapan).
Perintah kontrol dijalankan langsung di mesin menggunakan WebUI, portal Microsoft Azure, berbagai alat kueri, atau salah satu SDK Azure Data Explorer.