Bagikan melalui


Wawasan Kluster Azure Data Explorer

Azure Data Explorer Clusters Insights menyediakan pemantauan komprehensif kluster Anda dengan memberikan tampilan terpadu tentang performa, operasi, penggunaan, dan kegagalan kluster Anda.

Ia menawarkan:

  • Perspektif skala besar. Tampilan rekam jepret metrik utama kluster Anda, untuk melacak performa kueri, penyerapan, dan operasi ekspor.
  • Analisis telusuri paling detil. Anda menelusuri paling detail kluster Azure Data Explorer tertentu untuk membantu melakukan analisis mendetail.
  • Kustomisasi. Anda dapat mengubah metrik mana yang ingin Anda lihat, mengubah atau mengatur ambang yang selaras dengan batas Anda, dan menyimpan buku kerja kustom Anda sendiri. Bagan dalam buku kerja dapat disematkan ke dasbor Azure.

Artikel ini akan membantu Anda memahami cara onboarding dan menggunakan Azure Data Explorer Clusters Insights.

Lihat dari Azure Monitor (pada perspektif skala)

Dari Azure Monitor, Anda dapat melihat metrik kinerja utama untuk kluster. Metrik ini mencakup informasi tentang kueri, konsumsi, dan operasi ekspor dari beberapa kluster dalam langganan Anda. Mereka dapat membantu Anda mengidentifikasi masalah kinerja.

Untuk melihat performa kluster di semua langganan Anda, lakukan langkah-langkah berikut:

  1. Masuk ke portal Microsoft Azure.

  2. Pilih Pantau dari panel kiri. Di bagian Insights Hub, pilih Kluster Azure Data Explorer.

Cuplikan layar pilihan untuk melihat kinerja kluster Azure Data Explorer.

Tab gambaran umum langganan

Pada tab Ringkasan untuk langganan yang dipilih, tabel menampilkan metrik interaktif untuk kluster Azure Data Explorer yang dikelompokkan dalam langganan. Anda bisa memfilter hasil berdasarkan opsi yang Anda pilih dari daftar geser turun berikut:

  • Langganan: hanya langganan yang memiliki kluster Azure Data Explorer yang dicantumkan.

  • Kluster Azure Data Explorer: Secara default, maksimal lima kluster saja yang telah dipilih sebelumnya. Jika Anda memilih semua atau beberapa kluster dalam pemilih cakupan, hingga 200 kluster akan dikembalikan.

  • Rentang Waktu: Secara default, tabel menampilkan informasi 24 jam terakhir berdasarkan pilihan yang sesuai.

Petak peta penghitung, pada daftar menu pilihan, melakukan roll up jumlah total kluster Azure Data Explorer dalam langganan yang dipilih dan mencerminkan berapa banyak yang dipilih. Ada pengodean warna bersyarat untuk kolom: Tetap aktif, CPU, Utilisasi Penyerapan, dan Utilisasi Cache. Sel berkode oranye memiliki nilai yang tidak berkelanjutan untuk kluster.

Untuk lebih memahami apa yang diwakili masing-masing metrik, sebaiknya baca dokumentasi tentang metrik Azure Data Explorer.

Tab Performa Kueri

Tab Performa Kueri ini menunjukkan durasi kueri, jumlah total kueri bersamaan, dan jumlah total kueri yang dibatasi.

Cuplikan layar tab Performa Kueri.

Tab Performa Penyerapan

Tab Performa Penyerapanini menunjukkan latensi penyerapan, hasil penyerapan yang berhasil, hasil penyerapan yang gagal, volume penyerapan, dan peristiwa yang diproses untuk hub peristiwa dan IoT hub.

Cuplikan layar tab Performa penyerapan.

Tab Performa Penyerapan Streaming

Tab Performa Penyerapan Streaming ini menyediakan informasi tentang tingkat data rata-rata, durasi rata-rata, dan tingkat permintaan.

Tab Performa Ekspor

Tab Performa Ekspor ini menyediakan informasi tentang rekaman yang diekspor, keterlambatan, jumlah tertunda, dan persentase utilisasi untuk operasi ekspor berkelanjutan.

Menampilkan dari sumber daya Kluster Azure Data Explorer (analisis penelusuran paling detail)

Untuk mengakses Azure Data Explorer Clusters Insights langsung dari kluster Azure Data Explorer:

  1. Di portal Microsoft Azure, pilih Kluster Azure Data Explorer.

  2. Dari daftar, pilih Kluster Azure Data Explorer. Pada bagian pemantauan, pilih Insights.

Anda juga dapat mengakses tampilan ini dengan memilih nama sumber daya kluster Azure Data Explorer dari dalam tampilan Azure Monitor Insights.

Catatan

Azure Data Explorer Clusters Insights menggabungkan log dan metrik untuk menyediakan solusi pemantauan global. Penyertaan visualisasi berbasis log mewajibkan pengguna untuk mengaktifkan pembuatan log diagnostik kluster Azure Data Explorer miliknya dan mengirimnya ke ruang kerja Log Analytics. Log diagnostik yang harus diaktifkan adalah: Perintah, Kueri, SucceededIngestion, FailedIngestion, IngestionBatching, TableDetails, dan TableUsageStatistics. (Mengaktifkan log SucceededIngestion mungkin mahal. Aktifkan hanya jika Anda perlu memantau konsumsi yang berhasil.)

Cuplikan layar tombol untuk mengonfigurasi log untuk pemantauan.

Tab Gambaran Umum

Tab Ringkasan menunjukkan:

  • Petak peta metrik yang menyoroti ketersediaan dan status keseluruhan kluster untuk penilaian kesehatan cepat.

  • Ringkasan rekomendasi Advisor aktif dan status kesehatan sumber daya.

  • Bagan yang menunjukkan konsumen memori dan CPU serta jumlah pengguna unik dari waktu ke waktu.

Cuplikan layar tampilan dari sumber daya kluster Azure Data Explorer.

Tab Metrik kunci

Tab Metrik Kunci menunjukkan tampilan terpadu dari beberapa metrik kluster. Mereka dikelompokkan ke dalam metrik umum, metrik terkait kueri, metrik terkait konsumsi, dan metrik terkait konsumsi streaming.

Cuplikan layar grafik pada tab Metrik Kunci.

Tab penggunaan

Tab Penggunaan memungkinkan pengguna untuk menyelami performa perintah dan kueri kluster. Di tab ini, Anda dapat:

  • Lihat grup beban kerja, pengguna, dan aplikasi mana yang mengirimkan kueri paling banyak atau menghabiskan paling banyak CPU dan memori. Anda kemudian dapat memahami beban kerja mana yang mengirimkan kueri terberat agar kluster diproses.
  • Identifikasi grup beban kerja teratas, pengguna, dan aplikasi berdasarkan kueri yang gagal.
  • Identifikasi perubahan terbaru dalam jumlah kueri, dibandingkan dengan rata-rata harian historis (selama 16 hari terakhir), berdasarkan grup beban kerja, pengguna, dan aplikasi.
  • Identifikasi tren dan puncak dalam jumlah kueri, memori, dan penggunaan CPU berdasarkan grup beban kerja, pengguna, aplikasi, dan jenis perintah.

Tab Penggunaan mencakup tindakan yang dilakukan langsung oleh pengguna. Operasi kluster internal tidak disertakan dalam tab ini.

Cuplikan layar tampilan operasi dengan bagan donat yang terkait dengan perintah dan kueri.

Cuplikan layar tampilan operasi dengan bagan baris yang terkait dengan kueri dan memori.

Tab tabel

Tab tabel menunjukkan properti tabel terbaru dan historis dalam kluster. Anda dapat melihat tabel mana yang paling banyak memakan ruang. Anda juga dapat melacak riwayat pertumbuhan berdasarkan ukuran tabel, data panas, dan jumlah baris dari waktu ke waktu.

Tab cache

Tab cache memungkinkan pengguna untuk menganalisis pola rentang waktu lookback kueri aktualnya dan membandingkannya dengan kebijakan cache yang dikonfigurasi (untuk setiap tabel). Anda dapat mengidentifikasi tabel yang digunakan oleh kueri dan tabel terbanyak yang tidak dikueri sama sekali, dan menyesuaikan kebijakan cache yang sesuai.

Anda mungkin mendapatkan rekomendasi kebijakan cache pada tabel tertentu di Azure Advisor. Saat ini, rekomendasi cache hanya tersedia dari dasbor Azure Advisor utama. Mereka didasarkan pada jendela lookback kueri aktual dalam 30 hari terakhir dan kebijakan cache yang tidak optimal untuk setidaknya 95 persen kueri.

Rekomendasi pengurangan cache di Azure Advisor tersedia untuk kluster yang "dibatasi oleh data." Itu berarti kluster memiliki CPU yang rendah dan penggunaan penyerapan yang rendah, tetapi karena kapasitas data yang tinggi, kluster tidak dapat meningkatkan atau menurunkan skala.

Cuplikan layar tab detail cache, memperlihatkan pola jendela lookback kueri.

Tab Batas Kluster

Tab batas kluster menampilkan batas kluster berdasarkan penggunaan Anda. Di tab ini Anda dapat memeriksa utilisasi CPU, penyerapan, dan cache. Metrik ini memiliki skorRendah, Sedang, atau Tinggi. Metrik dan skor ini penting saat Anda memutuskan SKU dan jumlah instans yang optimal untuk cluster Anda. Mereka diperhitungkan dalam rekomendasi Azure Advisor SKU/size.

Di tab ini Anda dapat memilih petak peta metrik dan penyelaman mendalam untuk memahami trennya dan cara skornya diputuskan. Anda juga dapat melihat rekomendasi ukuran/SKU Azure Advisor untuk kluster Anda. Misalnya, pada gambar berikut, Anda dapat melihat bahwa semua metrik dinilai sebagai Rendah. Kluster menerima rekomendasi biaya yang akan memungkinkannya untuk skala masuk/turun dan menghemat biaya.

Cuplikan layar tab batas kluster, memperlihatkan metrik berdasarkan penggunaan.

Tab penyerapan (tab pratinjau)

Tab Penyerapan memungkinkan Anda memantau status operasi penyerapan antrean ke kluster.

Dalam proses penyerapan yang diantrekan , penyerapan data dioptimalkan untuk throughput tinggi. Ini dilakukan dengan mengelompokkan potongan kecil data masuk ke dalam batch berdasarkan kebijakan batching penyerapan yang dapat dikonfigurasi.

Tab Penyerapan memberi Anda informasi terperinci tentang hal berikut:

  • Hasil dari antrean penyerapan, berdasarkan database atau granularitas tabel.
  • Detail kesalahan penyerapan menurut tabel.
  • Jumlah data yang diserap.
  • Latensi penyerapan antrean dan di mana itu terjadi.
  • Proses batching itu sendiri, termasuk memantau informasi tentang kebijakan batching penyerapan dan bagaimana batch disegel.
  • Untuk Penyerapan Azure Event Hubs, Event Grid, dan IoT Hub: Jumlah peristiwa yang diterima ke dalam kluster dan jumlah peristiwa yang dikirim untuk penyerapan aktual.

Menyematkan ke dasbor Azure

Anda dapat menyematkan salah satu bagian metrik (dari perspektif "dalam skala" ) ke dasbor Azure dengan memilih ikon pushpin di kanan atas bagian tersebut.

Cuplikan layar ikon sematkan ke dasbor Azure dipilih.

Mengkustomisasi Azure Data Explorer Clusters Insights

Anda bisa mengedit buku kerja untuk menyesuaikannya guna mendukung kebutuhan analisis data Anda:

  • Cakupan buku kerja untuk selalu memilih langganan tertentu atau Kluster Azure Data Explorer.
  • Mengubah metrik di kisi.
  • Mengubah ambang atau pengodean/penyajian warna.

Anda dapat memulai kustomisasi dengan mengaktifkan mode pengeditan, dengan memilih tombol Kustomisasi dari bilah alat atas.

Cuplikan layar tombol Kustomisasi buku kerja.

Kustomisasi disimpan ke buku kerja kustom untuk mencegah pengambilalihan konfigurasi default dalam buku kerja kami yang diterbitkan. Buku kerja disimpan dalam grup sumber daya, baik di bagian Laporan Saya yang bersifat privat bagi Anda atau di bagian Laporan Bersama yang dapat diakses oleh semua orang dengan akses ke grup sumber daya. Setelah Anda menyimpan buku kerja kustom, masuk ke galeri buku kerja untuk membukanya.

Cuplikan layar tombol galeri buku kerja.

Pemecahan Masalah

Untuk panduan pemecahan masalah umum, lihat Pemecahan masalah wawasan berbasis buku kerja.

Bagian berikut akan membantu Anda mendiagnosis dan memecahkan masalah beberapa masalah umum yang mungkin Anda temui saat menggunakan Azure Data Explorer Clusters Insights.

Mengapa saya tidak melihat semua langganan saya di pemilih langganan?

hanya memperlihatkan langganan yang berisi kluster Azure Data Explorer yang dipilih dari filter langganan yang dipilih. Anda memilih filter langganan di bawah Direktori + langganan di portal Microsoft Azure.

Cuplikan layar memilih filter langganan.

Mengapa saya tidak melihat data apa pun untuk Kluster Azure Data Explorer saya di bagian Penggunaan, Tabel, atau Cache?

Untuk melihat data berbasis log, Anda harus mengaktifkan log diagnostik untuk setiap Kluster Azure Data Explorer yang ingin Anda pantau. Hal ini dapat dilakukan pada pengaturan diagnostik untuk setiap kluster. Anda harus mengirimkan data Anda ke ruang kerja Log Analytics. Log diagnostik yang harus diaktifkan adalah Perintah, Kueri, TableDetails, dan TableUsageStatistics.

Saya sudah mengaktifkan log untuk kluster Azure Data Explorer saya. Mengapa saya masih tidak dapat melihat data saya di bawah Perintah dan Kueri?

Saat ini, log diagnostik tidak bekerja secara retroaktif. Data akan mulai muncul setelah tindakan diambil di Azure Data Explorer. Oleh karena itu, mungkin perlu waktu, mulai dari beberapa jam hingga seharian, tergantung pada seberapa aktif kluster Azure Data Explorer Anda.

Catatan

Dalam portal Azure, data metrik mentah untuk halaman Metrik dan Wawasan disimpan di Azure Monitor. Kueri pada halaman ini mengkueri data metrik mentah secara langsung untuk memberikan hasil yang paling akurat. Saat menggunakan fitur pengaturan diagnostik, Anda dapat memigrasikan data metrik mentah ke ruang kerja Analitik Log. Selama migrasi, beberapa presisi data mungkin hilang karena pembulatan; oleh karena itu, hasil kueri dapat sedikit berbeda dari data asli. Margin untuk kesalahan kurang dari satu persen.