Memantau agen AI dengan Application Insights

Tampilan detail Agen di Application Insights memberikan pengalaman terpadu untuk memantau agen AI di beberapa sumber, termasuk Microsoft Foundry, Copilot Studio, dan agen pihak ketiga.

Fitur ini mengonsolidasikan telemetri dan diagnostik, memungkinkan pelanggan melacak performa agen, menganalisis penggunaan dan biaya token, memecahkan masalah kesalahan, dan mengoptimalkan perilaku agen Anda.

Nota

Azure Monitor Agent Observability didasarkan pada OpenTelemetry Generative AI Semantics.

Prasyarat

Sebelum dapat menggunakan tampilan detail Agen, Anda perlu menerapkan pengumpulan data agen AI.

Memantau agen AI Anda

Mengakses tampilan detail Agen

Setelah telemetri mengalir ke Application Insights:

  1. Di portal Azure, buka sumber daya Application Insights Anda.

  2. Di menu navigasi, pilih Agen (Pratinjau).

    Cuplikan layar yang menunjukkan cara masuk ke pengalaman detail Agen.

Nota

Anda juga bisa masuk ke tampilan detail Agen dari Foundry. Dari agen Anda, buka tab Monitoring, lalu pilih Tampilkan di Azure Monitor.

Menyelidiki jejak

Untuk mendalami jalannya agen tertentu:

  1. Pilih salah satu dari tampilan Detail agen:

    • Lihat Pelacakan dengan Pelaksanaan Agen - Lihat semua pelaksanaan agen
    • Lihat Log dengan Kesalahan Generatif AI - Fokus pada eksekusi yang gagal atau bermasalah
    • Setiap panggilan alat atau model individu dalam ubin Panggilan Alat atau Model

    Cuplikan layar memperlihatkan cara membuka Pencarian di pengalaman detail Agen.

    Overlay Pencarian menampilkan jejak yang difilter yang cocok dengan pilihan Anda.

  2. Gunakan kemampuan pencarian untuk:

    • Mengurutkan jejak menurut metrik seperti Sebagian besar token yang digunakan untuk mengidentifikasi operasi yang mahal
    • Filter menurut rentang waktu untuk mengisolasi insiden tertentu
    • Cari melalui konten permintaan (jika pengelogan data sensitif diaktifkan)

  3. Pilih jejak apa pun untuk masuk ke tampilan Detail transaksi end-to-end untuk analisis komprehensif.

    Cuplikan layar memperlihatkan overlay Pencarian dalam pengalaman detail Agen.

Tampilan rincian transaksi menyeluruh

Detail transaksi end-to-end sekarang menawarkan tampilan sederhana. Tampilan ini menunjukkan langkah-langkah agen dengan cara yang jelas dan seperti alur cerita, termasuk agen yang dipanggil, model bahasa besar (LLM), alat yang dijalankan, dan banyak lagi.

Tampilan sederhana memungkinkan Anda dengan cepat menemukan informasi telemetri yang relevan dan beralih ke Foundry atau alat lainnya untuk melakukan perubahan yang diperlukan.

Nota

Untuk kembali ke tampilan tradisional, pilih Tinggalkan tampilan sederhana di bilah tindakan atas.

Cuplikan layar memperlihatkan tampilan detail transaksi end-to-end.

Dalam contoh kami, kami meneliti penggunaan token yang tinggi. Detail transaksi memungkinkan Anda mengidentifikasi bahwa konteks prompt besar dan/atau model mahal meningkatkan penggunaan dan biaya token.

Menyesuaikan tampilan pemantauan dengan Grafana

Tampilan detail Agen di Application Insights memberikan pengalaman pemantauan agen AI Anda yang terarah dan siap pakai. Untuk kebutuhan kustomisasi dan visualisasi tingkat lanjut, Anda dapat memilih Jelajahi di Grafana dari bilah navigasi atas pada tampilan Detail agen.

Azure Monitor menyertakan dasbor Grafana bawaan yang dirancang untuk pemantauan Gen AI untuk membantu Anda memulai:

  • Kerangka Kerja Agen - Memantau eksekusi dan performa agen
  • Alur kerja Kerangka Kerja Agen - Melacak pola dan dependensi alur kerja agen
  • Foundry - Memvisualisasikan metrik dan telemetri khusus Foundry

Cuplikan layar memperlihatkan dasbor Grafana saat memantau agen AI.

Dasbor ini berfungsi sebagai titik awal untuk strategi pemantauan Anda. Anda dapat menyesuaikannya dengan:

  • Menggunakan panel visualisasi yang berbeda agar sesuai dengan preferensi Anda
  • Mengedit atau membuat kueri baru untuk menampilkan metrik tertentu
  • Menggunakan Simpan sebagai untuk membuat dasbor yang disesuaikan untuk lingkungan dan kasus penggunaan spesifik Anda

Untuk mempelajari selengkapnya tentang menggunakan Grafana dengan Application Insights, lihat Dashboards dengan Grafana di Application Insights dan Gunakan Dasbor Azure Monitor dengan Grafana.

Langkah selanjutnya

  • Pelajari cara kerja korelasi di Application Insights dengan korelasi Telemetri.
  • Jelajahi pengalaman diagnostik transaksi end-to-end yang menghubungkan telemetri sisi server dari semua komponen yang dipantau Application Insights Anda ke dalam satu tampilan.
  • Last updated on