Bagikan melalui

Agen pelacakan

Menentukan penalaran di balik eksekusi agen Anda penting untuk pemecahan masalah dan penelusuran kesalahan. Namun, mungkin sulit bagi agen yang kompleks karena sejumlah alasan:

  • Mungkin ada sejumlah besar langkah yang terlibat dalam menghasilkan respons, sehingga sulit untuk melacak semuanya.
  • Urutan langkah-langkah mungkin bervariasi berdasarkan input pengguna.
  • Input/output pada setiap tahap mungkin panjang dan layak diperiksa lebih rinci.
  • Setiap langkah runtime agen mungkin juga melibatkan bersarang. Misalnya, agen mungkin memanggil alat, yang menggunakan proses lain, yang kemudian memanggil alat lain. Jika Anda melihat output yang aneh atau salah dari eksekusi agen tingkat atas, mungkin sulit untuk menentukan dengan tepat di mana dalam eksekusi masalah diperkenalkan.

Pelacakan memecahkan ini dengan memungkinkan Anda melihat dengan jelas input dan output dari setiap primitif yang terlibat dalam eksekusi agen tertentu, dalam urutan dipanggil.

Melacak di ruang eksperimental Azure AI Foundry Agents

Taman bermain Agen di portal Azure AI Foundry memungkinkan Anda melacak jalur dan menjalankan yang dilakukan oleh agen Anda. Untuk membuka pelacakan, pilih Info utas di utas aktif. Anda juga dapat secara opsional memilih Metrik untuk mengaktifkan evaluasi otomatis performa model di beberapa dimensi kualitas AI dan Risiko dan keamanan.

Nota

Hasil evaluasi tersedia selama 24 jam sebelum kedaluwarsa. Untuk mendapatkan hasil evaluasi, pilih metrik yang Anda inginkan dan mengobrol dengan agen Anda.

  • Evaluasi tidak tersedia di wilayah berikut.
    • australiaeast
    • japaneast
    • southindia
    • uksouth

Cuplikan layar taman bermain agen di portal Azure AI Foundry.

Setelah memilih Info utas, layar yang muncul memungkinkan Anda untuk melihat: utas, eksekusi, langkah-langkah eksekusi, dan panggilan alat apa pun yang dilakukan. Anda dapat melihat input dan output antara agen dan pengguna, serta metadata terkait dan evaluasi apa pun yang Anda pilih.

Cuplikan layar jejak.

Petunjuk / Saran

Jika Anda ingin melihat rekam jejak utas sebelumnya, pilih Utas saya di halaman Agen. Pilih utas, lalu pilih Coba di playground. Cuplikan layar utas. Anda akan dapat melihat tombol info Utas di bagian atas layar untuk melihat jejak.

Nota

Fitur pengamatan seperti Evaluasi Risiko dan Keselamatan ditagih berdasarkan konsumsi seperti yang tercantum di halaman harga Azure.

Melacak agen menggunakan OpenTelemetry dan sumber daya Application Insights

Pelacakan memungkinkan Anda menganalisis performa dan perilaku agen Anda dengan menggunakan OpenTelemetry dan menambahkan sumber daya Application Insights ke proyek Azure AI Foundry Anda.

Untuk menambahkan sumber daya Application Insights, pilih Observability dari panel kiri di portal Azure AI Foundry, pilih Pelacakan, lalu dan buat sumber daya baru jika Anda belum memilikinya.

Cuplikan layar pelacakan di portal Azure AI Foundry.

Setelah dibuat, Anda bisa mendapatkan string koneksi Application Insights, mengonfigurasi agen Anda, dan mengamati jalur eksekusi lengkap agen Anda melalui Azure Monitor. Biasanya Anda ingin mengaktifkan pelacakan sebelum membuat agen.

Mengamati agen

Pertama, gunakan pip install untuk menginstal OpenTelemetry dan plugin pelacakan Azure SDK.

pip install opentelemetry-sdk
pip install azure-core-tracing-opentelemetry

Anda juga akan memerlukan pengekspor untuk mengirim hasil ke backend observabilitas Anda. Anda dapat mencetak jejak ke konsol atau menggunakan penampil lokal seperti Dasbor Aspire. Untuk menyambungkan ke Dasbor Aspire atau backend yang kompatibel dengan OpenTelemetry lainnya, instal pengekspor Protokol OpenTelemetry (OTLP).

pip install opentelemetry-exporter-otlp

Setelah paket terinstal, Anda dapat menggunakan salah satu sampel Python berikut untuk menerapkan pelacakan dengan agen Anda. Sampel yang menggunakan pelacakan konsol menampilkan hasilnya secara lokal di konsol. Sampel yang menggunakan Azure Monitor mengirim jejak ke Azure Monitor di portal Azure AI Foundry, di tab Observabilitas di panel kiri untuk portal.

Nota

Ada bug yang diketahui dalam fungsionalitas pelacakan agen. Bug akan menyebabkan alat fungsi agen memanggil info terkait (nama fungsi dan nilai parameter, yang dapat berisi informasi sensitif) disertakan dalam jejak bahkan ketika perekaman konten tidak diaktifkan.

Menggunakan Azure Monitor

Menggunakan pelacakan konsol