Memantau kesehatan dan performa agen di seluruh armada Anda

Saat organisasi Anda meningkatkan skala dari kopilot terisolasi ke armada agen multi-otoritas yang otonom, mempertahankan visibilitas dan kontrol menjadi sangat penting. Microsoft Foundry Control Plane menyediakan pusat perintah terpadu tempat Anda dapat memantau semua agen, model, dan alat di seluruh perusahaan Anda dari build hingga produksi.

Pemantauan armada melayani beberapa peran:

  • Manajer tim mendapatkan pengawasan operasi agen dan produktivitas tim.
  • Administrator memberlakukan kebijakan tata kelola dan melacak postur kepatuhan.
  • Manajer biaya mengoptimalkan pengeluaran dan mengidentifikasi inefisiensi sumber daya.
  • Tim keamanan memantau perilaku dan pelanggaran kebijakan yang dilarang.

Artikel ini menunjukkan kepada Anda cara menggunakan kemampuan Foundry Control Plane untuk melacak kesehatan agen, performa, kepatuhan, dan efisiensi biaya dalam skala besar. Dengan menggunakan pemantauan terpusat, Anda dapat mengidentifikasi masalah lebih awal, mengoptimalkan konsumsi sumber daya, dan membantu memastikan bahwa sistem AI Anda beroperasi dengan aman dan andal.

Prasyarat

  • Izin berikut:
    • Akses baca ke proyek dan langganan yang ingin Anda lihat datanya
    • Log Analytics Reader atau peran yang lebih tinggi pada sumber daya Application Insights yang terhubung dengan agen Anda
    • peran Cost Management Reader

Nota

Kemampuan ini hanya tersedia di portal Foundry (baru). Cari di banner portal untuk mengonfirmasi bahwa Anda menggunakan Foundry (baru).

Cara kerja pemantauan

Foundry Control Plane menemukan semua agen yang dapat Anda akses. Ini menggunakan sumber daya Application Insights yang menghosting agen Anda untuk membantu Anda memantau dan mendiagnosis agen tersebut.

Foundry Control Plane mendukung:

Karena Foundry Control Plane menggabungkan informasi dari seluruh sumber daya yang ada di dalam langganan, pengguna yang berbeda mungkin melihat agen yang berbeda tercantum tergantung pada akses mereka.

Foundry Control Plane menggabungkan log dan metrik yang tersedia di setiap sumber daya Application Insights yang terhubung ke setiap agen.

Diagram arsitektur yang menunjukkan bagaimana Foundry Control Plane menggunakan Application Insights untuk mengumpulkan log dan metrik di seluruh sumber daya.

Foundry Control Plane mengharuskan agen untuk mencatat informasi diagnostik dengan mengikuti standar OpenTelemetry dengan konvensi semantik untuk aplikasi AI Generatif . Anda tidak perlu mengonfigurasi Application Insights pada setiap sumber daya, tetapi melakukannya sangat disarankan. Ketika Sarana Kontrol memiliki data ini, sarana kontrol dapat menyediakan:

  • Metrik kesehatan armada: Melacak agen aktif, menjalankan tingkat penyelesaian, dan tren kesalahan di seluruh armada Anda.
  • Pelacakan biaya dan performa: Memantau penggunaan token, konsumsi anggaran, dan efisiensi sumber daya di semua agen.
  • Deteksi anomali: Mengidentifikasi lonjakan biaya, penurunan performa, dan masalah yang muncul melalui analisis tren.
  • Analisis mendalam: Beralih dari metrik tingkat armada ke jejak dan log dari setiap agen untuk penyelidikan terperinci.

Penting

Agen yang berjalan pada sumber daya tanpa Application Insights tidak memiliki metrik kesehatan, pelacakan biaya, atau penelusuran mendalam.

Mengonfigurasi pemantauan

Ikuti langkah-langkah ini untuk setiap project tempat Anda ingin mengonfigurasi pemantauan:

  1. Pada toolbar, pilih Operasikan.

  2. Di panel kiri, pilih Admin.

  3. Di bawah Semua proyek, gunakan kotak pencarian untuk mencari project Anda.

  4. Pilih proyek.

  5. Pilih tab Sumber daya tersambung .

  6. Pastikan bahwa ada sumber daya terkait untuk kategori AppInsights.

    Screenshot portal administrasi yang menunjukkan cara memverifikasi apakah project memiliki sumber daya Application Insights terkait.

  7. Jika tidak ada sumber daya terkait, tambahkan sumber daya dengan memilih Tambahkan koneksi lalu pilih Application Insights.

    Petunjuk / Saran

    Anda dapat mengirim jejak ke sumber daya Application Insights yang berbeda atau ke sumber daya yang sama, tergantung pada persyaratan tata kelola dan keamanan Anda.

Proyek Anda sekarang dikonfigurasikan untuk pengamatan dan pelacakan. Untuk memverifikasi bahwa pemantauan aktif, buka Operate>Ikhtisar di portal Foundry, pilih proyek Anda dari daftar dropdown, dan pastikan bahwa metrik agen muncul di dasbor. Metrik mungkin memerlukan waktu beberapa menit untuk diisi setelah konfigurasi awal.

Lihat metrik

Anda dapat melihat metrik agregat untuk semua agen dalam project yang dipilih dengan menggunakan Foundry. Panel Gambaran Umum memberikan wawasan tentang kesehatan armada, kepatuhan, dan tren performa.

  1. Masuk ke Microsoft Foundry. Pastikan tombol New Foundry aktif. Langkah-langkah ini mengacu pada Foundry (baru).

  2. Pada toolbar, pilih Operasikan.

  3. Panel Gambaran Umum menampilkan metrik dan wawasan umum untuk semua agen yang ditemukan dalam langganan secara default.

    Animasi panel Gambaran Umum yang menampilkan skor kesehatan berbasis tren, ringkasan pemberitahuan, dan metrik kepatuhan agregat untuk armada.

  4. Gunakan daftar dropdown proyek untuk membatasi metrik ke proyek tertentu, jika perlu.

  5. Konfigurasikan rentang tanggal dengan menggunakan pemilih tanggal di sudut kanan atas.

Panel Gambaran Umum memperlihatkan skor kesehatan tingkat armada, ringkasan pemberitahuan, jumlah agen aktif, tingkat kesalahan, dan metrik kepatuhan untuk rentang waktu yang dipilih. Gunakan tampilan ini untuk menilai status operasional armada Anda dengan cepat dan mengidentifikasi area yang perlu diperhatikan.

Lihat metrik agen per individu

Anda dapat melihat semua aset Anda di bawah proyek tertentu, bersama dengan metrik tingkat atas, melalui Foundry.

  1. Masuk ke Microsoft Foundry. Pastikan tombol New Foundry aktif. Langkah-langkah ini mengacu pada Foundry (baru).

  2. Pada toolbar, pilih Operasikan.

  3. Di panel kiri, pilih Aset.

  4. Pilih tab Agen .

    Cuplikan layar tab Agen yang memperlihatkan semua agen terdaftar dengan metrik tingkat atas.

    Tab memperlihatkan detail agen yang ditemukan dalam langganan. Untuk mempelajari detail ini, lihat Inventaris agen.

  5. Untuk melihat informasi yang lebih terperinci tentang performa agen individual, pilih agen. Panel yang muncul menyediakan wawasan cepat tentang kesehatan dari agen yang dipilih dan aktivitas terbaru. Gunakan untuk mengidentifikasi masalah dan mengambil tindakan korektif.

    Cuplikan layar panel Foundry yang memperlihatkan detail agen yang dipilih.

    Panel berisi bagian-bagian ini:

    • Pemberitahuan aktif: Lihat pemberitahuan kebijakan, keamanan, dan evaluasi yang dikelompokkan berdasarkan tingkat keparahan dan ambil tindakan.
    • Aktivitas: Lihat metrik utama seperti tingkat kesalahan dari waktu ke waktu, total informasi eksekusi, dan informasi tentang penggunaan token.

Untuk mempelajari selengkapnya tentang cara mengelola agen individual, lihat Mengelola agen dalam skala besar.

Memecahkan masalah pemantauan

Jika Anda tidak melihat metrik atau agen yang diharapkan di dasbor, periksa penyebab umum berikut:

  • Agents tidak muncul di panel Aset: Verifikasi bahwa Anda telah memiliki akses baca ke langganan dan proyek tempat agen disebarkan. Pengguna yang berbeda melihat agen yang berbeda tergantung pada tingkat access mereka.
  • Metrics kosong atau hilang: Konfirmasikan bahwa sumber daya Application Insights terhubung ke proyek (lihat Konfigurasi pemantauan). Metrik dapat memakan waktu beberapa menit untuk diisi setelah koneksi awal.
  • Metrik atau jejak kesehatan tidak tersedia untuk agen tertentu: Agen mungkin berjalan pada sumber daya tanpa Application Insights dikonfigurasi. Sambungkan Application Insights resource ke proyek agen untuk mengaktifkan data kesehatan dan menggali jejak lebih dalam.
  • Data Cost tidak muncul: Verifikasi bahwa Anda memiliki peran Cost Management Reader pada langganan.

Konten terkait

  • Last updated on