Evaluasi di Microsoft Foundry

Evaluasi membantu Anda mengukur kualitas, keamanan, dan keandalan model dan agen sepanjang pengembangan dan produksi. Di Microsoft Foundry, Anda dapat mengevaluasi output yang ada dalam himpunan data pengujian, menghasilkan respons dari model atau agen dengan menggunakan input pengujian, atau mengevaluasi jejak produksi.

Evaluasi diterapkan pada data atau aplikasi Anda oleh satu atau beberapa evaluator. Evaluator menghasilkan metrik dan, ketika didukung, penjelasan yang membantu Anda membandingkan versi, menemukan masalah kualitas, dan memutuskan apakah aplikasi siap untuk disebarkan.

Membangun alur kerja evaluasi

Sebagian besar alur kerja evaluasi mengikuti langkah-langkah berikut:

  1. Pilih apa yang harus dievaluasi. Pilih giliran individual atau percakapan lengkap, dan gunakan himpunan data yang sudah ada, respons yang dihasilkan, percakapan yang disimulasikan, atau jejak produksi.
  2. Pilih evaluator. Pilih metrik kualitas dan keamanan yang penting untuk aplikasi Anda, seperti penyelesaian tugas, relevansi, groundedness, kesamaan, atau keamanan konten.
  3. Jalankan evaluasi. Jalankan sekali selama pengembangan, tambahkan ke CI/CD, atau konfigurasikan evaluasi berulang untuk produksi.
  4. Tinjau dan tingkatkan. Analisis metrik agregat dan hasil individual, bandingkan versi, dan atasi pola kegagalan berulang.

Pilih dari mana memulai

Note

Sebelum memulai, tinjau izin untuk alur kerja evaluasi, wilayah dan batas tarif yang didukung, dan persyaratan jaringan virtual.

Pilih pendekatan evaluasi

Pilih unit evaluasi sebelum Anda memilih evaluator. Evaluasi tingkat giliran menilai respons individual. Evaluasi tingkat percakapan menilai interaksi multi-giliran lengkap dan dapat mengukur hasil seperti penyelesaian tugas di beberapa langkah. Evaluator mendukung tingkat evaluasi tertentu.

Saya ingin Mulai di sini
Mengevaluasi agen yang dihosting untuk pertama kalinya Mulai cepat: Mengevaluasi agen yang dihosting
Mengevaluasi data pengujian respons kueri yang ada Mengevaluasi himpunan data respons kueri
Menghasilkan dan mengevaluasi respons dari input pengujian Mengevaluasi respons model dan agen
Mengevaluasi interaksi individual yang diambil dari model atau agen yang telah diterapkan Evaluasi interaksi yang diterapkan
Mengevaluasi himpunan data percakapan lengkap Mengevaluasi himpunan data percakapan
Mengevaluasi percakapan lengkap yang diambil dalam jejak produksi Evaluasi percakapan yang diterapkan
Mensimulasikan perilaku agen multi-turn sebelum deployment Mensimulasikan percakapan agen
Hasilkan skenario dan percakapan tanpa membuat data uji secara manual Membuat dan mengevaluasi percakapan sintetis
Jalankan pengujian keselamatan dan keamanan adversarial Pelajari tentang red teaming AI

Pilih cara menjalankan evaluasi

Saya ingin Mulai di sini
Menjalankan evaluasi di portal Foundry Jalankan evaluasi dari portal Microsoft Foundry
Jalankan evaluasi melalui kode Pengantar evaluasi cloud dengan Microsoft Foundry SDK
Jalankan evaluasi agen dari baris perintah Jalankan evaluasi agen dengan CLI azd
Mengevaluasi lalu lintas produksi secara berulang Memantau agen dan menyiapkan evaluasi berkelanjutan
Menambahkan evaluasi ke alur penyebaran Menjalankan evaluasi di GitHub Actions atau Azure DevOps

Temukan komponen yang Anda butuhkan

  • Terakhir diperbarui pada