Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
Değerlendirme, geliştirme ve üretim boyunca model ve aracıların kalitesini, güvenliğini ve güvenilirliğini ölçmenize yardımcı olur. Microsoft Foundry'de bir test veri kümesindeki mevcut çıkışları değerlendirebilir, test girişlerini kullanarak bir modelden veya aracıdan yanıt oluşturabilir veya üretim izlemelerini değerlendirebilirsiniz.
Değerlendirme, verilerinize veya uygulamanıza bir veya daha fazla değerlendirici kullanır. Değerlendiriciler, sürümleri karşılaştırmanıza, kalite sorunlarını bulmanıza ve bir uygulamanın dağıtıma hazır olup olmadığına karar vermenize yardımcı olacak ölçümler ve desteklendiğinde açıklamalar üretir.
Değerlendirme iş akışı oluşturma
Değerlendirme iş akışlarının çoğu şu adımları izler:
- Neyi değerlendireceğinizi seçin. Tek bir konuşma sırası veya tam bir konuşma seçin ve mevcut bir veri kümesini, oluşturulan yanıtları, simüle edilmiş konuşmaları veya üretim izlemelerini kullanın.
- Değerlendiricileri seçin. Görev tamamlama, ilgililik, dayanaklılık, benzerlik veya içerik güvenliği gibi uygulamanız için önemli olan kalite ve güvenlik ölçümlerini seçin.
- Değerlendirmeyi başlatın. Geliştirme sırasında bir kez çalıştırın, CI/CD'ye ekleyin veya üretim için yinelenen değerlendirmeyi yapılandırın.
- Gözden geçirin ve geliştirin. Toplu ölçümleri ve tek tek sonuçları analiz edin, sürümleri karşılaştırın ve yinelenen hata desenlerini ele alın.
Nereden başlayacağınızı seçin
Note
Başlamadan önce değerlendirme iş akışları için izinleri, desteklenen bölgeleri ve hız sınırlarını ve sanal ağ gereksinimlerini gözden geçirin.
Değerlendirme yaklaşımı seçme
Değerlendiricileri seçmeden önce değerlendirme birimini seçin. Tur düzeyi değerlendirme, yanıtları tek tek puanlar. Konuşma düzeyi değerlendirme, çok aşamalı etkileşimin tamamını puanlar ve birden çok adımda görev tamamlama gibi sonuçları ölçebilir. Değerlendiriciler belirli değerlendirme düzeylerini destekler.
| Şunu yapmak istiyorum | Buradan başlayın |
|---|---|
| Barındırılan aracıyı ilk kez değerlendirin | Hızlı başlangıç: Barındırılan aracınızı değerlendirin |
| Mevcut sorgu yanıtı test verilerini değerlendirin | Sorgu yanıtı veri kümelerini değerlendirme |
| Test girdilerinden yanıtlar oluşturun ve değerlendirin | Model ve aracı yanıtlarını değerlendirme |
| Dağıtılmış modelden veya aracıdan yakalanan tek tek etkileşimleri değerlendirme | Dağıtıma alınan etkileşimleri değerlendirin |
| Eksiksiz konuşmaların veri kümesini değerlendirme | Konuşma veri kümelerini değerlendirme |
| Üretim izlerinde yakalanan tüm konuşmaları değerlendirin | Yayına alınan konuşmaları değerlendirin |
| Dağıtımdan önce çok aşamalı ajan davranışının benzetimini yapın | Aracı konuşmalarının benzetimini yapın |
| Test verilerini el ile yazmadan senaryolar ve konuşmalar oluşturma | Yapay konuşmalar oluşturma ve değerlendirme |
| Adversarial emniyet ve güvenlik testlerini çalıştırın | Yapay zeka red teaming hakkında bilgi edinin |
Değerlendirmelerin nasıl çalıştırılacağını seçme
| Şunu yapmak istiyorum | Buradan başlayın |
|---|---|
| Foundry portalında bir değerlendirme çalıştırın | Değerlendirmeleri Microsoft Foundry portalından çalıştırma |
| Değerlendirmeleri programatik olarak çalıştırma | Microsoft Foundry SDK ile bulut değerlendirmesine giriş |
| Komut satırından aracı değerlendirmeleri çalıştırma | azd CLI ile aracı değerlendirmeleri çalıştırma |
| Üretim trafiğini düzenli olarak değerlendirin | Aracıları izleyin ve sürekli değerlendirmeyi ayarlayın |
| Dağıtım işlem hattına değerlendirme ekleme | GitHub Actions veya Azure DevOps içinde değerlendirmeleri çalıştırın |
İhtiyacınız olan bileşenleri bulun
- Değerlendiriciler:Yerleşik değerlendiricilerle başlayın veya kendi ölçütleriniz için özel bir değerlendirici oluşturun.
- Değerlendirme verileri:Değerlendirme veri kümesinin ne zaman kullanılacağını, yapay veri oluşturmayı veya üretim izlemelerinden veri kümesi oluşturmayı öğrenin.
- Sonuçlar:Foundry portalında sonuçları gözden geçirin, SDK ile bulut değerlendirme sonuçlarını alın veya yaygın hata desenlerini bulmak için küme analizini kullanın.