Yaygın değerlendirme yaklaşımları

Yapay zeka ajanları oluştururken, performanslarını test etmek ve ölçmek için güvenilir yollara ihtiyacınız var. Değerlendirme stratejileri, test verisi oluşturmanıza, ajanların yanıtlarını değerlendirmenize ve ajanınızın kalitesi hakkında bilinçli kararlar almanıza yardımcı olur.

Bu makale, yaygın değerlendirme yaklaşımlarını ve her birinin ne zaman kullanılacağını açıklar. Maliyet, performans ve kaliteyi optimize etmek için, tek bir değerlendirme yöntemine güvenmek yerine birden fazla yaklaşım ve platformu birleştirin.

Derecelendirme için istek-yanıt çiftleri oluşturulması

Bu bölüm, gerçek dünya etkileşimlerini simüle etmek için istek-yanıt çiftleri oluşturmak için üç yaygın yaklaşımı açıklar: yankı, tarihsel tekrar ve sentezlenmiş kişilikler. Her yaklaşımın kendine özgü avantajları ve sınırlamaları vardır, bu da onları çeşitli senaryolarda test için uygun kılar.

Yankı

Aracı sohbeti, bir senaryoya kelimesi kelimesine karşılık gelen, çok turlu statik bir istem listesini tekrarlar.

Artılar: Düşük maliyet. Bir ajanın sadece bir yönünü değiştirdiğinizde, örneğin kademeli model yükseltmeleri veya tek araç değişiklikleri gibi adil karşılaştırmalar sağlar.

Eksiler: Değerlendirme statik bir prompt listesi kullandığı için, konuşma sırasında ajanların verdiği farklı yanıtlara uyum sağlayamıyor. Sonraki öneriler mevcut konuşma bağlamıyla ilgili olmayabilir.

İdeal olanlar: Tek turlu senaryolar ve deterministik kontroller. Bu yöntemi, atıfların doğru görüntülenip gösterilmediğini, araç çağrısının doğru tetiklenip tetiklemediğini ve bağlamın farklılığa yol açmadığı basit konuşmalar için kullan.

İyi çalışan örnek senaryolar:

  • 1. Adım: Bir belge yükle (ikili başarı veya başarısızlık kontrolü)
  • 1. Tur: Bu içerik için bir görsel oluştur (benzerlik kontrolü)
  • 2. Tur: Şimdi bir başlık oluşturun. (benzerlik kontrolü)

Tarihsel tekrar

Her turu, önceki istekler ve her istek için verilen yanıtlar bağlamında değerlendirin.

Artılar: Her turun ideal yoldan nerede ve ne kadar saptığını belirleyerek çoklu turlu konuşmalarda sapma sorununu kısmen çözer.

Eksileri: Öğrenme gibi dinamik çoklu turlu konuşmaları hala kaldıramıyor veya dinamik RAG (Retrieval Augmented Generation) değişikliklerini (örneğin web araması) hesaba katmıyor.

İdeal için: Her aşamada orijinal davranıştan sapmayı anlamak amacıyla karşılaştırma tedavileri veya model değişiklikleri.

Sentetik personalar (senaryoya dayalı)

İnsan veya ajanik bir aktör, bir senaryo ve kişiliğe dayalı olarak gerçek zamanlı bir konuşma oluşturur.

Artılar: Karmaşık senaryoları dinamik olarak değerlendirebilirsiniz (örneğin, eğitmen olarak görev yaparsınız).

Eksileri: Cevapların doğruluğunu değerlendirmek incelik gerektirir ve bir dil modeli veya insan test cihazının maliyetini göz önünde bulundurmanız gerekir.

Yanıtların Derecelendirilmesi

İstek-yanıt çiftlerini yakaladıktan sonra, ajanik sistemin genel kalitesini ve performansını değerlendirin. Yaygın derecelendirme yöntemleri arasında kod tabanlı notlayıcılar, yargıç olarak dil modelleri ve insan notlayıcılar bulunur.

Kod tabanlı derecelendirmeciler

Örnekler: Regex, ikili geçiş-başarısızlık, birim testi, hesaplanan vektör benzerliği, telemetri tabanlı (performans, kapasite, maliyet).

Artılar: Olgun çözümler ve çerçeveler mevcuttur. Örneğin, regex, lint ve UX test boru hatları. Deterministik kontrolleri kolayca doğrulayabilirsiniz.

Eksiler: Bir ajanın ton ve doğruluk gibi nüansları veya niteliksel yönlerini doğru değerlendirmek zordur.

Yargıç olarak dil modeli

Artılar: Ölçekli senaryo tabanlı test imkanı sağlar. Geniş bir kullanıcı tercihleri yelpazesini kodlayacak kadar esnek.

Eksileri: Yalnızca dil model temeli değerlendirmesine veya sınırlı bir model ve topraklama veri setine aşırı bağımlılık değerlendirme sürecine entropiyi getirebilir.

İnsan değerlendiriciler

Artılar: En iyi niteliksel değerlendirmeyi sağlar.

Eksileri: Yavaş ve pahalı. İnsan uzmanların günlük işlerinden uzak zaman ayırmasını gerektirir.

Değerlendirme sonuçlarının kararlara dönüştürülmesi

Ajanlar, çözüm düşüncesi çoklu ajan, Agent 365 veya dijital çalışan kavramlarına doğru evrildikçe mevcut fizibilite ve yatırım getirisi (ROI) çerçevelerini bozuyor. Aşağıdaki etmenleri inceleyin:

  • Dil modellerinin belirgin olmayan doğası, statik geç veya başarısız başarı kriterlerinden ve birim testi tabanlı ölçümlerden yüzde tabanlı değerlendirmelere geçişi gerektirir.

  • Bir ajan için yatırım getirisi, modüler araçlar (MCP) veya Agent2Agent (A2A) çoklu ajan ekosistemleri tek bir kullanım alanının ötesine geçtiği için bağımsız çözüm veya tek bir süreç akışının ötesinde etkiyi içerir.

Aşağıdaki bölümler, değerlendirme sonuçlarının ajanınızın mimarisi ve dağıtım stratejisi hakkında bilinçli kararlara dönüştürülmesi için en iyi uygulamaları açıklar.

Değerlendirme metrikleri oluşturun

Mevcut sistemin başarısının temel ölçümünü belirleyin, manuel olsa bile. Örneğin, mevcut destek sağlayıcılarıyla bilet yönlendirme, insanlar veya süreç otomasyonu kullanıldığında bile 100% başarı oranına sahip değildir.

Değerlendirme metrikleri iş sonucuna özgü olmalıdır. Örneğin, bir bilet yönlendirme çözümü değerlendirilirken, hem çözüm süresini (TTR) hem de yönlendirme doğruluğunu değerlendirerek mimariler arasındaki takasları önceliklendirebilirsiniz. Bir çözüm, daha uzun bir TTR ile daha yüksek doğruluk sunabilir; bu da daha hızlı ama biraz daha az hassas bir ajanik çözüme göre daha az arzu edilebilir.

Herhangi bir çözüm oluşturmadan önce, dil modeli, API veya ajan türünün kavram değerlendirmesini kanıtlayın. Bu değerlendirme, önerilen çözümün temel başarı oranını istatistiksel olarak anlamlı bir yüzde artırıp artırmadığını veya zaman veya maliyet tasarrufuyla güvenilir bir başarı oranı sağlayıp sağlamadığını anlamanıza yardımcı olur.

Seri geliştirme akışlarından uzaklaşmak

Ajanların inşa edilmesinde eski yaklaşımlar ardışık veya seri düşünce modeli kullanır. Bu model sıkça çıkmaz noktalara yol açar. Ajanların deklaratif ajanlardan özel ajanlara, oradan da "pro-kod" ajanlara "yükseltme" kavramı bu düşünce modelini destekler. Doğası gereği ardışık ve sıralıdır.

Bu yaklaşım, bir aracıyı 'yükseltme' işlemi sırasında bir çıkmaz ya da geri adım atma algısı yaratır, temel orkestratörler ve dil modelleri farklı olsa da. Başarı kriterlerinin bu şekilde değerlendirilmesi, ajan çözümlerinin çok değişken doğasını hesaba katmaz.

Değerlendirme sonuçlarını yorumlarken, radar grafiki gibi ortalama veya düşük sürtünmeli bir puan alma isteğine karşı koyun. Başarı için gereken bir veya iki özel niteliğe göre önyargı yapma yeteneklerine göre ajanları seçin.

Aşağıdaki örnekte, radar grafiki Çözüm A'nın daha fazla yüzey alanını kapladığı için daha iyi seçenek olduğunu gösterse de, HR çözümü için Çözüm B daha uyumlu sonuçlar verir. Çözüm B, talep hacmi ve iş önceliği (satış hareketleri) başarı için önemli faktörler olmadığında daha iyi bir seçimdir.

Çözüm A ve Çözüm B'yi maliyet, talep hacmi, tamlık, iş önceliği ve kalite açısından karşılaştıran radar şeması diyagramı.

Belirli bir kullanım vakası için başarı için en kritik boyutları daha da vurgulamak için sütun grafikleri veya karar çerçeveleri gibi yüksek sürtünmeli görselleştirmeleri kullanın. Bu araçlar, arama alakasının ne zaman geri çağırış, yanıt verme süresi, bağlam büyüklüğü, maliyet yerine performans ve benzeri hususların ne zaman önceliklendirileceğini açıklar.

Note

Dil modeli değerlendirmecilerinin mantığını denetleyip daha da geliştiren insan değerlendirmecilerin bulunduğu hibrit değerlendirme yaklaşımları, her iki yöntemin de faydalarını sağlarken bireysel kısıtlamaları azaltabilir.

Test planı oluşturma

Değerlendirme kriterleri ve sonuçlar platforma ve çözüme göre değişiklik gösterir. Test planı oluşturma konusunda rehberlik için aşağıdaki kaynaklara başvurun:

  • Last updated on