RAG çözümünü değerlendirme

  • 3 dakika

Tip

Daha fazla ayrıntı için Metin ve resimler sekmesine bakın!

RAG uygulaması bir işlem hattı olduğundan tek başına iyi bir yanıt, çözümün tamamının iyi çalıştığını kanıtlamaz. Değerlendirme, hem alınan bilgileri hem de ondan oluşturulan yanıtı incelemelidir.

Alma değerlendirme

Alma değerlendirmesi, arama sisteminin yararlı kaynak içeriği döndürip döndürmediğini sorar.

Bağlam alma diyagramı.

Bir dizi temsili soru için şunları göz önünde bulundurun:

  • İlgi: Alınan öbekler soruyu ele alır mı?
  • Kapsam: Eksiksiz bir yanıt için gereken tüm bilgiler mevcut mu?
  • Derecelendirme: En güçlü sonuçlar daha zayıf olanların önüne mi yerleştirilir?
  • Güvenlik ve güncellik: İçerik kullanıcı için yetkilendirilmiş ve hala güncel mi?

Doğru bilgiler alınmazsa, yalnızca oluşturma istemini değiştirmek sorunu çözmez. Kaynak içeriği, öbek sınırlarını, meta verileri, sorgu işlemeyi, arama stratejisini veya derecelendirmeyi geliştirmeniz gerekebilir.

Değerlendirme oluşturma

Oluşturma değerlendirmesi, modelin alınan bağlamı nasıl kullandığını dikkate alır.

Yanıt oluşturma diyagramı.

Oluşturulan içeriği değerlendirmek için dikkat edilmesi gerekenler şunlardır:

  • Temellik: Her talep, alınan içerik tarafından destekleniyor mu?
  • İlgi: Yanıt doğrudan kullanıcının sorusunu yanıtlar mı?
  • Tamlık: Yanıt, bağlamdaki önemli bilgileri içeriyor mu?
  • Alıntı kalitesi: Alıntılar ilişkili talepleri destekleyen kaynaklara işaret ediyor mu?
  • Uygun belirsizlik: Uygulama bağlamın ne zaman yetersiz olduğunu tahmin etmekten kaçınıyor mu?

Kullanışlı bir test kümesi gerçekçi sorular, beklenen kaynak bölümleri ve kabul edilebilir yanıtlar için ölçütler içerir. Ayrıca belirsiz sorular, verilerde yanıtı olmayan sorular, güncel olmayan belgeler ve yetkisiz bilgileri alma girişimleri gibi zor durumları da içermelidir.

Kalite, gecikme süresi ve maliyeti dengeleme

Daha fazla öbek almak ve işlemek kapsamı iyileştirebilir, ancak aynı zamanda istem boyutunu, yanıt süresini ve maliyeti artırır. Çok fazla bağlam, modelin en ilgili kanıtlara odaklanmasını bile zorlaştırabilir. BU nedenle RAG tasarımı, yanıt kalitesini gecikme süresi ve maliyetle dengelemeyi içerir.

Dengeli ölçüt diyagramı.

Gerçek kullanımı izlemek yanıtlanmamış soruları, zayıf alıntıları, yavaş aramaları ve içerik kalitesindeki değişiklikleri ortaya çıkarabiliyor. İşlem hattını geliştirmek için bu gözlemleri kullanın ve veriler, modeller, istemler veya alma ayarları değiştiğinde yeniden değerlendirin.