Bilgileri alma ve yanıt oluşturma
Tip
Daha fazla ayrıntı için Metin ve resimler sekmesine bakın!
İçerik dizine alındıktan sonra, bir RAG uygulaması kullanıcının sorusunu yanıtlamak için bunu kullanabilir. Bu aşama çalışma zamanında gerçekleşir ve genellikle bir dizi adımı izler.
- Kullanıcı bir istem gönderir.
- Dizinde yapılan bir arama ilgili bağlamsal metni alır.
- Bağlam istemine eklenir.
- Genişletilmiş istem modele gönderilir ve bu da topraklanmış bir yanıt döndürür.
İlgili bilgileri alma
İlk olarak, uygulama kullanıcının girişini bir arama sorgusu olarak hazırlar. Vektör araması için, sorguyu vektöre dönüştürmek için dizin oluşturma sırasında kullanılan ekleme modelinin aynısını kullanır. Arama sistemi, sorgu vektörlerini depolanan öbek vektörleriyle karşılaştırır ve en yakın eşleşmeleri döndürür.
"Denizaşırı bir konferans için otel ödeneği nedir?" sorusu için anlamsal arama, ifade aynı olmasa bile "Uluslararası konaklama giderleri" başlıklı bir ilke bölümü alabilir.
Alma işlemi çeşitli yollarla iyileştirilebilir:
- Bölge, ürün, tarih, belge türü veya kullanıcı izni gibi meta veri filtreleri uygulayın.
- Anahtar sözcük ve vektör sonuçlarını karma arama ile birleştirin.
- En ilgili bölümleri ilk sırada yerleştirmek için aday sonuçlarını sırala.
- İstemi zayıf veya yinelenen bağlamla doldurmamak için sonuç sayısını sınırlayın.
Amaç en çok içeriği almak değildir. Yanıt için yeterli, ilgili kanıt sağlayan en küçük içerik kümesini almaktır.
İstemi artırma
Uygulama genellikle aşağıdakileri içeren bir istem oluşturur:
- Yardımcının davranışını tanımlayan sistem yönergeleri.
- Kullanıcının sorusu.
- Topraklama bağlamı olarak alınan öbekler.
- Sağlanan bağlamdan yanıt verme, bağlamın yetersiz olduğunu onaylama ve kullanılabilir olduğunda alıntılar ekleme yönergeleri.
Örneğin, uygulama modele şu yönergeleri verebilir: "Yalnızca sağlanan ilke alıntılarını kullanarak soruyu yanıtlayın. Alıntılar yanıtı içermiyorsa, bulamadığını söyle. Kaynak başlığından alıntı yapın."
İstem, güvenilen uygulama yönergelerini alınan içerikten ayırt etmelidir. Kaynak içerik modeli yeniden yönlendirmeye çalışan metin içerebileceğinden, alınan belgeler yönergeler olarak değil veri olarak ele alınmalıdır.
Temel alınan yanıt oluşturma
Dil modeli, yanıtı oluşturmak için genişletilmiş istem kullanır. İyi tasarlanmış bir uygulama, yanıtı alınan kaynaklara yönelik bağlantılarla veya alıntılarla birlikte döndürür. Alıntılar, kullanıcıların yanıtı doğrulamalarına ve bir kaynağın ne zaman eski veya uygunsuz olabileceğini fark etmelerine yardımcı olur.
RAG desteklenmeyen yanıt olasılığını azaltır, ancak bunları ortadan kaldırmaz. Model iyi bağlamı yanlış yorumlayabilir veya alıcı eksik bilgiler verebilir. Bu nedenle uygulamalar, kullanılabilir kanıtın ne zaman yetersiz olduğunu söyleyecek ve yüksek etkili senaryolarda insan incelemesini destekleyecek şekilde tasarlanmalıdır.