Verileri alma için hazırlama

  • 3 dakika

Tip

Daha fazla ayrıntı için Metin ve resimler sekmesine bakın!

Alma işlemi yalnızca aranabilir hale getirilmiş bilgileri bulabilir. BIR RAG uygulamasının soruları yanıtlaması için önce kaynak verileri hazırlayan bir dizin oluşturma işlem hattı gerekir.

Dizin oluşturma işlem hattı genellikle aşağıdaki görevleri gerçekleştirir:

Metin ayıklama ve dizin oluşturma işlem hattının diyagramı.

  1. Kaynak metni ayıklar.
  2. Metni odaklanmış bölümlere ayırır.
  3. Metin belirteçlerini anlamsal öznitelikleri kapsülleyen ekleme vektörleri olarak kodlar.
  4. Eklemelerde arama yapmak için kullanılabilecek bir dizin oluşturur.

Şimdi bu görevlerin her birini daha ayrıntılı bir şekilde inceleyelim.

Kaynak verileri seçme ve işleme

RAG bilgi kaynağı ürün kılavuzlarını, ilkeleri, web sayfalarını, veritabanı kayıtlarını, destek biletlerini veya onaylanan diğer içeriği içerebilir. Hazırlık süreci genellikle şu adımları içerir:

  1. Her kaynaktan içerik yükleyin.
  2. PDF dosyaları, sunular, web sayfaları veya tablolar gibi biçimlerden yararlı metin ve yapı ayıklayın.
  3. Yinelenen üst bilgileri, gezinti metnini veya soruları yanıtlamak için yararlı olmayan diğer öğeleri kaldırarak içeriği temizleyin.
  4. Başlık, kaynak URL, kategori, erişim izinleri ve son güncelleştirme tarihi gibi meta veriler ekleyin.

Kaynak kalitesi önemlidir. Yinelenen, güncel olmayan veya çelişkili belgeler, kötü alma ve güvenilir olmayan yanıtlara yol açabilir. Erişim denetimleri de önemlidir: Kullanıcılar yalnızca görüntüleme yetkisine sahip oldukları içeriği almalıdır.

İçeriği öbeklere bölme

Belgeler genellikle modele tam olarak gönderilemeyecek kadar büyüktür. Öbekler olarak adlandırılan daha küçük parçalara ayrılırlar. Her öbek, belirli bir konuya odaklanmış durumdayken anlamlı olacak kadar bağlam içermelidir.

Örneğin, bir seyahat politikası bölüme göre uçuşlar, oteller, yemekler ve kara taşımacılığı için ayrı parçalara ayrılabilir. Daha sonra otel sınırlarıyla ilgili bir soru, ilkenin tamamını isteme eklemeden otel bölümünü alabilir.

Öbekleme bir denge içerir:

  • Çok büyük olan öbekler ilgisiz bilgiler içerebilir ve modelin bağlam penceresinden daha fazlasını kullanabilir.
  • Çok küçük olan öbekler, bir deyimi anlamak için gereken başlıklardan, tanımlardan veya diğer bilgilerden ayırabilir.

Önemli bağlam bir sınırda kaybolmaması için öbekler genellikle biraz çakışıyor.

Gömüler oluştur

RAG çözümleri genellikle her öbeği eklemeye dönüştürmek için bir ekleme modeli kullanır: içeriğin anlamsal özelliklerini temsil eden sayısal bir vektör. Benzer anlamlara sahip öbekler, farklı sözcükler kullandıklarında bile vektör alanında birbirine yakın olan eklemelere sahiptir.

Verilerin dizinini oluşturma

Çözüm öbekleri, bunların eklemelerini ve yararlı meta verileri arama dizininde veya vektör özellikli veri deposunda depolar. Dizin aşağıdakileri destekleyebileceğinden:

  • Tam sözcükler, tanımlayıcılar veya ürün kodları önemli olduğunda etkili olan anahtar sözcük araması.
  • Sembolik olarak benzer içerik bulan vektör araması.
  • Anahtar sözcük ve vektör aramalarını birleştiren karma arama.

Verileri hazırlamak tek seferlik bir görev değildir. Dizin oluşturma işlem hattı yeni içerik eklemeli, değiştirilmiş içeriği güncelleştirmeli ve alma işleminin geçerli gerçek kaynağını yansıtması için artık geçerli olmayan içeriği kaldırmalıdır.