İngilizce dilinde oku

Aracılığıyla paylaş


Alma artırılmış nesil (RAG) LLM bilgisi sağlar

Bu makalede, alma artırılmış neslin LLM'lerin eğitmek zorunda kalmadan veri kaynaklarınıza bilgi olarak davranmasına nasıl olanak sağlandığı açıklanmaktadır.

LLM'ler eğitim aracılığıyla kapsamlı bilgi bankası sahiptir. Çoğu senaryoda, gereksinimleriniz için tasarlanmış bir LLM seçebilirsiniz, ancak bu LLM'ler yine de belirli verilerinizi anlamak için ek eğitim gerektirir. Alma artırılmış oluşturma, verilerinizi ilk olarak llM'ler üzerinde eğitmeden kullanılabilir hale getirmenizi sağlar.

RAG nasıl çalışır?

Alma artırılmış oluşturma gerçekleştirmek için verilerinizle ilgili sık sorulan sorularla birlikte eklemeler oluşturursunuz. Bunu anında yapabilir veya bir vektör veritabanı çözümü kullanarak eklemeleri oluşturup depolayabilirsiniz.

Kullanıcı soru sorduğunda LLM, eklemelerinizi kullanarak kullanıcının sorusunu verilerinizle karşılaştırır ve en uygun bağlamı bulur. Bu bağlam ve kullanıcının sorusu daha sonra bir istem içinde LLM'ye gider ve LLM verilerinize dayalı bir yanıt sağlar.

Temel RAG işlemi

RAG gerçekleştirmek için, alma işlemleri için kullanmak istediğiniz her veri kaynağını işlemeniz gerekir. Temel süreç aşağıdaki gibidir:

  1. Büyük verileri yönetilebilir parçalara ayırın.
  2. Öbekleri aranabilir biçime dönüştürün.
  3. Dönüştürülen verileri verimli erişime izin veren bir konumda depolayın. Ayrıca, LLM yanıtlar sağladığında alıntılar veya başvurular için ilgili meta verileri depolamak önemlidir.
  4. Dönüştürülen verilerinizi istemlerde LLM'lere besleyin.

RAG adımlarını adım adım ilerleten LLM'ye teknik genel bakış diyagramının ekran görüntüsü.

  • Kaynak veriler: Verilerinizin bulunduğu yer burasıdır. Makinenizdeki bir dosya/klasör, bulut depolamadaki bir dosya, Azure Machine Learning veri varlığı, Git deposu veya SQL veritabanı olabilir.
  • Veri öbekleme: Kaynağınızdaki verilerin düz metne dönüştürülmesi gerekir. Örneğin, word belgelerinin veya PDF'lerin açılması ve metne dönüştürülmesi gerekir. Metin daha sonra daha küçük parçalara ayrılır.
  • Metni vektörlere dönüştürme: Bunlar eklemelerdir. Vektörler, bilgisayarların bu kavramlar arasındaki ilişkileri anlamasını kolaylaştıran sayı dizilerine dönüştürülen kavramların sayısal temsilleridir.
  • Kaynak veriler ile eklemeler arasındaki bağlantılar: Bu bilgiler, oluşturduğunuz öbeklerde meta veri olarak depolanır ve daha sonra LLM'lerin yanıt oluştururken alıntılar oluşturmasına yardımcı olmak için kullanılır.