Arama ile güçlendirilmiş üretim (RAG) LLM bilgisi sağlar

Bu makale, ön-belirleme ile genişletilmiş üretim yönteminin, LLM'lerin veri kaynaklarını eğitme gereği olmadan bilgi olarak görmelerine nasıl olanak sağladığını açıklamaktadır.

LLM'ler eğitim aracılığıyla kapsamlı bilgi bankası sahiptir. Çoğu senaryoda, gereksinimleriniz için tasarlanmış bir LLM seçebilirsiniz, ancak bu LLM'ler yine de belirli verilerinizi anlamak için ek eğitim gerektirir. Geri getirme destekli üretim, verilerinizi ilk olarak YYM'ler üzerinde eğitmeden kullanılabilir hale getirmenizi sağlar.

RAG nasıl çalışır?

Geri getirme artırmalı üretim gerçekleştirmek için, verilerinizle ilgili sık sorulan sorularla birlikte gömülemeler oluşturursunuz. Bunu anında yapabilir veya bir vektör veritabanı çözümü kullanarak eklemeleri oluşturup depolayabilirsiniz.

Kullanıcı soru sorduğunda LLM, eklemelerinizi kullanarak kullanıcının sorusunu verilerinizle karşılaştırır ve en uygun bağlamı bulur. Bu bağlam ve kullanıcının sorusu daha sonra bir istem içinde LLM'ye gider ve LLM verilerinize dayalı bir yanıt sağlar.

Temel RAG işlemi

RAG gerçekleştirmek için, alma işlemleri için kullanmak istediğiniz her veri kaynağını işlemeniz gerekir. Temel süreç aşağıdaki gibidir:

1. Büyük verileri yönetilebilir parçalara ayırın.
2. Öbekleri aranabilir biçime dönüştürün.
3. Dönüştürülen verileri verimli erişime izin veren bir konumda depolayın. Ayrıca, LLM yanıtlar sağladığında alıntılar veya başvurular için ilgili meta verileri depolamak önemlidir.
4. Dönüştürülen verilerinizi istemlerde LLM'lere gönderin.

• Kaynak veriler: Verilerinizin bulunduğu yer burasıdır. Makinenizdeki bir dosya/klasör, bulut depolamadaki bir dosya, Azure Machine Learning veri varlığı, Git deposu veya SQL veritabanı olabilir.
• Veri öbekleme: Kaynağınızdaki verilerin düz metne dönüştürülmesi gerekir. Örneğin, word belgelerinin veya PDF'lerin açılması ve metne dönüştürülmesi gerekir. Metin daha sonra daha küçük parçalara ayrılır.
• Metni vektörlere dönüştürme: Bunlar eklemelerdir. Vektörler, bilgisayarların bu kavramlar arasındaki ilişkileri anlamasını kolaylaştıran sayı dizilerine dönüştürülen kavramların sayısal temsilleridir.
• Kaynak veriler ile eklemeler arasındaki bağlantılar: Bu bilgiler, oluşturduğunuz öbeklerde meta veri olarak depolanır ve daha sonra LLM'lerin yanıt oluştururken alıntılar oluşturmasına yardımcı olmak için kullanılır.

Ayrıca bakınız

• Veri alımı