Aracılığıyla paylaş

Azure Databricks'te RAG (Bilgi Alma ile Artırılmış Üretim)

Alma artırılmış oluşturma (RAG), daha doğru, up-to-tarih ve bağlamsal olarak ilgili yanıtlar oluşturmak için büyük dil modellerini (LLM) gerçek zamanlı veri alma ile birleştiren güçlü bir tekniktir.

Bu yaklaşım özellikle özel, sık değişen veya etki alanına özgü bilgilerle ilgili soruları yanıtlamak için değerlidir.

Geri getirme destekli üretim nedir?

En basit biçimde, BIR RAG aracısı aşağıdakileri yapar:

  1. Alma: Kullanıcının isteği vektör deposu, anahtar sözcük araması veya SQL veritabanı gibi bir dış bilgi bankasını sorgulamak için kullanılır. Amaç, LLM'nin yanıtı için destekleyici veriler almaktır.
  2. Büyütme: Destekleyici veriler kullanıcının isteğiyle birleştirilir ve genellikle LLM'ye ek biçimlendirme ve yönergeler içeren bir şablon kullanılarak bir istem oluşturulur.
  3. Oluşturma: Kullanıcının isteğine yanıt oluşturmak için llm'ye istem geçirilir.

Kullanıcı isteğinden veri alma ve yanıta kadar bir RAG uygulamasının akışı.

RAG avantajları

RAG, LLM'leri aşağıdaki yollarla geliştirir:

  • Özel bilgi: RAG, başlangıçta LLM'yi eğitmek için kullanılmayan notlar, e-postalar ve belgeler gibi etki alanına özgü soruları yanıtlamak için özel bilgiler içerebilir.
  • Güncel bilgiler: RAG uygulaması LLM'ye güncelleştirilmiş bir bilgi bankasından bilgi sağlayabilir.
  • Kaynaklardan alıntı: RAG, LLM'lerin belirli kaynakları alıntılayarak kullanıcıların yanıtların gerçek doğruluğunu doğrulamasına olanak tanır.
  • Veri güvenliği ve erişim denetimi listeleri (ACL): Alma adımı, kullanıcı kimlik bilgilerine göre kişisel veya özel bilgileri seçmeli olarak almak için tasarlanabilir.

RAG bileşenleri

Tipik bir RAG uygulaması birkaç aşamadan oluşur:

  1. Veri işlem hattı: Hızlı ve doğru alma için belgeleri, tabloları veya diğer verileri önceden işleyin ve dizinleyin.

  2. RAG zinciri (Alma, Genişletme, Oluşturma): Aşağıdaki adımlardan oluşan bir dizi veya zinciri çağırın:

    • Kullanıcının sorusunu anlayın.
    • Destekleyici verileri alma.
    • İstemi destekleyici verilerle genişletin.
    • Genişletilmiş istemi kullanarak bir LLM'den yanıt oluşturun.

  3. Değerlendirme ve izleme: İŞ gereksinimlerinizi karşıladığından emin olmak için RAG uygulamasını değerlendirerek kalitesini, maliyetini ve gecikme süresini belirleyin.

  4. İdare ve LLMOps: Veri kökeni ve erişim denetimleri dahil olmak üzere her bileşenin yaşam döngüsünü izleyin ve yönetin.

RAG uygulama bileşenlerinin diyagramı.

RAG veri türleri: yapılandırılmış ve yapılandırılmamış

RAG mimarisi yapılandırılmamış veya yapılandırılmış destekleyici verilerle çalışabilir. RAG ile kullandığınız veriler kullanım örneğine bağlıdır.

Yapılandırılmamış veriler: Belirli bir yapısı veya kuruluşu olmayan veriler.

  • PDF'ler
  • Google/Office belgeleri
  • Wiki siteleri
  • Görüntüler
  • Videolar

Yapılandırılmış veri: Belirli bir şemaya sahip satırlar ve sütunlar halinde düzenlenmiş tabular veriler, örneğin bir veritabanındaki tablolar.

  • BI veya Veri Ambarı sisteminde müşteri kayıtları
  • SQL veritabanından işlem verileri
  • Uygulama API'lerinden alınan veriler (örneğin SAP, Salesforce vb.)

Değerlendirme ve izleme

Değerlendirme ve izleme, RAG uygulamanızın kalite, maliyet ve gecikme süresi gereksinimlerinizi karşılayıp karşılamadığını belirlemeye yardımcı olur. Değerlendirme geliştirme sırasında gerçekleşirken, uygulama üretime dağıtıldıktan sonra izleme gerçekleşir.

Yapılandırılmamış veriler üzerinde RAG, kaliteyi etkileyen birçok bileşene sahiptir. Örneğin veri biçimlendirme değişiklikleri, alınan öbekleri ve LLM'nin ilgili yanıtları oluşturma becerisini etkileyebilir. Bu nedenle, genel uygulamaya ek olarak tek tek bileşenlerin de değerlendirilmesi önemlidir.

Daha fazla bilgi için bkz . Mozaik AI Aracısı Değerlendirmesi (MLflow 2).

Databricks üzerinde RAG

Databricks, AŞAĞıDAKIler dahil olmak üzere RAG geliştirme için uçtan uca bir platform sunar:

Sonraki Adımlar