Megosztás a következőn keresztül:

RAG (Retrieval Augmented Generation) az Azure Databricks platformon

A lekéréses kiegészítésű generáció (RAG) egy hatékony technika, amely a nagy nyelvi modelleket (LLM-eket) valós idejű adatlekéréssel kombinálva pontosabb, up-todátum- és környezetfüggő válaszokat hoz létre.

Ez a megközelítés különösen hasznos a védett, gyakran változó vagy tartományspecifikus információkkal kapcsolatos kérdések megválaszolásához.

Mi az a lekérdezéssel kibővített generáció?

A legegyszerűbb formában a RAG-ügynök a következőket teszi:

  1. Lekérés: A felhasználó kérése egy külső tudásbázis lekérdezésére szolgál, például vektortárra, kulcsszókeresésre vagy SQL-adatbázisra. A cél az LLM válaszához kapcsolódó támogató adatok lekérése.
  2. Bővítés: A támogató adatok a felhasználó kérésével kombinálva gyakran egy sablont használnak, amely további formázást és utasításokat tartalmaz az LLM-hez, hogy létrehozhasson egy kérést.
  3. Generáció: A rendszer az LLM-nek küldi el a kérést, amely választ ad a felhasználó kérésére.

A RAG-alkalmazás folyamata a felhasználói kéréstől az adatlekérésig és a válaszig.

RAG-előnyök

A RAG a következő módokon javítja az LLM-eket:

  • Tulajdonosi ismeretek: A RAG tartalmazhat olyan védett információkat, amelyek eredetileg nem használhatók az LLM betanítása érdekében, például emlékeztetőket, e-maileket és dokumentumokat a tartományspecifikus kérdések megválaszolásához.
  • Naprakész információk: A RAG-alkalmazások információt szolgáltathatnak az LLM-nek egy frissített tudásbázisból.
  • Források idézése: A RAG lehetővé teszi az LLM-eknek, hogy konkrét forrásokra hivatkozhassanak, így a felhasználók ellenőrizhetik a válaszok tényleges pontosságát.
  • Adatbiztonsági és hozzáférés-vezérlési listák (ACL): A lekérési lépés úgy is kialakítható, hogy a felhasználói hitelesítő adatok alapján szelektíven kérje le a személyes vagy védett adatokat.

RAG-összetevők

Egy tipikus RAG-alkalmazás több fázisból áll:

  1. Adatfolyam: Dokumentumok, táblák vagy egyéb adatok előzetes feldolgozása és indexelése a gyors és pontos lekérés érdekében.

  2. RAG-lánc (lekérés, bővítés, létrehozás): Hívjon meg egy lépéssorozatot (vagy lépésláncot) a következő célra:

    • A felhasználó kérdésének megismerése.
    • Támogató adatok lekérése.
    • Bővítse a kérést támogató adatokkal.
    • Válasz létrehozása egy LLM-ből a bővített parancssor használatával.

  3. Értékelés és monitorozás: Értékelje a RAG-alkalmazást annak minőségének, költségének és késésének meghatározásához, hogy megfeleljen az üzleti követelményeknek.

  4. Irányítás és LLMOps: Az egyes összetevők életciklusának nyomon követése és kezelése, beleértve az adatkisorolást és a hozzáférés-vezérlést.

A RAG-alkalmazás összetevőinek diagramja.

A RAG-adatok típusai: strukturált és strukturálatlan

A RAG-architektúra strukturálatlan vagy strukturált támogató adatokkal is használható. A RAG használatával használt adatok a használati esettől függenek.

Strukturálatlan adatok: Adott struktúra vagy szervezet nélküli adatok.

  • PDF-fájlok
  • Google-/Office-dokumentumok
  • Wikioldalak
  • Képek
  • Videók

Strukturált adatok: táblázatos adatokat egy adott sémával rendelkező sorokba és oszlopokba, például egy adatbázis tábláiba rendezve.

  • Ügyfélrekordok bi- vagy adattárházrendszerben
  • Tranzakciós adatok SQL-adatbázisból
  • Alkalmazás API-kból származó adatok (pl. SAP, Salesforce stb.)

Értékelés és monitorozás

A kiértékelés és a monitorozás segít megállapítani, hogy a RAG-alkalmazás megfelel-e a minőségi, költség- és késési követelményeknek. A kiértékelés a fejlesztés során történik, míg a monitorozás az alkalmazás éles környezetben való üzembe helyezése után történik.

A strukturálatlan adatokra vonatkozó RAG számos olyan összetevőt tartalmaz, amelyek hatással vannak a minőségre. Az adatformázás megváltozása például befolyásolhatja a visszakeresett adattömböket, és befolyásolhatja az LLM releváns válaszok generálására való képességét. Ezért fontos az egyes összetevők kiértékelése az általános alkalmazás mellett.

További információ: Mozaik AI-ügynök értékelése (MLflow 2).

RAG a(z) Databricksen

A Databricks egy végpontok közötti platformot kínál a RAG-fejlesztéshez, beleértve a következőket:

Következő lépések