Lekéréssel bővített generáció (RAG) az Azure AI Keresésben

Note

Azure AI Keresés a Azure portálon, REST API-kon és Azure SDK-k keresztül érhető el. Emellett a Foundry IQ-t is támogatja, amely a vállalati tartalmakat újrafelhasználható, engedélytudatos tudásbázisokká alakítja át az Microsoft Foundry portálon található ügynökök számára.

A lekéréses kiegészítésű generáció (RAG) egy olyan minta, amely kibővíti az LLM-képességeket azáltal, hogy a saját tartalomban lévő válaszokra alapozza a válaszokat. Bár elméletileg egyszerű, a RAG-implementációk jelentős kihívásokkal szembesülnek.

A RAG kihívásai

Kihívás Description
A lekérdezések ismertetése A modern felhasználók összetett, társalgási vagy homályos kérdéseket tehetnek fel feltételezett kontextussal. A hagyományos kulcsszókeresés meghiúsul, ha a lekérdezések nem felelnek meg a dokumentum terminológiájának. A RAG esetében az információlekérdezési rendszernek a szándékot kell megértenie, nem csak a szavakat.
Több forrásból történő adathozzáférés A vállalati tartalom a SharePointra, az adatbázisokra, a blobtárolókra és más platformokra terjed ki. Az adatműveletek megzavarása nélkül is létre kell hozni egy egységes keresési korpuszt.
Token megkötések Az LLM-ek korlátozott számú token bemenetet fogadnak el. A lekérési rendszernek rendkívül releváns, tömör eredményeket kell nyújtania – nem kiterjedt dokumentumhalmokat.
Válaszidő-várakozások A felhasználók AI-alapú válaszokat várnak másodpercekben, nem percekben. A lekérési rendszernek ki kell egyensúlyoznia az alaposságot és a sebességet.
Biztonsági és szabályozási A privát tartalom LLM-ekhez való megnyitása részletes hozzáférés-vezérlést igényel. A felhasználóknak és az ügynököknek csak engedélyezett tartalmakat kell lekérniük.

Hogyan felel meg az Azure AI Keresés a RAG-kihívásoknak?

Az Azure AI Keresés két módszert kínál, amelyek kifejezetten az alábbi RAG-kihívásokhoz lettek kialakítva:

  • Ügynöki lekérés: Teljes RAG-folyamat LLM-alapú lekérdezéstervezéssel (előzetes verzió), többforrásos hozzáféréssel és ügynökhasználatra optimalizált strukturált válaszokkal.

  • Klasszikus RAG-minta: A hibrid keresés és szemantikai rangsorolás bevált megközelítése, amely ideális az egyszerűbb követelményekhez, vagy ha általánosan elérhető (GA) funkciókra van szükség.

A következő szakaszok bemutatják, hogyan oldják meg az egyes megközelítések a RAG adott kihívásait.

A lekérdezések megértésének kihívásainak megoldása

A probléma: A felhasználók megkérdezik, hogy "Mi a 2023 után felvett távmunkásokra vonatkozó PTO-szabályzatunk?", de a dokumentumokban az "időtúllépés", a "távmunka" és a "legutóbbi alkalmazottak".

Ügynöki lekérési megoldás:

  • Az LLM elemzi a kérdést, és több célzott al-lekérdezést generál.
  • Összetett kérdéseket szűrt keresésekre bont.
  • Beszélgetési előzményeket használ a kontextus megértéséhez.
  • Párhuzamos végrehajtás a tudásbázisok között.

Klasszikus RAG-megoldás:

  • A hibrid lekérdezések kombinálják a kulcsszó- és vektorkeresést a jobb visszahívás érdekében.
  • A szemantikai rangsorolás újraszámolja az eredményeket azok jelentése alapján, nem csak a kulcsszavak alapján.
  • A vektoros hasonlóság keresése a fogalmakkal egyezik, nem pedig a pontos kifejezésekkel.

További információ a lekérdezéstervezésről (előzetes verzió).

Többforrásos adatkérdések megoldása

A probléma: HR-szabályzatok a SharePointban, előnyök az adatbázisokban, céges hírek weblapokon – a másolatok létrehozása megzavarja a cégirányítást és a rutinadat-műveleteket.

Ügynöki lekérési megoldás:

  • A tudásbázisok több tudásbázist egyesítenek.
  • Közvetlen lekérdezés a távoli SharePoint és a Bing ellen (nincs szükség indexelésre) az indextartalom kiegészítéséhez.
  • A lekérési utasítások útmutatást adnak az LLM-nek a megfelelő adatforrásokhoz.
  • Automatikus indexelési folyamatgenerálás az Azure Blob, a OneLake, a betöltött SharePoint-tartalmak és a betöltött egyéb külső tartalmak számára.
  • Egyetlen lekérdezési felület és lekérdezési terv minden forrásban.

Klasszikus RAG-megoldás:

  • Az indexelők több mint 10 Azure-adatforrásból kérnek le.
  • Képességi csatorna az adattömb-kezeléshez, vektorizációhoz, képi verbalizáláshoz és elemzéshez.
  • A növekményes indexelés naprakészen tartja a tartalmat.
  • Ön határozza meg, hogy mi és hogyan legyen indexelve.

További információ a tudásforrásokról.

Token-korlátok kihívásainak megoldása

A probléma: A GPT-4 körülbelül 128 ezer tokent fogad el, de 10 000 oldalnyi dokumentációval rendelkezik. Mindent elküldeni pazarolja a tokeneket, és rontja a minőséget.

Ügynöki lekérési megoldás:

  • Strukturált választ ad vissza csak a leginkább releváns adattömbökkel
  • A beépített idézetkövetés az eredetet mutatja
  • A lekérdezési tevékenységnapló bemutatja, hogy mit keresnek
  • Az opcionális válaszszintézis tovább csökkenti a tokenek használatát

Klasszikus RAG-megoldás:

  • A szemantikai rangsor az 50 legrelevánsabb eredményt azonosítja
  • Konfigurálható eredménykorlátok (vektorok esetén top-k, szöveg esetén top-n) és minimális küszöbértékek
  • A pontozási profilok növelik a kritikus tartalmakat
  • A Select utasítás meghatározza, hogy mely mezők kerülnek visszaküldésre

További információ a relevanciahangolásról.

A válaszidő kihívásainak megoldása

A probléma: A felhasználók 3–5 másodperc alatt választ várnak, de ön több forrást kérdez le összetett feldolgozással.

Ügynöki lekérési megoldás:

  • Párhuzamos részlekérdezés végrehajtása (nem szekvenciális)
  • Állítható érvelési munka (minimális/alacsony/közepes)
  • Előre konfigurált szemantikai rangsorolás (nincs extra orkesztráció)

Klasszikus RAG-megoldás:

  • Ezredmásodpercnyi lekérdezési válaszidő
  • Az egylövetű lekérdezések csökkentik az összetettség mértékét
  • Szabályozhatja az időtúllépést és az újrapróbálkozás logikáját
  • Egyszerűbb architektúra kevesebb hibaponttal

Biztonsági kihívások megoldása

A probléma: A pénzügyi adatok csak akkor legyenek elérhetők a pénzügyi csapat számára, ha egy vezető megkérdezi a csevegőrobotot.

Ügynöki lekérési megoldás:

  • Tudásbázisszintű hozzáférés-vezérlés
  • SharePoint-engedélyek öröklése távoli SharePoint-lekérdezésekhez
  • A Microsoft Entra ID engedély metaadatait örökli az indexelt tartalomhoz az Azure Storage-ból
  • Szűrőalapú biztonság más adatforrások lekérdezési idején
  • Hálózatelkülönítés privát végpontokon keresztül

Klasszikus RAG-megoldás:

  • Dokumentumszintű biztonsági vágás
  • A Microsoft Entra ID engedély metaadatait örökli az indexelt tartalomhoz az Azure Storage-ból
  • Szűrőalapú biztonság más adatforrások lekérdezési idején
  • Hálózatelkülönítés privát végpontokon keresztül

További információ a biztonságról.

** Modern RAG autonóm lekérdezéssel

Az Azure AI Keresés egy bevált megoldás RAG-számítási feladatokhoz. Mostantól ügynöki lekérést biztosít egy szakosított csatornán keresztül, amelyet kifejezetten RAG-mintákhoz terveztek. Ez a módszer LLM-ekkel intelligensen bontja le az összetett felhasználói lekérdezéseket szűrt albekérdezésekre, párhuzamosan hajtja végre őket, és strukturált válaszokat ad vissza a csevegések befejezésére optimalizált modellekhez.

A saját kezdeményezésű lekérés a hagyományos egylekérdezési RAG-minták fejlődését a többlekérdezési intelligens lekérés felé jelenti, amely a következőket nyújtja:

  • Környezettudatos lekérdezéstervezés beszélgetési előzmények használatával
  • Több szűrt albekérdezés párhuzamos végrehajtása
  • Strukturált válaszok földelési adatokkal, idézetekkel és végrehajtási metaadatokkal
  • Beépített szemantikai rangsorolás az optimális relevancia érdekében
  • Nem kötelező válaszszintézis, amely LLM által megfogalmazott választ használ a lekérdezési válaszban

Ehhez a folyamathoz új objektumokra van szüksége: egy vagy több tudásbázisra (amelyek mindegyike kereshető tartalomra mutat, például keresési indexre vagy távoli SharePoint webhelyre), egy tudásbázisra (a forrásokat egyesítő lekérdezhető objektumra), valamint az alkalmazáskódból meghívható lekérési műveletre, például az AI-ügynökkel működő eszközre.

Új RAG-implementációk esetén kezdje az agentikus lekéréssel. A meglévő megoldások esetében fontolja meg a migrálást, hogy kihasználhassa a jobb pontosságot és a környezet megértését.

A klasszikus RAG az eredeti lekérdezésvégrehajtási architektúrát használja, amelyben az alkalmazás egyetlen lekérdezést küld az Azure AI Keresésnek, és külön vezénylik az átadást egy LLM-nek. Az telepített LLM a lekérdezés lapított eredményhalmazával fogalmaz meg választ. Ez a megközelítés kevesebb összetevővel egyszerűbb, és gyorsabb, mert nincs LLM-részvétel a lekérdezéstervezésben.

A klasszikus RAG implementálásával kapcsolatos részletes információkért tekintse meg az azure-search-classic-rag adattárat.

Tartalomelőkészítés a RAG-hoz

A RAG minősége attól függ, hogyan készíti elő a tartalmat a lekéréshez. Az Azure AI Keresés a következőket támogatja:

Tartalommal való kihívás Hogyan segít az Azure AI Keresés?
Nagyméretű dokumentumok Automatikus csoportosítás (beépített vagy képességeken keresztül)
Több nyelv Több mint 50 nyelvelemző szöveghez, többnyelvű vektorokhoz
Képek és PDF-fájlok OCR, képelemzés, képértelmezés, dokumentumkinyerési képesség
Hasonlósági keresésre van szükség Integrált vektorizálás (Azure OpenAI, Azure Vision in Foundry Tools, custom)
Terminológiai ellentmondások Szinonimák térképei, szemantikai rangsorolás

Ügynöki lekérés esetén: Használjon olyan tudásbázisokat , amelyek automatikusan generálják az adattömböket és a vektorizálási folyamatokat.

Klasszikus RAG esetén:Indexelők és képességkészletek használatával egyéni folyamatokat hozhat létre, vagy előre feldolgozott tartalmakat küldhet le a leküldéses API-val.

A relevancia és a visszahívás maximalizálása

Hogyan biztosíthatja a legjobb alapadatokat az LLM-válasz megfogalmazásához? Ez a megfelelő tartalom, intelligens lekérdezések és lekérdezési logika kombinációja, amely képes azonosítani a kérdések megválaszolásához legmegfelelőbb adattömböket.

Az indexelés során darabolás segítségével oszthatja fel a nagyméretű dokumentumokat, hogy az egyes részek egymástól függetlenül is összehasonlíthatók legyenek. Adjon meg vektorizálási lépést a vektoros lekérdezésekhez használt beágyazások létrehozásához.

A lekérdezési oldalon a RAG-implementáció legrelevánsabb eredményeinek biztosítása érdekében:

További információ: hibrid keresés és szemantikai rangsorolás.

Válasszon az ügynöki visszakeresés és a klasszikus RAG között

Agentikus lekérést akkor használjon, ha:

  • Az ügyfél ügynök vagy csevegőrobot.
  • A lehető legnagyobb relevanciára és pontosságra van szüksége.
  • A lekérdezések összetettek vagy beszélgetési jellegűek.
  • Strukturált válaszokat szeretne az idézetekkel és a lekérdezés részleteivel.
  • Új RAG-implementációkat készít.

A klasszikus RAG használata a következő esetekben:

  • Csak általánosan elérhető (GA) funkciókra van szüksége.
  • Az egyszerűség és a sebesség fontosabb, mint a haladó jellegű relevancia.
  • Meglévő orchestration kóddal rendelkezik, amelyet meg szeretne őrizni.
  • Részletes vezérlésre van szüksége a lekérdezési folyamat felett.

Az ügynököket és az Azure AI Keresést tartalmazó RAG-megoldások a Foundry IQ-t használhatják, mint egy ügynök egyetlen végpontját egy olyan tudásréteghez, amely földelési adatokat biztosít. A Foundry IQ ügynökalapú lekérést használ.

További információ a klasszikus keresésről, az ügynöki lekérésről és az összehasonlításuk módjáról.

Az első lépések

Az első lépéseknek számos módja van, beleértve a kódelső megoldásokat és a bemutatókat.

  • Utolsó frissítés időpontja: