Kiterjesztett generáció és indexek lekérése
Fontos
A cikkben ismertetett funkciók némelyike csak előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszint-szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik. További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.
Ez a cikk a kiterjesztett lekéréses generálás (RAG) és az index fontosságát és szükségességét ismerteti a generatív AI-ben.
Mi az a RAG?
Először néhány alapismeretet. A nagy méretű nyelvi modellek (például a ChatGPT) nyilvános internetes adatokon vannak betanítve, amelyek a betanítása idején voltak elérhetők. Válaszolhatnak a betanított adatokkal kapcsolatos kérdésekre. Előfordulhat, hogy ezek a nyilvános adatok nem elegendőek az ön igényeinek kielégítéséhez. Előfordulhat, hogy a személyes adatok alapján szeretné megválaszolni a kérdéseket. Vagy előfordulhat, hogy a nyilvános adatok egyszerűen elavultak. Ennek a problémának a megoldására az AI-ban használt, LLM-et használó, a saját adatokkal rendelkező válaszok létrehozására használt, kiterjesztett generációs (RAG) minta szolgál.
Hogyan működik a RAG?
A RAG egy olyan minta, amely az adatokat egy LLM használatával hozza létre az adatokra vonatkozó válaszokat. Amikor egy felhasználó kérdést tesz fel, a rendszer a felhasználói bemenet alapján keresi az adattárat. A felhasználói kérdést ezután összevonjuk az egyező eredményekkel, és egy üzenettel (egy AI-hez vagy gépi tanulási modellhez kifejezett utasítások) küldjük el az LLM-nek a kívánt válasz létrehozásához. Ez a következőképpen szemléltethető.
Mi az index, és miért van rá szükségem?
A RAG az Ön adataival válaszokat hoz létre a felhasználói kérdésre. Ahhoz, hogy a RAG jól működjön, meg kell találnunk az adatok egyszerű és költséghatékony keresésének és küldésének módját az LLM-eknek. Ez egy index használatával érhető el. Az index egy adattár, amely lehetővé teszi az adatok hatékony keresését. Ez rendkívül hasznos a RAG-ben. Az indexek az LLM-ekhez optimalizálhatók vektorok létrehozásával (a szöveges adatok számütemezéssé alakíthatók beágyazási modell használatával). A jó indexek általában hatékony keresési képességekkel rendelkeznek, például kulcsszókeresésekkel, szemantikai keresésekkel, vektoros keresésekkel vagy ezek kombinációjával. Ez az optimalizált RAG-minta a következőképpen szemléltethető.
Az Azure AI egy ragmintával használható indexeszközt biztosít. Az indexeszköz olyan fontos információkat tartalmaz, mint például az index tárolási helye, az index elérése, milyen módokon kereshető az index, rendelkezik-e az index vektorokkal, mi a vektorokhoz használt beágyazási modell stb. Az Azure AI-index elsődleges és ajánlott indextárolóként az Azure AI Search szolgáltatást használja. Az Azure AI Search egy Azure-erőforrás, amely támogatja a keresési indexekben tárolt vektoros és szöveges adatokon keresztüli információkeresést.