Vektortárolók az Azure Machine Tanulás (előzetes verzió)

Fontos

Ez a funkció jelenleg nyilvános előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszintű szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik.

For more information, see Supplemental Terms of Use for Microsoft Azure Previews.

Ez a fogalomcikk segít vektorindexet használni az Azure Machine Tanulás a beolvasási kiterjesztett generáció (RAG) végrehajtásához. A vektorindexek olyan beágyazásokat tárolnak, amelyek számsorozattá konvertált fogalmak (adatok) numerikus ábrázolásai, amelyek lehetővé teszik az LLM-ek számára a fogalmak közötti kapcsolatok megértését. A vektortárolók létrehozásával nagy nyelvi modellel (LLM) kapcsolhatja össze az adatokat, például a GPT-4-et, és hatékonyan lekérheti az adatokat.

Az Azure Machine Learning kétféle vektortárolót támogat, amelyek a RAG-munkafolyamatban használt kiegészítő adatokat tartalmazzák:

• A Faiss egy nyílt forráskódú könyvtár, amely helyi fájlalapú tárolót biztosít. A vektorindexet az Azure Machine Learning munkaterület tárolási fiókjában tárolja. Mivel helyben tárolják, a költségek minimálisak, így ideális a fejlesztéshez és a teszteléshez.

• Az Azure AI Search (korábbi nevén Cognitive Search) egy Azure-erőforrás, amely támogatja a keresési indexekben tárolt vektoros és szöveges adatokon keresztüli információlekérést. A parancssori folyamat létrehozhatja, feltöltheti és lekérdezheti az Azure AI Searchben tárolt vektoradatokat.

Vektortároló kiválasztása

Bármelyik tárolót használhatja a parancssori folyamatban, tehát melyiket érdemes használnia?

A Faiss egy nyílt forráskód kódtár, amelyet letölt, és a megoldás egy összetevőjét használja. Ez a kódtár lehet a legjobb kiindulópont, ha csak vektoros adatokkal rendelkezik. Néhány fontos pont a Faiss használatával kapcsolatban:

• Helyi tárolás, amely nem jár költségekkel az index létrehozásához (csak a tárolási költség).

• Létrehozhat és lekérdezhet egy indexet a memóriában.

• A példányokat külön-külön is megoszthatja. Ha egy alkalmazás indexét szeretné üzemeltetni, ezt be kell állítania.

• Faiss skálázás mögöttes számítási terhelési indexkel.

Az Azure AI Search egy dedikált PaaS-erőforrás, amelyet egy Azure-előfizetésben hoz létre. Egyetlen keresési szolgáltatás nagy számú indexet üzemeltethet, amelyek lekérdezhetők és használhatók RAG-mintában. Néhány fontos pont az Azure AI Search vektortárolóhoz való használatával kapcsolatban:

• Támogatja a nagyvállalati szintű üzleti követelményeket a skálázás, a biztonság és a rendelkezésre állás szempontjából.

• Támogatja a hibrid információk lekérését. A vektoradatok együtt létezhetnek a nem vektoros adatokkal, ami azt jelenti, hogy az Azure AI Search bármely funkcióját használhatja az indexeléshez és lekérdezésekhez, beleértve a hibrid keresést és a szemantikai rerankingot.

• A vektortámogatás nyilvános előzetes verzióban érhető el. Jelenleg a vektorokat külsőleg kell létrehozni, majd át kell adni az Azure AI Searchnek indexelés és lekérdezéskódolás céljából. A parancssori folyamat kezeli ezeket az áttűnéseket.

Ha az AI Search-t az Azure Machine Tanulás vektortárolójaként szeretné használni, rendelkeznie kell keresési szolgáltatással. Miután a szolgáltatás létezik, és hozzáférést adott a fejlesztőknek, az Azure AI Searchet vektorindexként választhatja ki egy parancssori folyamatban. A parancssori folyamat létrehozza az indexet az Azure AI Searchben, vektorokat hoz létre a forrásadatokból, elküldi a vektorokat az indexnek, meghívja a hasonlósági keresést az AI Searchben, és visszaadja a választ.

Következő lépések

Vektorindex létrehozása az Azure Machine Tanulás parancssori folyamatában (előzetes verzió)