Megosztás a következőn keresztül:


Integrált adattömb- és beágyazás az Azure AI Searchben

Az integrált vektorizálás az Indexelési és lekérdezési folyamatok kiterjesztése az Azure AI Searchben. A következő képességeket adja hozzá:

  • Adattömbelés az indexelés során
  • Szöveg–vektor átalakítás indexelés közben
  • Szöveg–vektor átalakítás lekérdezések során

Az adattömb-készítés nem nehéz követelmény, de ha a nyers dokumentumok nem kicsik, az adattömb-készítés szükséges a modellek beágyazási modelljeinek tokenbemeneti követelményeinek teljesítéséhez.

A vektorkonvertálások egyirányúak: szövegről vektorra. Lekérdezések vagy eredmények esetében nincs vektor–szöveg átalakítás (például nem konvertálható vektoreredmény ember által olvasható sztringgé).

Az integrált adattömbök és vektorizálás felgyorsítja a fejlesztést, és minimalizálja a karbantartási feladatokat az adatbetöltés és a lekérdezési idő során, mivel kevesebb külső összetevőt kell konfigurálni és kezelni. Ez a funkció már általánosan elérhető.

Integrált vektorizáció használata az indexelés során

Adattömbök és szöveg–vektor konverziók esetén a következő összetevők függőségét kell figyelembe vennie:

Integrált vektorizáció használata lekérdezésekben

Ha a lekérdezések során a szöveg-vektor konverziót szeretné elvégezni, az alábbi összetevőkre kell függőséget vállalnia:

Összetevő diagramja

Az alábbi ábra az integrált vektorizáció összetevőit mutatja be.

Egy integrált vektorizálási munkafolyamat összetevőinek diagramja.

A munkafolyamat egy indexelő folyamat. Az indexelők lekérik az adatokat a támogatott adatforrásokból, és adatbővítést (vagy alkalmazott AI-t) kezdeményeznek az Azure OpenAI- vagy Azure AI-szolgáltatások vagy egyéni kód meghívásával szöveg-vektoros átalakításokhoz vagy egyéb feldolgozáshoz.

A diagram az integrált vektorizálásra összpontosít, de a megoldás nem korlátozódik erre a listára. További készségeket adhat hozzá az AI-bővítéshez, létrehozhat egy tudástárat, szemantikai rangsorolást adhat hozzá, relevanciahangolást és egyéb lekérdezési funkciókat adhat hozzá.

Rendelkezésre állás és díjszabás

Az integrált vektorizálás minden régióban és szinten elérhető. Ha azonban Azure OpenAI- és Azure AI-készségeket és vektorizálókat használ, győződjön meg arról, hogy az Azure AI többszolgáltatásos fiókja ugyanabban a régióban érhető el, mint az Azure AI Search.

Ha egyéni jártasságot és Azure-beli üzemeltetési mechanizmust (például Azure-függvényalkalmazást, Azure Web Appot és Azure Kubernetes-t) használ, ellenőrizze az Azure-termékek régiónkénti oldalát a funkciók elérhetőségéről.

Az adatrészletezés (Text Split skill) ingyenes, és minden régióban elérhető az Összes Azure AI-szolgáltatásban.

Feljegyzés

A 2019. január 1. előtt létrehozott régebbi keresési szolgáltatások némelyike olyan infrastruktúrán van üzembe helyezve, amely nem támogatja a vektoros számítási feladatokat. Ha vektormezőt próbál hozzáadni egy sémához, és hibaüzenetet kap, az elavult szolgáltatások eredménye. Ebben az esetben létre kell hoznia egy új keresési szolgáltatást a vektorfunkció kipróbálásához.

Milyen forgatókönyvek támogathatják az integrált vektorizálást?

  • Bontsa fel a nagyméretű dokumentumokat adattömbökre, amelyek vektoros és nem avektoros forgatókönyvekhez hasznosak. Vektorok esetén az adattömbök segítenek megfelelni a modellek beágyazásának bemeneti korlátainak. Nem megadó forgatókönyvek esetén előfordulhat, hogy van egy csevegőstílusú keresőalkalmazása, amelyben a GPT indexelt adattömbökből állít össze válaszokat. A csevegési stílusú kereséshez vektoros vagy nem konvektorizált adattömböket is használhat.

  • Hozzon létre egy vektortárolót, ahol az összes mező vektormező, és a dokumentumazonosító (a keresési indexhez szükséges) az egyetlen sztringmező. Kérje le a vektortárolót a dokumentumazonosítók lekéréséhez, majd küldje el a dokumentum vektormezőit egy másik modellnek.

  • Vektor- és szövegmezők kombinálása hibrid kereséshez szemantikai rangsorolással vagy anélkül. Az integrált vektorizálás leegyszerűsíti a vektorkeresés által támogatott összes forgatókönyvet.

Mikor érdemes integrált vektorizálást használni?

Javasoljuk, hogy használja az Azure AI Studio beépített vektorizálási támogatását. Ha ez a megközelítés nem felel meg az igényeinek, létrehozhat olyan indexelőket és készségkészleteket, amelyek integrált vektorizálást indukálnak az Azure AI Search programozott felületeinek használatával.

Integrált vektorizáció használata

Csak lekérdezési vektorizálás esetén:

  1. Vektorizáló hozzáadása indexhez. Ennek ugyanazzal a beágyazási modellel kell rendelkeznie, amely vektorokat hoz létre az indexben.
  2. Rendelje hozzá a vektorosítót egy vektorprofilhoz, majd rendeljen hozzá egy vektorprofilt a vektormezőhöz.
  3. Alakítsa ki a vektoros lekérdezést , amely meghatározza a vektorizálni kívánt szöveges sztringet.

Egy gyakoribb forgatókönyv – adattömbölés és vektorizálás az indexelés során:

  1. Adatforrás-kapcsolat létrehozása egy támogatott adatforrással indexelőalapú indexeléshez.
  2. Hozzon létre egy olyan készségkészletet, amely az adattömbök és az AzureOpenAIEmbeddingModel szövegfelosztási készségét vagy egy másik beágyazási képességet hív meg az adattömbök vektorizálásához.
  3. Hozzon létre egy indexet, amely egy vektorizálót határoz meg a lekérdezési időhöz, és rendelje hozzá vektormezőkhöz.
  4. Hozzon létre egy indexelőt , amellyel az adatok beolvasásától kezdve a képességkészletek végrehajtásáig mindent vezérelhet az indexelésen keresztül. Javasoljuk, hogy az indexelőt ütemezés szerint futtassa a módosított dokumentumok vagy a szabályozás miatt kihagyott dokumentumok felvételéhez.

Ha szeretné, hozzon létre másodlagos indexeket olyan speciális forgatókönyvekhez, ahol az adattömb tartalma egy indexben van, és egy másik indexben nincs megadva. Az adattömb indexek (vagy másodlagos indexek) a RAG-alkalmazások esetében hasznosak.

Tipp.

A kód írása előtt próbálja ki az új Adatok importálása és vektorizálása varázslót az Azure Portalon az integrált vektorizáció felfedezéséhez.

Vektorizálók és modellek biztonságos kapcsolatai

Ha az architektúra olyan privát kapcsolatokat igényel, amelyek megkerülik az internetet, létrehozhat egy megosztott privát kapcsolati kapcsolatot az indexelés és a vektorizálók által az indexelés során használt képességek által használt beágyazási modellekhez a lekérdezési időpontban.

A megosztott privát kapcsolatok csak Az Azure-ból Az Azure-ba irányuló kapcsolatokhoz működnek. Ha OpenAI-hoz vagy más külső modellhez csatlakozik, a kapcsolatnak a nyilvános interneten keresztül kell lennie.

Vektorizálási forgatókönyvek esetén a következőt kell használnia:

  • openai_account Azure OpenAI-erőforráson üzemeltetett modellek beágyazásához.

  • sitesegyéni képességként vagy egyéni vektorizálóként elért modellek beágyazásához. A sites csoportazonosító az App Serviceshez és az Azure-függvényekhez tartozik, amelyekkel olyan beágyazási modellt üzemeltethet, amely nem az Azure OpenAI beágyazási modelljei közé tartozik.

Korlátozások

Győződjön meg arról, hogy ismeri az Azure OpenAI-kvótákat és a modellek beágyazási korlátait. Az Azure AI Search újrapróbálkozési szabályzatokkal rendelkezik, de ha a kvóta kimerült, az újrapróbálkozás sikertelen lesz.

Az Azure OpenAI-jogkivonat percenkénti korlátja modellenként, előfizetésenként. Ezt tartsa szem előtt, ha beágyazási modellt használ lekérdezési és indexelési számítási feladatokhoz is. Ha lehetséges, kövesse az ajánlott eljárásokat. Mindegyik számítási feladathoz rendelkezik beágyazási modellel, és próbálja őket különböző előfizetésekben üzembe helyezni.

Az Azure AI Searchben ne feledje, hogy a szolgáltatási korlátok szint és számítási feladatok szerint vannak.

Az integrált vektorizálás előnyei

Íme néhány az integrált vektorizálás fő előnyei közül:

  • Nincs külön adattömb- és vektorizálási folyamat. A kód írása és karbantartása egyszerűbb.

  • A végpontok közötti indexelés automatizálása. Amikor az adatok megváltoznak a forrásban (például az Azure Storage-ban, az Azure SQL-ben vagy a Cosmos DB-ben), az indexelő a teljes folyamaton keresztül áthelyezheti ezeket a frissítéseket a lekéréstől a dokumentummegrepedésig, az opcionális AI-bővítésen, az adattömbökön, a vektorizáción és az indexelésen keresztül.

  • A kötegelési és újrapróbálkozási logika beépített (nem konfigurálható). Az Azure AI Search belső újrapróbálkozási szabályzatokkal rendelkezik a beágyazási modellhez tartozó jogkivonatkvótákon túli Azure OpenAI-végpont által felszínre kerülő szabályozási hibákhoz. Javasoljuk, hogy az indexelőt ütemezze (például 5 percenként), hogy az indexelő feldolgozhassa az Azure OpenAI-végpont által az újrapróbálkozási szabályzatok ellenére szabályozott hívásokat.

  • Adattömbök tartalmának kivetítése másodlagos indexekre. A másodlagos indexek ugyanúgy jönnek létre, mint bármely keresési index (a mezőkkel és más szerkezetekkel rendelkező sémák), de az indexelők egy elsődleges indexkel töltik fel őket. Az egyes forrásdokumentumok tartalma az elsődleges és másodlagos indexek mezőibe áramlik ugyanazon indexelési futtatás során.

    A másodlagos indexek kérdés- és válasz- vagy csevegésstílusú alkalmazásokhoz készültek. A másodlagos index részletes információkat tartalmaz konkrétabb egyezésekhez, de a szülőindex több információval rendelkezik, és gyakran teljesebb választ adhat. Ha egyezés található a másodlagos indexben, a lekérdezés a szülődokumentumot adja vissza az elsődleges indexből. Ha például egy nagy PDF-fájlt forrásdokumentumként használ, az elsődleges index alapinformációkkal (cím, dátum, szerző, leírás) rendelkezhet, míg a másodlagos indexben kereshető tartalomrészletek találhatók.

Következő lépések