Megosztás a következőn keresztül:


Rövid útmutató: Multimodális tartalom keresése az Azure Portalon

Ebben a rövid útmutatóban az Adatok importálása és vektorizálása varázslóval ismerkedhet meg az Azure Portalon a multimodális kereséssel. A varázsló leegyszerűsíti a szöveg és a képek kereshető indexbe való kinyerésének, darabolásának, vektorizálásának és betöltésének folyamatát.

A “Quickstart: Vektorkeresés az Azure Portalon” útmutatóval ellentétben, amely egyszerű szövegtartalmú képeket dolgoz fel, ez a rövid útmutató fejlett képfeldolgozást támogat többmodális RAG forgatókönyvekhez.

Ez a rövid útmutató egy többmodális PDF-fájlt használ az azure-search-sample-data adattárból. Azonban különböző fájlokat is használhat, és továbbra is elvégezheti ezt a gyorstalpalót.

Előfeltételek

Támogatott kinyerési módszerek

A tartalomkinyeréshez választhatja az alapértelmezett kinyerési lehetőségeket az Azure AI Search használatával, vagy az Azure AI-dokumentumintelligencia használatával bővített kinyeréseket. Az alábbi táblázat mindkét kinyerési módszert ismerteti.

Metódus Leírás
Alapértelmezett kinyerés Csak PDF-képekből nyeri ki a hely metaadatait. Nincs szükség másik Azure AI-erőforrásra.
Továbbfejlesztett extrakció Több dokumentumtípushoz kinyeri a hely metaadatait szövegből és képekből. Az Azure AI-szolgáltatások 1. többszolgáltatásos erőforrását igényli egy támogatott régióban.

1 Számlázási célokból az Azure AI többszolgáltatásos erőforrását az Azure AI Search szolgáltatásban lévő készségkészlethez kell csatolnia. Ha nem használ kulcs nélküli kapcsolatot a készségkészlet létrehozásához, mindkét erőforrásnak ugyanabban a régióban kell lennie.

Támogatott beágyazási módszerek

Tartalombeágyazáshoz választhat képi verbális (majd szövegvektorizálás) vagy multimodális beágyazások közül. A modellek üzembehelyezési utasításait egy későbbi szakaszban találja. Az alábbi táblázat mindkét beágyazási módszert ismerteti.

Metódus Leírás Támogatott modellek
Képek verbális leírása LlM-et használ a képek természetes nyelvű leírásának létrehozásához, majd beágyazási modell használatával vektorizálja az egyszerű szöveget és a verbális képeket.

Egy Azure OpenAI-erőforrás1-, 2-s vagy Azure AI Foundry-projektre van szükség.

A szövegvektorizáláshoz egy Azure AI-szolgáltatások 3. többszolgáltatásos erőforrását is használhatja egy támogatott régióban.
LLM-ek:
GPT-4o
GPT-4o-mini
phi-4 4

Modellek beágyazása:
text-embedding-ada-002
szöveg-beágyazás-3-kicsi
szöveg-beágyazás-3-nagy
Multimodális beágyazások Beágyazási modellt használ a szöveg és a képek közvetlen vektorizálásához.

Egy Azure AI Foundry-projektre vagy az Azure AI-szolgáltatások 3. többszolgáltatásos erőforrására van szükség egy támogatott régióban.
Cohere-embed-v3-english
Cohere-embed-v3-többnyelvű

1 Az Azure OpenAI-erőforrás végpontjának egyéni altartománysal kell rendelkeznie, például https://my-unique-name.openai.azure.com. Ha az erőforrást az Azure Portalon hozta létre, ez az altartomány automatikusan létre lett hozva az erőforrás beállítása során.

AzAzure AI Foundry portálon létrehozott 2 Azure OpenAI-erőforrás (a beágyazási modellekhez való hozzáféréssel) nem támogatott. Azure OpenAI-erőforrást kell létrehoznia az Azure Portalon.

3 Számlázási célokból az Azure AI többszolgáltatásos erőforrását az Azure AI Search szolgáltatásban lévő képességkészlethez kell csatolnia. Hacsak nem használ kulcs nélküli kapcsolatot (előzetes verzió) a képességkészlet létrehozásához, mindkét erőforrásnak ugyanabban a régióban kell lennie.

A 4phi-4 csak az Azure AI Foundry-projektek számára érhető el.

Nyilvános végpontra vonatkozó követelmények

Az előző erőforrásoknak nyilvános hozzáféréssel kell rendelkezniük ahhoz, hogy az Azure Portal csomópontjai elérhessék őket. Ellenkező esetben a varázsló meghiúsul. A varázsló futtatása után engedélyezheti a tűzfalakat és a privát végpontokat az integrációs összetevőkön a biztonság érdekében. További információ: Biztonságos kapcsolatok az importálási varázslókban.

Ha már vannak privát végpontok, és nem tudja letiltani őket, a másik lehetőség az, hogy a megfelelő végpontok közötti folyamatot egy szkriptből vagy programból futtatja egy virtuális gépen. A virtuális gépnek ugyanazon a virtuális hálózaton kell lennie, mint a privát végpontnak. Íme egy Python-kódminta az integrált vektorizáláshoz. Ugyanez a GitHub-adattár más programozási nyelveken is rendelkezik mintákkal.

Szabad terület ellenőrzése

Ha az ingyenes szolgáltatással kezd, három indexre, három adatforrásra, három képességkészletre és három indexelőre korlátozódik. Mielőtt hozzákezdene, ellenőrizze, hogy elegendő hellyel rendelkezik-e további elemek számára. Ez a rövid útmutató minden objektum egyikét hozza létre.

Hozzáférés konfigurálása

Mielőtt hozzákezdene, győződjön meg arról, hogy rendelkezik a tartalomhoz és a műveletekhez való hozzáféréshez szükséges engedélyekkel. Az engedélyezéshez a Microsoft Entra ID-hitelesítést és a szerepköralapú hozzáférést javasoljuk. Szerepkörök hozzárendeléséhez tulajdonosnak vagy felhasználói hozzáférés-rendszergazdának kell lennie. Ha a szerepkörök nem megvalósíthatók, használhat kulcsalapú hitelesítést .

Konfigurálja az ebben a szakaszban azonosított szükséges szerepköröket és feltételes szerepköröket .

Kötelező szerepkörök

Az Azure AI Search és az Azure Storage minden multimodális keresési forgatókönyvhöz szükséges.

Az Azure AI Search biztosítja a multimodális folyamatot. Konfigurálja a hozzáférést saját magának és a keresési szolgáltatásnak az adatok olvasásához, a folyamat futtatásához és más Azure-erőforrások kezeléséhez.

Az Azure AI Search szolgáltatásban:

  1. Szerepköralapú hozzáférés engedélyezése.

  2. Konfiguráljon egy rendszer által hozzárendelt felügyelt identitást.

  3. Rendelje hozzá a következő szerepköröket saját magához:

    • Keresési szolgáltatás közreműködője

    • Keresési index adatszolgáltatója

    • Keresési index adatolvasó

Feltételes szerepkörök

Az alábbi lapok a varázslóval kompatibilis összes erőforrást lefedik a multimodális kereséshez. Csak a választott kinyerési ésbeágyazási módszerre vonatkozó lapokat válassza ki.

Az Azure OpenAI LLM-eket biztosít a képek verbálisításához és a modellek beágyazásához szöveg- és képvektorizációhoz. A keresési szolgáltatásnak hozzáférésre van szüksége a GenAI Prompt és az Azure OpenAI beágyazási készség meghívásához.

Az Azure OpenAI-erőforráson:

Mintaadatok előkészítése

Ez a rövid útmutató egy minta multimodális PDF-fájlt használ, de saját fájlokat is használhat. Ha ingyenes keresési szolgáltatást használ, javasolt kevesebb mint 20 fájlt használni, hogy az ingyenes kvótán belül maradjon a tartalmi feldolgozáshoz.

A következő lépésekkel készítse elő a mintaadatokat ehhez a gyors kezdő útmutatóhoz:

  1. Jelentkezzen be az Azure Portalra , és válassza ki az Azure Storage-fiókját.

  2. A bal oldali panelen válassza az Adattároló>Tárolók lehetőséget.

  3. Hozzon létre egy tárolót, majd töltse fel a minta PDF-fájlt a tárolóba.

  4. Hozzon létre egy másik tárolót a PDF-fájlból kinyert képek tárolásához.

Modellek üzembe helyezése

A varázsló számos lehetőséget kínál a tartalombeágyazáshoz. A képek verbálissá alakításához egy LLM-nek kell leírnia a képeket és egy beágyazási modellt a szöveg- és képtartalmak vektorizálásához, míg a közvetlen többmodális beágyazások csak beágyazási modellt igényelnek. Ezek a modellek az Azure OpenAI-on és az Azure AI Foundryn keresztül érhetők el.

Megjegyzés:

Az Azure AI Vision használata esetén hagyja ki ezt a lépést. A multimodális beágyazások az Azure AI többszolgáltatásos erőforrásába vannak beépítve, és nem igényelnek modelltelepítést.

A modellek üzembe helyezése e gyors kezdő útmutatóban:

  1. Jelentkezzen be az Azure AI Foundry portálra.

  2. Válassza ki az Azure OpenAI-erőforrást vagy az Azure AI Foundry-projektet.

  3. A bal oldali panelen válassza a Modellkatalógus lehetőséget.

  4. Telepítse a választott beágyazási módszerhez szükséges modelleket.

A varázsló indítása

A varázsló indítása többmodális kereséshez:

  1. Jelentkezzen be az Azure Portalra , és válassza ki az Azure AI Search szolgáltatást.

  2. Az Áttekintés lapon válassza az Adatok importálása és vektorizálása lehetőséget.

    Képernyőkép az adatok importálására és vektorizálására szolgáló varázsló megnyitására szolgáló parancsról.

  3. Válassza ki az adatforrást: Azure Blob Storage vagy Azure Data Lake Storage Gen2.

    Képernyőkép az adatforrás kiválasztásának lehetőségeiről a varázslóban.

  4. Válassza a Multimodális RAG lehetőséget.

    Képernyőkép a multimodális RAG csempéről a varázslóban.

Csatlakozás az adatokhoz

Az Azure AI Search megköveteli a tartalombetöltés és az indexelés adatforráshoz való csatlakozását. Ebben az esetben az adatforrás az Azure Storage-fiók.

Az adatokhoz való csatlakozáshoz:

  1. A Csatlakozás az adatokhoz lapon adja meg az Azure-előfizetését.

  2. Válassza ki azt a tárfiókot és tárolót, amelyre feltöltötte a mintaadatokat.

  3. Jelölje be a Hitelesítés felügyelt identitással jelölőnégyzetet. Hagyja az identitástípust rendszer által hozzárendelt.

    Képernyőkép az adatkapcsolat beállítására szolgáló varázslólapról.

  4. Válassza a Tovább lehetőséget.

A tartalom kinyerés

A választott kinyerési módszertől függően a varázsló eszköz konfigurációs lehetőségeket biztosít a dokumentum feldolgozásához és a szegmentáláshoz.

Az alapértelmezett módszer meghívja a Dokumentumkinyerési képességet , hogy kinyerje a szöveges tartalmat, és normalizált képeket hozzon létre a dokumentumokból. A Szöveg felosztása képesség ezután a kinyert szöveges tartalom oldalakra való felosztására lesz meghívva.

A Dokumentumkinyerési képesség használata:

  1. A Tartalom kinyerése lapon válassza az Alapértelmezett lehetőséget.

    Képernyőkép a varázsló oldaláról, amelyen az alapértelmezett módszer van kiválasztva a tartalom kinyerésére.

  2. Válassza a Tovább lehetőséget.

Tartalom beágyazása

Ebben a lépésben a varázsló a választott beágyazási módszert használja a szöveg és a képek vektoros ábrázolásának létrehozásához.

A varázsló meghívja az egyik képességet a képek leíró szövegének létrehozására (képi verbálisítás), egy másik pedig vektoros beágyazások létrehozására mind a szöveghez, mind a képekhez.

A rendszerképek verbális megjelenítéséhez a GenAI Prompt-készség az üzembe helyezett LLM használatával elemzi az egyes kinyert képeket, és természetes nyelvű leírást készít.

Beágyazások esetén az Azure OpenAI beágyazási készsége, az AML-képesség vagy az Azure AI Vision multimodális beágyazási képessége az üzembe helyezett beágyazási modell használatával konvertálja a szöveges adattömböket és a verbális leírásokat nagy dimenziójú vektorokká. Ezek a vektorok lehetővé teszik a hasonlóság alapú és a hibrid alapú lekérdezést.

A képi beszédkészség használata:

  1. A Tartalombeágyazási lapon válassza a Kép verbális megjelenítése lehetőséget.

    Képernyőkép a Kép verbálisítás csempéről a varázslóban.

  2. A Kép verbális megjelenítése lapon:

    1. Ehhez válassza ki az LLM-szolgáltatót: Azure OpenAI - vagy AI Foundry Hub-katalógusmodelleket.

    2. Adja meg azure-előfizetését, erőforrását és LLM-üzembe helyezését.

    3. A hitelesítési típushoz válassza a rendszer által hozzárendelt identitást.

    4. Jelölje be az erőforrások használatának számlázási hatásait nyugtázó jelölőnégyzetet.

      Képernyőkép a képek verbálisítására szolgáló varázslólapról.

  3. A Szövegvektorizáció lapon:

    1. Ehhez válassza ki a modellszolgáltatót: Azure OpenAI, AI Foundry Hub-katalógusmodellek vagy AI Vision-vektorizálás.

    2. Adja meg az Azure-előfizetést, az erőforrást és a beágyazási modell üzembe helyezését.

    3. A hitelesítési típushoz válassza a rendszer által hozzárendelt identitást.

    4. Jelölje be az erőforrások használatának számlázási hatásait nyugtázó jelölőnégyzetet.

      Képernyőkép a szöveg és képek vektorizálására szolgáló varázslólapról.

  4. Válassza a Tovább lehetőséget.

A kinyert képek tárolása

A következő lépés a dokumentumokból kinyert képek elküldése az Azure Storage-ba. Az Azure AI Searchben ezt a másodlagos tárolót tudástárnak nevezzük.

A kinyert képek tárolása:

  1. A Kép kimeneti oldalán adja meg az Azure-előfizetését.

  2. Válassza ki a lemezképek tárolásához létrehozott tárfiókot és blobtárolót.

  3. Jelölje be a Hitelesítés felügyelt identitással jelölőnégyzetet. Hagyja az identitástípust rendszer által hozzárendelt.

    Képernyőkép a kinyerő képek tárolására szolgáló varázslólapról.

  4. Válassza a Tovább lehetőséget.

Új mezők leképezése

A Speciális beállítások lapon igény szerint mezőket adhat hozzá az indexsémához. A varázsló alapértelmezés szerint az alábbi táblázatban leírt mezőket hozza létre.

Mező A következőre érvényes: Leírás Tulajdonságok
tartalom_azonosító Szöveg- és képvektorok Sztringmező. Az index dokumentumkulcsa. Lekérdezhető, rendezhető és kereshető.
dokumentum_címe Szöveg- és képvektorok Sztringmező. Ember által olvasható dokumentum címe. Lekérdezhető és kereshető.
szöveges_dokumentum_azonosító Szövegvektorok Sztringmező. Azonosítja azt a szülődokumentumot, amelyből a szöveges adattömb származik. Lekérhető és szűrhető.
képdokumentum_azonosító Képvektorok Sztringmező. Azonosítja azt a szülődokumentumot, amelyből a kép származik. Lekérhető és szűrhető.
tartalom_szöveg Szövegvektorok Sztringmező. A szöveges adattömb emberi olvasásra alkalmas verziója. Lekérdezhető és kereshető.
tartalom_beágyazás Szöveg- és képvektorok Gyűjtemény(Edm.Single). Szöveg és képek vektoros ábrázolása. Lekérdezhető és kereshető.
content_path Szöveg- és képvektorok Sztringmező. A tároló tartalmának elérési útja. Lekérdezhető és kereshető.
Helyszín metaadat Képvektorok Edm.ComplexType. Metaadatokat tartalmaz a kép helyéről a dokumentumokban. Mezőnként változó.

Nem módosíthatja a létrehozott mezőket vagy azok attribútumait, de hozzáadhat mezőket, ha az adatforrás biztosítja őket. Az Azure Blob Storage például metaadatmezők gyűjteményét biztosítja.

Mezők hozzáadása az indexsémához:

  1. Az Indexmezők területen válassza az Előnézet és a Szerkesztés lehetőséget.

  2. Válassza a Mező hozzáadása lehetőséget.

  3. Válasszon ki egy forrásmezőt az elérhető mezők közül, adja meg az index mezőnevét, és fogadja el (vagy bírálja felül) az alapértelmezett adattípust.

  4. Ha vissza szeretné állítani a sémát az eredeti verzióra, válassza az Alaphelyzetbe állítás lehetőséget.

Indexelés ütemezése

Az olyan adatforrások esetében, ahol a mögöttes adatok változékonyak, ütemezheti az indexelést , hogy meghatározott időközönként vagy adott dátumokban és időpontokban rögzítse a változásokat.

Indexelés ütemezése:

  1. A Speciális beállítások lapon, az Indexelés ütemezése csoportban adja meg az indexelő futási ütemezését. Ebben a rövid útmutatóban a Once parancsot javasoljuk.

    Képernyőkép az indexelés ütemezésére szolgáló varázslólapról.

  2. Válassza a Tovább lehetőséget.

A varázsló befejezése

Az utolsó lépés a konfiguráció áttekintése és a multimodális kereséshez szükséges objektumok létrehozása. Ha szükséges, térjen vissza a varázsló előző lapjaira a konfiguráció módosításához.

A varázsló befejezéséhez:

  1. A Véleményezés és létrehozás lapon adja meg a varázsló által létrehozott objektumok előtagját. Egy gyakori előtag segít a rendszerezésben.

    Képernyőkép a konfiguráció áttekintésére és befejezésére szolgáló varázslólapról.

  2. Válassza a Létrehozás lehetőséget.

Amikor a varázsló befejezi a konfigurációt, a következő objektumokat hozza létre:

Jótanács

A varázsló által létrehozott objektumok konfigurálható JSON-definíciókkal rendelkeznek. A definíciók megtekintéséhez vagy módosításához válassza a Kereséskezelés lehetőséget a bal oldali panelen, ahol megtekintheti az indexeket, az indexelőket, az adatforrásokat és a készségkészleteket.

Eredmények ellenőrzése

Ez a rövid útmutató egy multimodális indexet hoz létre, amely támogatja a hibrid keresést mind a szövegek, mind a képek között. Ha nem használ közvetlen többmodális beágyazást, az index nem fogadja el a képeket lekérdezési bemenetként, amihez az AML-képesség vagy az Azure AI Vision multimodális beágyazási képessége szükséges egy egyenértékű vektorizálóval. További információ: Vektorizáló konfigurálása keresési indexben.

A hibrid keresés egyesíti a teljes szöveges lekérdezéseket és a vektoros lekérdezéseket. Hibrid lekérdezés kiadásakor a keresőmotor kiszámítja a lekérdezés és az indexelt vektorok szemantikai hasonlóságát, és ennek megfelelően rangsorolja az eredményeket. Az ebben a rövid útmutatóban létrehozott index esetében az eredmények a content_text mező azon tartalmát mutatják meg, amely szorosan kapcsolódik a lekérdezéshez.

A multimodális index lekérdezése:

  1. Jelentkezzen be az Azure Portalra , és válassza ki az Azure AI Search szolgáltatást.

  2. A bal oldali panelen válassza a Kereséskezelési>indexek lehetőséget.

  3. Jelölje ki az indexet.

  4. Válassza a Lekérdezési beállítások lehetőséget, majd válassza a Vektorértékek elrejtése a keresési eredmények között lehetőséget. Ez a lépés olvashatóbbá teszi az eredményeket.

    Képernyőkép a Lekérdezés beállításai menüről a Kereséskezelőben.

  5. Írja be a keresett szöveget. A példánkban a energy kifejezést használjuk.

  6. A lekérdezés futtatásához válassza a Keresés lehetőséget.

    Képernyőkép a Kereséskezelő Keresés gombjáról.

    A JSON-eredményeknek tartalmazniuk kell az indexhez energy kapcsolódó szöveg- és képtartalmat. Ha engedélyezte a szemantikai rangsorolót, a @search.answers tömb tömör, nagy megbízhatóságú szemantikai válaszokat biztosít a releváns egyezések gyors azonosításához.

    "@search.answers": [
       {
          "key": "a71518188062_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_normalized_images_7",
          "text": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like energy distribution, resource allocation, and environmental monitoring. **Accelerate the development of sustainability solution...",
          "highlights": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like<em> energy distribution, </em>resource<em> allocation, </em>and environmental monitoring. **Accelerate the development of sustainability solution...",
          "score": 0.9950000047683716
       },
       {
          "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_5",
          "text": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim  10.5 gigawatts (GW) of renewable energy to the grid.910.5 GWof new renewable energy capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
          "highlights": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim <em> 10.5 gigawatts (GW) of renewable energy </em>to the<em> grid.910.5 </em>GWof new<em> renewable energy </em>capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
          "score": 0.9890000224113464
       },
       {
          "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_50",
          "text": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community Solar MicrogridsDeveloping energy transition programsWe are co-innovating with communities to develop energy transition programs that align their goals with broader s.",
          "highlights": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community<em> Solar MicrogridsDeveloping energy transition programsWe </em>are co-innovating with communities to develop<em> energy transition programs </em>that align their goals with broader s.",
           "score": 0.9869999885559082
       }
    ]
    

Erőforrások tisztítása

Ez a gyorsútmutató számlázható Azure-erőforrásokat használ. Ha már nincs szüksége az erőforrásokra, törölje őket az előfizetéséből a díjak elkerülése érdekében.

Következő lépések

Ez a rövid útmutató bemutatta az Adatok importálása és vektorizálása varázslót, amely létrehozza a multimodális kereséshez szükséges összes objektumot. Az egyes lépések részletes megismeréséhez tekintse meg az alábbi oktatóanyagokat: