Az Azure OpenAI az adatokon a GPT-4 Turbo és a Vision (előzetes verzió) használatával az Azure OpenAI studióban

Ebből a cikkből megtudhatja, hogyan biztosíthat saját képadatokat a GPT-4 Turbo-hoz az Azure OpenAI vision-modelljével, a Vision-lel. A GPT-4 Turbo és a Vision az adatokon lehetővé teszi a modell számára, hogy testre szabottabb és célzottabb válaszokat hozzon létre a kibővített lekérdezési generációval a saját képei és a kép metaadatai alapján.

Fontos

Ha a GPT4-Turbo vision preview modell elavult, többé nem fogja tudni használni az Azure OpenAI-t a képadatokon. Ha képadatokkal szeretne implementálni egy lekéréses kiterjesztett generációs (RAG) megoldást, tekintse meg az alábbi mintát a GitHubon.

Előfeltételek

• Azure-előfizetés – Hozzon létre egyet ingyenesen.

• A hozzáférést az Azure OpenAI a kívánt Azure-előfizetésen belül kapja meg.

  Ezen szolgáltatáshoz jelenleg csak alkalmazás útján kapható hozzáférés. Az Azure OpenAI-hoz való hozzáférésre a következő https://aka.ms/oai/accessűrlap kitöltésével jelentkezhet: . Ha probléma merül fel, nyisson meg egy hibát az adattárban, és lépjen velünk kapcsolatba.

• Azure OpenAI-erőforrás a GPT-4 Turbo és a Vision modell üzembe helyezésével. A modellek üzembe helyezéséről a modellek üzembe helyezésének ismertetőjében talál további információt.

• Győződjön meg arról, hogy legalább a Cognitive Services közreműködői szerepköre van hozzárendelve az Azure OpenAI-erőforráshoz.

Adatforrás hozzáadása

Lépjen az Azure OpenAI Studióba, és jelentkezzen be olyan hitelesítő adatokkal, amelyek hozzáférnek az Azure OpenAI-erőforráshoz. A bejelentkezési munkafolyamat során vagy után válassza ki a megfelelő könyvtárat, Azure-előfizetést és Azure OpenAI-erőforrást.

Az Asszisztens beállítási csempéjén válassza az Adatok hozzáadása (előzetes verzió)>+ Adatforrás hozzáadása lehetőséget.

Az Adatforrás hozzáadása lehetőség kiválasztása után megjelenő panelen több lehetőség is megjelenik az adatforrás kiválasztásához.

A GPT-4 Turbo adatainak hozzáadásához három különböző lehetőség közül választhat a Vision adatforrásával:

• Saját képfájlok és kép metaadatainak használata
• Az Azure AI Search használata
• Az Azure Blob Storage használata

Mindhárom lehetőség az Azure AI Search index használatával végez képről képre keresést, és lekéri a bemeneti parancssori rendszerkép leggyakoribb keresési eredményeit. Az Azure Blob Storage és a Fájlok feltöltése beállításhoz az Azure OpenAI létrehoz egy képkeresési indexet. Az Azure AI Search esetében képkeresési indexet kell használnia. A következő szakaszok a keresési index létrehozásának részleteit tartalmazzák.

Amikor először használja ezeket a beállításokat, ez a piros értesítés arra kéri, hogy kapcsolja be a forrásközi erőforrás-megosztást (CORS). Ez az értesítés arra kéri, hogy engedélyezze a CORS-t, hogy az Azure OpenAI hozzáférhessen a Blob Storage-fiókjához. A figyelmeztetés javításához válassza a CORS bekapcsolása lehetőséget.

Adatok hozzáadása fájlok feltöltésével

Manuálisan feltöltheti a képfájlokat, és manuálisan is megadhatja azok metaadatait az Azure OpenAI használatával. Ez különösen akkor hasznos, ha egy kis képkészlettel kísérletezik, és szeretné létrehozni az adatforrást.

1. Lépjen az Adatforrás kiválasztása gombra az Azure OpenAI-ban a fent leírtak szerint. Válassza a Fájlok feltöltése lehetőséget.

2. Válassza ki előfizetését. Válassza ki azt az Azure Blob Storage-t, amelyhez a feltöltött képfájlokat a rendszer tárolja. Válasszon ki egy Azure AI Search-erőforrást, amelyben létrejön az új képkeresési index. Adja meg a kívánt képkeresési index nevét.

   Miután kitöltötte az összes mezőt, jelölje be a két jelölőnégyzetet alul, elismerve a felmerülő használatot, és válassza a Tovább gombot.

   

   A rendszerképfájlok esetében a következő fájltípusok támogatottak:

   • .jpg
   • .png
   • .gif
   • .bmp
   • .tiff

3. Válassza a Tallózás a fájl keresése lehetőséget a helyi címtárban használni kívánt képfájlok kiválasztásához.

4. Miután kiválasztotta a képfájlokat, a jobb oldali táblázatban láthatja a kijelölt képfájlokat. Válassza a Fájlok feltöltése lehetőséget. Miután feltöltötte a fájlokat, látni fogja, hogy az egyes fájlok állapota feltöltésre kerül. Válassza a Tovább lehetőséget.

   

5. Minden képfájlhoz írja be a metaadatokat a megadott leírásmezőkbe. Miután megadta az egyes képek leírását, válassza a Tovább gombot.

   

6. Ellenőrizze, hogy minden információ helyes-e. Válassza a Mentés és bezárás lehetőséget.

Adatok hozzáadása az Azure AI Search használatával

Ha már rendelkezik Azure AI-keresési indextel, adatforrásként is használhatja. Ha még nem hozott létre keresési indexet a képekhez, létrehozhat egyet a GitHub AI Search vektoros keresési adattárával, amely szkriptekkel hozza létre az indexet a képfájlokkal. Ez a lehetőség akkor is nagyszerű, ha saját fájljaival szeretné létrehozni az adatforrást, mint a fenti lehetőség, majd térjen vissza a játszótéri felületre, és válassza ki azt az adatforrást, amelyet már létrehozott, de még nem adta hozzá.

1. Lépjen az Adatforrás kiválasztása gombra az Azure OpenAI-ban a fent leírtak szerint. Válassza az Azure AI Search lehetőséget.

   Tipp.

   Kiválaszthatja az Azure Blob Storage vagy a Fájlok feltöltése beállítással létrehozott képkeresési indexet.

2. Válassza ki az előfizetését, és az Azure AI-Search szolgáltatás, amelyet a képkeresési index létrehozásához használt.

3. Válassza ki a rendszerképekkel létrehozott Azure AI Search-indexet.

4. Miután kitöltötte az összes mezőt, jelölje be az alsó két jelölőnégyzetet, és kérje meg, hogy nyugtázza a GPT-4 Turbo és a Vision vektoros beágyazások és az Azure AI Search használatával járó díjakat. Válassza a Tovább lehetőséget. Ha a CORS még nincs bekapcsolva az AI Search-erőforráshoz, figyelmeztetés jelenik meg. A figyelmeztetés javításához válassza a CORS bekapcsolása lehetőséget.

   

5. Tekintse át a részleteket, majd válassza a Mentés és bezárás lehetőséget.

Adatok hozzáadása az Azure Blob Storage használatával

Ha rendelkezik egy meglévő Azure Blob Storage-tárolóval , létrehozhat egy képkeresési indexet. Ha új blobtárolót szeretne létrehozni, tekintse meg az Azure Blob Storage rövid útmutatóját .

A blobtárolónak képfájlokat és egy JSON-fájlt kell tartalmaznia a képfájl elérési útjaival és metaadataival. Ez a lehetőség különösen akkor hasznos, ha nagy számú képfájllal rendelkezik, és nem szeretné manuálisan feltölteni azokat.

Ha még nem töltött fel blobtárolót ezekkel a fájlokkal, és egyenként szeretne fájlokat feltölteni, akkor a fájlokat az Azure OpenAI Studio használatával töltheti fel.

Mielőtt adatforrásként hozzáadná az Azure Blob Storage-tárolót, győződjön meg arról, hogy a blobtároló tartalmazza az összes betöltendő lemezképet, valamint egy JSON-fájlt, amely tartalmazza a képfájl elérési útját és metaadatait.

Fontos

A metaadat JSON-fájlnak a következőnek kell lennie:

• Olyan fájlnévvel rendelkezik, amely a "metaadatok" szóval kezdődik, mind kisbetűvel, szóköz nélkül.
• Legfeljebb 10 000 képfájllal rendelkezik. Ha ennél több fájl található a tárolóban, több JSON-fájl is lehet, amelyek mindegyike legfeljebb ilyen maximális.

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Miután feltöltött egy blobtárolót képfájlokkal és legalább egy metaadat JSON-fájllal, készen áll arra, hogy adatforrásként adja hozzá a blobtárolót.

1. Lépjen az Adatforrás kiválasztása gombra az Azure OpenAI-ban a fent leírtak szerint. Válassza az Azure Blob Storage lehetőséget.

2. Válassza ki az előfizetését, az Azure Blob Storage-t és a tárolót. Emellett ki kell választania egy Azure AI Search-erőforrást is, mivel ebben az erőforráscsoportban létrejön egy új képkeresési index. Ha nem rendelkezik Azure AI Search-erőforrással, létrehozhat egy újat a legördülő lista alatti hivatkozással. Ha a CORS még nincs bekapcsolva az Azure Blob Storage-erőforráshoz, figyelmeztetés jelenik meg. A figyelmeztetés javításához válassza a CORS bekapcsolása lehetőséget.

3. Miután kiválasztott egy Azure AI-keresési erőforrást, adja meg a keresési index nevét az Index név mezőjében.

   Feljegyzés

   Az index neve utótaggal –vlesz ellátva, ami azt jelzi, hogy ez egy olyan index, amely a megadott képekből kinyert képvektorokkal rendelkezik. A metadata.json megadott leírás szöveges metaadatokként lesz hozzáadva az indexben.

4. Miután kitöltötte az összes mezőt, jelölje be az alsó két jelölőnégyzetet, és kérje meg, hogy nyugtázza a GPT-4 Turbo és a Vision vektoros beágyazások és az Azure AI Search használatával járó díjakat. Válassza a Tovább lehetőséget.

   

5. Tekintse át a részleteket, majd válassza a Mentés és bezárás lehetőséget.

A betöltött adatok használata a GPT-4 Turbo és a Vision modell használatával

Miután csatlakoztatta az adatforrást a fent felsorolt három módszer bármelyikével, az adatbetöltési folyamat befejeződése eltarthat egy ideig. A folyamat előrehaladtával megjelenik egy ikon és egy betöltési folyamatban lévő üzenet. A betöltés befejezése után látni fogja, hogy létrejött egy adatforrás.

Miután az adatforrás betöltése befejeződött, látni fogja az adatforrás adatait és a képkeresési index nevét. Most ezek a betöltött adatok készen állnak az üzembe helyezett GPT-4 Turbo és Vision modell alapadataiként való használatra. A modell a képkeresési indexből származó leggyakoribb lekérési adatokat fogja használni, és egy kifejezetten a betöltött adatoknak megfelelő választ hoz létre.

A CORS bekapcsolása

Ha a CORS még nincs bekapcsolva az adatforráshoz, az alábbi üzenet jelenik meg.

Ha ezt az üzenetet látja, válassza a CORS bekapcsolása az adatforrás csatlakoztatásakor.

További Tippek

Adatforrások hozzáadása és eltávolítása

Az Azure OpenAI jelenleg csak egy adatforrás használatát teszi lehetővé egy csevegési munkamenetben. Ha új adatforrást szeretne hozzáadni, először el kell távolítania a meglévő adatforrást. Ezt úgy teheti meg, hogy az adatforrás adatai között az Adatforrás eltávolítása lehetőséget választja.

Amikor eltávolít egy adatforrást, egy figyelmeztető üzenet jelenik meg. Az adatforrás eltávolítása törli a csevegési munkamenetet, és alaphelyzetbe állítja az összes játszótéri beállítást.

Fontos

Ha olyan modelltelepítésre vált, amely nem a GPT-4 Turbo és a Vision modellt használja, az adatforrás eltávolítására figyelmeztető üzenet jelenik meg. Vegye figyelembe, hogy az adatforrás eltávolítása törli a csevegési munkamenetet, és alaphelyzetbe állítja az összes játszótéri beállítást.

Következő lépések

• Az Azure OpenAI szöveges modellekkel is cseveghet. További információ: A szöveges adatok használata.
• Vagy használja a GPT-4 Turbo-t a Vision használatával egy csevegési forgatókönyvben a rövid útmutató követésével.
• GPT-4 Turbo és Vision – gyakori kérdések
• GPT-4 Turbo És Vision API-referencia