Képbesorolás az Azure-on

Az Azure-szolgáltatások, például a Computer Vision API és az Azure Functions használatával a vállalatok szükségtelenné tehetik az egyes kiszolgálók kezelését, ugyanakkor csökkenthetik a költségeket, és kihasználhatják azt a szakértelmet, amelyet a Microsoft már kifejlesztett a rendszerképek Azure AI-szolgáltatásokkal történő feldolgozásával. Ez a megoldási ötlet kifejezetten egy képfeldolgozási használati esettel foglalkozik. Ha különböző AI-igényei vannak, fontolja meg az Azure AI-szolgáltatások teljes csomagját.

Architektúra

Töltse le a megoldási ötlet Visio-fájlját.

Adatfolyam

Ez a forgatókönyv egy web- vagy mobilalkalmazás háttérösszetevőit ismerteti. Az adatok az alábbiak szerint haladnak végig a forgatókönyvön:

1. Ha új fájlokat (képfeltöltéseket) ad hozzá a Blob Storage-ban, eseményt aktivál az Azure Event Gridben. A feltöltési folyamat vezénylhető a weben vagy egy mobilalkalmazásban. A képeket külön is feltöltheti az Azure Blob Storage-ba.
2. Az Event Grid értesítést küld, amely aktiválja az Azure-függvényeket.
3. Az Azure Functions meghívja az Azure AI Vision API-t az újonnan feltöltött rendszerkép elemzéséhez. Az Azure AI Vision az Azure Functions által elemezett blob URL-címén keresztül éri el a képet.
4. Az Azure Functions megőrzi az AI Vision API-választ az Azure Cosmos DB-ben. Ez a válasz az elemzés eredményeit és a kép metaadatait is tartalmazza.
5. Az eredmények a weben vagy a mobil előtéren is felhasználhatók és tükrözhetők. Vegye figyelembe, hogy ez a módszer lekéri a besorolás eredményeit, a feltöltött rendszerképet azonban nem.

Összetevők

• Az Azure AI Vision az Azure AI-szolgáltatási csomag része, és az egyes rendszerképek adatainak lekérésére szolgál.
• Az Azure Functions biztosítja a webalkalmazás háttér API-ját. Ez a platform eseményfeldolgozást is biztosít a feltöltött képekhez.
• Az Azure Event Grid eseményt aktivál, amikor új rendszerképet tölt fel a Blob Storage-ba. A rendszerkép ezután az Azure Functionsben lesz feldolgozva.
• Az Azure Blob Storage tárolja a webalkalmazásba feltöltött összes képfájlt, valamint a webalkalmazás által felhasznált statikus fájlokat.
• Az Azure Cosmos DB minden feltöltött kép metaadatait tárolja, beleértve a Computer Vision API-ból történő feldolgozás eredményeit is.

Alternatívák

• Azure OpenAI GPT-4 Turbo a Vision használatával (előzetes verzió). A GPT-4 Turbo with Vision egy multimodális modell, amely képes képek elemzésére és a velük kapcsolatos kérdések megválaszolára.
• Custom Vision Service. A Computer Vision API rendszertani alapú kategóriákat ad vissza. Ha olyan adatokat kell feldolgoznia, amelyeket nem a Computer Vision API ad vissza, fontolja meg a Custom Vision Service használatát, amely lehetővé teszi egyéni képosztályozók készítését.
• Azure AI Search (korábbi nevén Azure Search). Ha a használati eset magában foglalja a metaadatok lekérdezését, hogy meghatározott feltételeknek megfelelő képeket találjon, fontolja meg az Azure AI Search használatát. Az Azure AI Search zökkenőmentesen integrálja ezt a munkafolyamatot.
• Logikai alkalmazások. Ha nem kell valós időben reagálnia a blobhoz hozzáadott fájlokra, megfontolhatja a Logic Apps használatát. Egy logikai alkalmazás, amely ellenőrizheti, hogy a fájl hozzáadása megtörtént-e, az ismétlődési eseményindító vagy a tolóablakos eseményindító indíthatja el.
• Ha képek vannak beágyazva a dokumentumokba, az Azure AI Document Intelligence használatával keresse meg ezeket a képeket. Ezzel az információval további számítógépes látási feladatokat nyerhet ki és hajthat végre a beágyazott képeken. A Dokumentumintelligencia használatával adatokat gyűjthet a beágyazott képekről, például az oldalszámról vagy a felirat szövegéről, amelyek tárolhatók a Képek egyéb metaadataival együtt, amelyeket a Computer Vision API-val kapott.

Forgatókönyv részletei

Ez a forgatókönyv olyan vállalkozások számára releváns, amelyeknek lemezképeket kell feldolgozniuk.

A lehetséges alkalmazások közé tartozik a képek osztályozása egy divatweboldalhoz, szöveg és képek elemzése biztosítási jogcímekhez, vagy a játék képernyőképeiből származó telemetriai adatok megértése. A vállalatoknak hagyományosan szakértelmet kell fejleszteniük a gépi tanulási modellekben, be kell tanítaniuk a modelleket, és végre le kell futtatniuk a képeket az egyéni folyamatukon keresztül, hogy az adatokat ki tudják venni a képekből.

Lehetséges használati esetek

Ez a megoldás ideális a kiskereskedelem, a játék, a pénzügy és a biztosítási ágazat számára. Egyéb releváns használati esetek a következők:

• Képek osztályozása egy divatweboldalon. A képbesorolást az eladók használhatják, miközben képeket töltenek fel a platformon az eladásra szánt termékekről. Ezután automatizálhatják az ebből eredő manuális címkézést. Az ügyfelek a termékek vizuális benyomásán keresztül is kereshetnek.

• Telemetriai adatok osztályozása a játékok képernyőképeiből. A videójátékok képernyőképekből való besorolása a közösségi médiában releváns problémává alakul, a számítógépes látással együtt. Ha például a Twitch-streamelők egymás után különböző játékokat játszanak, előfordulhat, hogy kihagyják a streamadatok manuális frissítését. A streamadatok frissítésének elmulasztása a streamek helytelen besorolását eredményezheti a felhasználói keresésekben, és a tartalomkészítők és a streamplatformok potenciális megtekintési jogosultságának elvesztéséhez vezethet. Az új játékok bevezetésekor hasznos lehet egy egyéni modellútvonal, amely képes észlelni az új képeket ezekből a játékokból.

• Rendszerképek besorolása biztosítási jogcímekhez. A képbesorolás segíthet csökkenteni a jogcímek feldolgozásának és jegyzésének idejét és költségeit. Segíthet elemezni a természeti katasztrófák okozta károkat, a járművek sérülését, és azonosítani a lakó- és kereskedelmi tulajdonságokat.

Következő lépések

Termékdokumentáció

• Mi az Az Azure AI Vision?
• AI-bővítés az Azure AI Searchben
• Az Azure Functions bemutatása
• Mi az Az Azure Event Grid?
• Az Azure Blob Storage bemutatása
• Bevezetés az Azure Cosmos DB-e

Az irányított képzési tervről a következő témakörben olvashat:

• Kiszolgáló nélküli webalkalmazás létrehozása az Azure-ban
• Képek osztályozása az Azure AI Custom Vision használatával
• Objektumok felismerése képeken a Custom Vision szolgáltatással mesterséges intelligenciával
• Veszélyeztetett madárfajok osztályozása a Custom Vision használatával
• Képek osztályozása az Azure AI Custom Vision-szolgáltatásokkal
• Objektumok észlelése képeken az Azure AI Custom Vision használatával

Kapcsolódó erőforrások

AI-bővítés használata kép- és szövegfeldolgozással