AI-bővítés használata kép- és szövegfeldolgozással

Ez a cikk bemutatja, hogyan használhat képfeldolgozást, természetes nyelvi feldolgozást és egyéni képességeket a tartományspecifikus adatok rögzítéséhez. Ezekkel az adatokkal szöveg- és képdokumentumokat bővíthet. Az Azure AI Search használata AI-bővítéssel a releváns tartalmak nagy méretekben való azonosításához és feltárásához. Ez a megoldás mesterséges intelligenciával bővíti a jelentést az eredeti összetett, strukturálatlan JFK Assassination Records (JFK Files) adatkészletből.

Architektúra

Töltse le az architektúra Visio-fájlját.

Adatfolyam

Az alábbi adatfolyam az előző diagramnak felel meg. Az adatfolyam azt ismerteti, hogy a strukturálatlan JFK Files-adathalmaz hogyan halad át az AI Search képességi folyamatán strukturált és indexelhető adatok előállításához.

1. Az Azure Blob Storage strukturálatlan adatai, például dokumentumok és képek, bekerülnek az AI Searchbe.

2. Az indexelési folyamat elindításához a dokumentummegtörő lépés kinyeri a képeket és a szöveget az adatokból, majd gazdagítja a tartalmat. A folyamat bővítési lépései a kiválasztott adatoktól és készségek típusától függenek.

3. Az Azure AI Vision és az Azure AI Nyelvi API-kon alapuló beépített készségek olyan AI-bővítéseket biztosítanak, mint a kép optikai karakterfelismerése (OCR), a képelemzés, a szövegfordítás, az entitásfelismerés és a teljes szöveges keresés.

4. Az egyéni készségek olyan forgatókönyveket támogatnak, amelyek összetettebb AI-modelleket vagy szolgáltatásokat igényelnek. Ilyenek például az Azure AI-dokumentumintelligencia, az Azure Machine Learning-modellek és az Azure Functions.

5. A bővítési folyamat befejezése után az indexelő a bővített és indexelt dokumentumokat egy keresési indexbe menti. A teljes szöveges keresés és más lekérdezési űrlapok használhatják ezt az indexet.

6. A bővített dokumentumok egy tudástárba is bevethetők, amelyet az olyan alsóbb rétegbeli alkalmazások, mint a tudásbányászati alkalmazások vagy az adatelemzési alkalmazások használhatnak.

7. A lekérdezések hozzáférnek a keresési indexben lévő bővített tartalomhoz. Az index támogatja az egyéni elemzőket, a homályos keresési lekérdezéseket, a szűrőket és a pontozási profilt a keresési relevancia finomhangolásához.

8. A Blob Storage-hoz vagy az Azure Table Storage-hoz csatlakozó alkalmazások hozzáférhetnek a tudástárhoz.

Összetevők

Ez a megoldás a következő Azure-összetevőket használja.

AI-keresés

Az AI Search indexeli a tartalmat, és a felhasználói élményt űzi ebben a megoldásban. Az AI Search használatával előre összeállított AI-készségeket alkalmazhat a tartalmakra. A bővíthetőségi mechanizmus segítségével egyéni képességeket adhat hozzá, amelyek konkrét bővítési átalakításokat biztosítanak.

Azure AI Képfelismerés

A Vision szövegfelismerést használ a képek szöveges információinak kinyerésére és felismerésére. A Read API a legújabb OCR-felismerési modelleket használja, és nagy méretű, szövegigényes dokumentumokhoz és zajos képekhez van optimalizálva.

Az örökölt OCR API nem nagy dokumentumokhoz van optimalizálva, de több nyelvet támogat. Az OCR-eredmények pontossága a vizsgálat és a kép minőségétől függően változhat. Ez a megoldás OCR használatával készít adatokat hOCR formátumban.

Nyelv

A language olyan szövegelemzési képességeket használ, mint a nevesített entitások felismerése és a kulcskifejezések kinyerése a strukturálatlan dokumentumokból származó szöveges információk kinyeréséhez.

Azure Storage

A Blob Storage REST-alapú objektumtároló olyan adatokhoz, amelyek a világ bármely pontjáról elérhetők HTTPS-kapcsolaton keresztül. A Blob Storage használatával nyilvánosan elérhetővé teheti az adatokat a világ számára, vagy privát módon tárolhatja az alkalmazásadatokat. A Blob Storage ideális nagy mennyiségű strukturálatlan adathoz, például szöveghez vagy ábrához.

A Table Storage magas rendelkezésre állású, méretezhető, strukturált és félig strukturált NoSQL-adatokat tárol a felhőben.

Azure Functions

A Functions egy kiszolgáló nélküli számítási szolgáltatás, amellyel kis eseményvezérelt kódrészleteket futtathat anélkül, hogy explicit módon ki kellene építenie vagy kezelnie kellene az infrastruktúrát. Ez a megoldás függvénymetódussal alkalmazza a Központi Hírszerző Ügynökség (CIA) kriptonimok listáját a JFK-fájlokra egyéni képességként.

Azure App Service

Ez a megoldás egy különálló webalkalmazást hoz létre a Azure-alkalmazás Service szolgáltatásban az index teszteléséhez, bemutatásához és kereséséhez, valamint a bővített és indexelt dokumentumok kapcsolatainak feltárásához.

Forgatókönyv részletei

A nagyméretű, strukturálatlan adathalmazok tartalmazhatnak írott és kézzel írt jegyzeteket, fényképeket, diagramokat és egyéb strukturálatlan adatokat, amelyeket a standard keresési megoldások nem elemezhetnek. A JFK-fájlok több mint 34 000 oldalnyi dokumentumot tartalmaznak az 1963-as JFK-gyilkosság CIA-nyomozásáról.

Az AI-keresésben AI-bővítéssel kinyerheti és továbbfejlesztheti a képekből, blobokból és más strukturálatlan adatforrásokból, például a JFK-fájlokból származó kereshető, indexelhető szöveget. Az AI-bővítés előre betanított gépi tanulási képességkészleteket használ az Azure AI services Vision és Language API-kból. Egyéni képességeket is létrehozhat és csatolhat, hogy speciális feldolgozást adjon hozzá a tartományspecifikus adatokhoz, például a CIA-titkosításhoz. Az AI Search ezután indexelheti és kereshet ebben a környezetben.

A megoldás AI-keresési készségei a következő csoportokba sorolhatók:

• Képfeldolgozás: Ez a megoldás beépített szövegkinyerési és képelemzési képességeket használ, beleértve az objektum- és arcfelismerést, a címke- és feliratkészítést, valamint a hírességek és a tájékozódási pontok azonosítását. Ezek a képességek a képtartalmak szöveges ábrázolását hozzák létre, amelyeket az AI Search lekérdezési képességeivel kereshet. A dokumentumrepedés a szöveges tartalom nem szöveges forrásokból való kinyerésének vagy létrehozásának folyamata.

• Természetes nyelvfeldolgozás: Ez a megoldás olyan beépített készségeket használ, mint az entitásfelismerés, a nyelvfelismerés és a strukturálatlan szövegeket az index kereshető és szűrhető mezőinek leképezése.

• Egyéni képességek: Ez a megoldás olyan egyéni készségeket használ, amelyek kiterjesztik az AI-keresést, hogy konkrét bővítési átalakításokat alkalmazzanak a tartalomra. Az egyéni képességek felületét az egyéni webes API-képességen keresztül adhatja meg.

Lehetséges használati esetek

A JFK Files mintaprojekt és az online bemutató egy adott AI Search-használati esetet mutat be. Ez a megoldási ötlet nem egy keretrendszer vagy skálázható architektúra minden forgatókönyvhöz. Ehelyett ez a megoldási ötlet egy általános útmutatót és példát kínál. A kódprojekt és a demó nyilvános webhelyet és nyilvánosan olvasható tárolót hoz létre a kinyert képekhez, ezért nem szabad ezt a megoldást nem nyilvános adatokkal használni.

Ezt az architektúrát a következőkre is használhatja:

• A strukturálatlan szöveg- és képtartalmak értékének és hasznosságának növelése keresőalkalmazásokban és adatelemzési alkalmazásokban.

• Egyéni készségekkel integrálhatja a nyílt forráskódú kódot, a nem Microsoft-kódot vagy a Microsoft-kódot az indexelési folyamatokba.

• A beolvasott JPG-, PNG- vagy bitképdokumentumok teljes szöveges kereshetővé tétele.

• Jobb eredményeket hozhat, mint a pdf-fájlok szabványos szövegkiemelése kombinált képpel és szöveggel. Előfordulhat, hogy egyes beolvasott és natív PDF-formátumok nem megfelelően elemzik az AI Searchben.

• Hozzon létre új információkat a nagy méretű, strukturálatlan vagy félig strukturált dokumentumokban rejtett, eredendően értelmezhető nyers tartalomból vagy környezetből.

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködő írta.

Fő szerző:

• Carlos Alexandre Santos | Vezető specializált AI-felhőmegoldás-tervező

A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.

Következő lépések

További információ a megoldásról:

• JFK Files-projekt
• Videó: A JFK-dokumentumok megismerése az AI Search használatával
• JFK Files online bemutató

Termékdokumentáció olvasása:

• AI-bővítés az AI-keresésben
• Mi az a Vision?
• Mi az a nyelv?
• Mi az OCR?
• Mi az elnevezett entitásfelismerés a nyelvben?
• A Blob Storage bemutatása
• A Függvények bemutatása

Próbálja ki a képzési tervet:

• Tudásbányászat megvalósítása az AI Search használatával

Kapcsolódó erőforrások

• Intelligens termékkereső e-kereskedelemhez