Använda AI-berikning med bild- och textbearbetning

Den här artikeln beskriver hur du använder bildbearbetning, bearbetning av naturligt språk och anpassade kunskaper för att samla in domänspecifika data. Du kan använda dessa data för att berika text- och bilddokument. Införliva Azure AI Search med AI-berikning för att identifiera och utforska relevant innehåll i stor skala. Den här lösningen använder AI-berikning för att extrahera betydelse från den ursprungliga komplexa, ostrukturerade JFK Assassination Records-datauppsättningen (JFK Files).

Arkitektur

Ladda ned en Visio-fil med den här arkitekturen.

Dataflöde

Följande dataflöde motsvarar föregående diagram. Dataflödet beskriver hur den ostrukturerade JFK Files-datamängden passerar genom AI Search-kompetenspipelinen för att producera strukturerade och indexerbara data.

1. Ostrukturerade data i Azure Blob Storage, till exempel dokument och bilder, matas in i AI Search.

2. För att initiera indexeringsprocessen extraherar dokumentet sprickbildningssteget bilder och text från data och berikar sedan innehållet. Berikningsstegen i den här processen beror på vilka data och vilken typ av färdigheter du väljer.

3. Inbyggda kunskaper baserade på API:er för Azure AI Vision och Azure AI Language tillhandahåller AI-berikningar som bildoptisk teckenigenkänning (OCR), bildanalys, textöversättning, entitetsigenkänning och fulltextsökning.

4. Anpassade kunskapsstödscenarier som kräver mer komplexa AI-modeller eller tjänster. Exempel är Azure AI Document Intelligence, Azure Machine Learning-modeller och Azure Functions.

5. När berikningsprocessen är klar sparar indexeraren de berikade och indexerade dokumenten i ett sökindex. Fulltextsökning och andra frågeformulär kan använda det här indexet.

6. De berikade dokumenten kan också projiceras i ett kunskapslager, som nedströmsappar som kunskapsutvinningsappar eller datavetenskapsappar kan använda.

7. Frågor får åtkomst till det berikade innehållet i sökindexet. Indexet stöder anpassade analysverktyg, fuzzy-sökfrågor, filter och en bedömningsprofil för att justera sökrelevansen.

8. Program som ansluter till Blob Storage eller Till Azure Table Storage kan komma åt kunskapsarkivet.

Komponenter

Den här lösningen använder följande Azure-komponenter.

AI-sökning

AI Search indexerar innehållet och driver användarupplevelsen i den här lösningen. Du kan använda AI Search för att tillämpa fördefinierade AI-kunskaper på innehåll. Och du kan använda utökningsmekanismen för att lägga till anpassade kunskaper, som ger specifika berikningsomvandlingar.

Azure AI-visuellt innehåll

Vision använder textigenkänning för att extrahera och känna igen textinformation från bilder. Läs-API:et använder de senaste OCR-igenkänningsmodellerna och är optimerat för stora, textintensiva dokument och brusiga bilder.

Det äldre OCR-API :et är inte optimerat för stora dokument, men har stöd för fler språk. Noggrannheten i OCR-resultaten kan variera beroende på kvaliteten på genomsökningen och bilden. Den här lösningen använder OCR för att producera data i hOCR-format.

Språk

Språk använder textanalysfunktioner som namngiven entitetsigenkänning och extrahering av nyckelfraser för att extrahera textinformation från ostrukturerade dokument.

Azure Storage

Blob Storage är REST-baserad objektlagring för data som du kan komma åt var som helst i världen via HTTPS. Du kan använda Blob Storage för att exponera data offentligt för världen eller för att lagra programdata privat. Blob Storage är perfekt för stora mängder ostrukturerade data som text eller grafik.

Table Storage lagrar högtillgängliga, skalbara, strukturerade och halvstrukturerade NoSQL-data i molnet.

Azure Functions

Functions är en serverlös beräkningstjänst som du kan använda för att köra små delar av händelseutlöst kod utan att uttryckligen behöva etablera eller hantera infrastruktur. Den här lösningen använder en Functions-metod för att tillämpa kryptonymslistan för Central Intelligence Agency (CIA) på JFK Files som en anpassad färdighet.

Azure App Service

Den här lösningen skapar en fristående webbapp i Azure App Service för att testa, demonstrera och söka i indexet och utforska anslutningar i berikade och indexerade dokument.

Information om scenario

Stora, ostrukturerade datamängder kan innehålla maskinskrivna och handskrivna anteckningar, foton, diagram och andra ostrukturerade data som standardsöklösningar inte kan parsa. JFK-filerna innehåller över 34 000 sidor dokument om CIA-utredningen av mordet på JFK 1963.

Du kan använda AI-berikning i AI Search för att extrahera och förbättra sökbar, indexerbar text från bilder, blobbar och andra ostrukturerade datakällor som JFK Files. AI-berikande använder förträrade maskininlärningsfärdighetsuppsättningar från Api:erna vision och språk i Azure AI-tjänster. Du kan också skapa och bifoga anpassade kunskaper för att lägga till särskild bearbetning för domänspecifika data som CIA-kryptonymer. AI Search kan sedan indexeras och söka i den kontexten.

AI-sökfärdigheterna i den här lösningen kan kategoriseras i följande grupper:

• Bildbearbetning: Den här lösningen använder inbyggda kunskaper om textextrahering och bildanalys , inklusive objekt- och ansiktsidentifiering, tagg- och bildtextgenerering samt kändis- och landmärkesidentifiering. De här färdigheterna skapar textrepresentationer av bildinnehåll, som du kan söka efter med hjälp av frågefunktionerna i AI Search. Dokumentsprickor är processen att extrahera eller skapa textinnehåll från icke-textkällor.

• Bearbetning av naturligt språk: Den här lösningen använder inbyggda kunskaper som entitetsigenkänning, språkidentifiering och extrahering av nyckelfraser som mappar ostrukturerad text till sökbara och filterbara fält i ett index.

• Anpassade kunskaper: Den här lösningen använder anpassade kunskaper som utökar AI Search för att tillämpa specifika berikningstransformeringar på innehåll. Du kan ange gränssnittet för en anpassad färdighet via den anpassade webb-API-färdigheten.

Potentiella användningsfall

Exempelprojektet JFK Files och onlinedemo visar ett visst AI Search-användningsfall. Den här lösningsidén är inte avsedd att vara ett ramverk eller en skalbar arkitektur för alla scenarier. I stället innehåller den här lösningsidén en allmän riktlinje och ett exempel. Kodprojektet och demonstrationen skapar en offentlig webbplats och en offentligt läsbar lagringscontainer för extraherade bilder, så du bör inte använda den här lösningen med icke-offentliga data.

Du kan också använda den här arkitekturen för att:

• Öka värdet och nyttan av ostrukturerat text- och bildinnehåll i sökappar och data science-appar.

• Använd anpassade kunskaper för att integrera kod med öppen källkod, kod från andra länder än Microsoft eller Microsoft-kod i indexeringspipelines.

• Gör skannade JPG-, PNG- eller bitmappsdokument i fulltext sökbara.

• Ge bättre resultat än standardextrahering av PDF-text för PDF-filer med kombinerad bild och text. Vissa skannade och inbyggda PDF-format kanske inte parsas korrekt i AI Search.

• Skapa ny information från naturligt meningsfullt råinnehåll eller kontext som är dolt i stora, ostrukturerade dokument eller halvstrukturerade dokument.

Deltagare

Den här artikeln underhålls av Microsoft. Den skrevs ursprungligen av följande deltagare.

Huvudförfattare:

• Carlos Alexandre Santos | Senior specialiserad AI-molnlösningsarkitekt

Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.

Nästa steg

Läs mer om den här lösningen:

• PROJEKTET JFK Files
• Video: Använda AI Search för att förstå JFK-dokumenten
• ONLINEdemon för JFK Files

Läs produktdokumentation:

• AI-berikande i AI Search
• Vad är Vision?
• Vad är Språk?
• Vad är OCR?
• Vad heter entitetsigenkänning på språk?
• Introduktion till Blob Storage
• Introduktion till Functions

Prova utbildningsvägen:

• Implementera kunskapsutvinning med AI Search

Relaterade resurser

• Intelligent produktsökmotor för e-handel