AI-verrijking gebruiken met afbeeldings- en tekstverwerking

In dit artikel wordt beschreven hoe u afbeeldingsverwerking, verwerking van natuurlijke taal en aangepaste vaardigheden gebruikt om domeinspecifieke gegevens vast te leggen. U kunt deze gegevens gebruiken om tekst- en afbeeldingsdocumenten te verrijken. Neem Azure AI Search op met AI-verrijking om relevante inhoud op schaal te identificeren en te verkennen. Deze oplossing maakt gebruik van AI-verrijking om betekenis te extraheren uit de oorspronkelijke complexe, ongestructureerde JFK Assassination Records -gegevensset (JFK Files).

Architectuur

Een Visio-bestand van deze architectuur downloaden.

Gegevensstroom

De volgende gegevensstroom komt overeen met het voorgaande diagram. In de gegevensstroom wordt beschreven hoe de ongestructureerde JFK Files-gegevensset wordt doorgegeven via de pijplijn voor AI Search-vaardigheden om gestructureerde en indexeerbare gegevens te produceren.

1. Niet-gestructureerde gegevens in Azure Blob Storage, zoals documenten en afbeeldingen, worden opgenomen in AI Search.

2. Als u het indexeringsproces wilt initiëren, extraheert de stap voor het kraken van documenten afbeeldingen en tekst uit de gegevens en verrijkt u de inhoud. De verrijkingsstappen in dit proces zijn afhankelijk van de gegevens en het type vaardigheden dat u selecteert.

3. Ingebouwde vaardigheden op basis van de Azure AI Vision- en Azure AI Language-API's bieden AI-verrijkingen, zoals optische tekenherkenning (OCR), afbeeldingsanalyse, tekstomzetting, entiteitsherkenning en zoekopdrachten in volledige tekst.

4. Aangepaste vaardigheden ondersteunen scenario's die complexere AI-modellen of -services vereisen. Voorbeelden hiervan zijn Azure AI Document Intelligence, Azure Machine Learning-modellen en Azure Functions.

5. Nadat het verrijkingsproces is voltooid, slaat de indexeerfunctie de verrijkte en geïndexeerde documenten op in een zoekindex. Zoeken in volledige tekst en andere queryformulieren kunnen deze index gebruiken.

6. De verrijkte documenten kunnen ook projecteren in een kennisarchief, dat downstream-apps zoals kennisanalyse-apps of data science-apps kunnen gebruiken.

7. Query's hebben toegang tot de verrijkte inhoud in de zoekindex. De index ondersteunt aangepaste analysefuncties, fuzzy zoekquery's, filters en een scoreprofiel om de relevantie van de zoekopdracht af te stemmen.

8. Toepassingen die verbinding maken met Blob Storage of Azure Table Storage, hebben toegang tot het kennisarchief.

Onderdelen

Deze oplossing maakt gebruik van de volgende Azure-onderdelen.

AI Search

AI Search indexeert de inhoud en zorgt voor de gebruikerservaring in deze oplossing. U kunt AI Search gebruiken om vooraf gemaakte AI-vaardigheden toe te passen op inhoud. En u kunt het uitbreidbaarheidsmechanisme gebruiken om aangepaste vaardigheden toe te voegen, die specifieke verrijkingstransformaties bieden.

Azure AI Vision

Vision gebruikt tekstherkenning om tekstinformatie uit afbeeldingen te extraheren en te herkennen. De Read-API maakt gebruik van de nieuwste OCR-herkenningsmodellen en is geoptimaliseerd voor grote, tekstintensieve documenten en lawaaierige afbeeldingen.

De verouderde OCR-API is niet geoptimaliseerd voor grote documenten, maar ondersteunt meer talen. De nauwkeurigheid van OCR-resultaten kan variëren op basis van de kwaliteit van de scan en de afbeelding. Deze oplossing maakt gebruik van OCR om gegevens te produceren in de hOCR-indeling.

Taal

Taal maakt gebruik van mogelijkheden voor tekstanalyse , zoals herkenning van benoemde entiteiten en extractie van sleuteltermen om tekstinformatie uit niet-gestructureerde documenten te extraheren.

Azure Storage

Blob Storage is op REST gebaseerde objectopslag voor gegevens die u overal ter wereld kunt openen via HTTPS. U kunt Blob Storage gebruiken om gegevens openbaar beschikbaar te maken voor de wereld of om toepassingsgegevens privé op te slaan. Blob Storage is ideaal voor grote hoeveelheden ongestructureerde gegevens, zoals tekst of afbeeldingen.

Table Storage slaat maximaal beschikbare, schaalbare, gestructureerde en semi-gestructureerde NoSQL-gegevens op in de cloud.

Azure Functions

Functions is een serverloze rekenservice die u kunt gebruiken om kleine stukjes door gebeurtenissen geactiveerde code uit te voeren zonder expliciet infrastructuur in te richten of te beheren. Deze oplossing maakt gebruik van een Functions-methode om de cryptoniemenlijst central intelligence agency (CIA) toe te passen op de JFK Files als een aangepaste vaardigheid.

Azure App Service

Deze oplossing bouwt een zelfstandige web-app in Azure-app Service om de index te testen, te demonstreren en te doorzoeken en verbindingen in de verrijkte en geïndexeerde documenten te verkennen.

Scenariodetails

Grote, ongestructureerde gegevenssets kunnen getypte en handgeschreven notities, foto's, diagrammen en andere ongestructureerde gegevens bevatten die standaardzoekoplossingen niet kunnen parseren. De JFK Files bevatten meer dan 34.000 pagina's van documenten over het CIA-onderzoek van de 1963 JFK moord.

U kunt AI-verrijking in AI Search gebruiken om doorzoekbare, indexeerbare tekst uit afbeeldingen, blobs en andere ongestructureerde gegevensbronnen, zoals de JFK-bestanden, te extraheren en te verbeteren. AI-verrijking maakt gebruik van vooraf getrainde machine learning-vaardighedensets van de Azure AI-services Vision - en Language-API's . U kunt ook aangepaste vaardigheden maken en koppelen om speciale verwerking toe te voegen voor domeinspecifieke gegevens, zoals CIA-cryptoniemen. AI Search kan die context vervolgens indexeren en doorzoeken.

De AI Search-vaardigheden in deze oplossing kunnen worden onderverdeeld in de volgende groepen:

• Afbeeldingsverwerking: Deze oplossing maakt gebruik van ingebouwde vaardigheden voor tekstextractie en afbeeldingsanalyse , waaronder object- en gezichtsdetectie, het genereren van labels en bijschriften en identificatie van beroemdheden en oriëntatiepunten. Deze vaardigheden maken tekstweergaven van afbeeldingsinhoud, die u kunt doorzoeken met behulp van de querymogelijkheden van AI Search. Document kraken is het proces van het extraheren of maken van tekstinhoud uit niet-tekstbronnen.

• Verwerking van natuurlijke taal: deze oplossing maakt gebruik van ingebouwde vaardigheden zoals entiteitsherkenning, taaldetectie en sleuteltermextractie waarmee ongestructureerde tekst wordt toegewezen aan doorzoekbare en filterbare velden in een index.

• Aangepaste vaardigheden: deze oplossing maakt gebruik van aangepaste vaardigheden waarmee AI Search wordt uitgebreid om specifieke verrijkingstransformaties toe te passen op inhoud. U kunt de interface voor een aangepaste vaardigheid opgeven via de vaardigheid voor de aangepaste web-API.

Potentiële gebruikscases

Het JFK Files-voorbeeldproject en de onlinedemo biedt een bepaalde AI Search-use-case. Dit oplossingsidee is niet bedoeld als een framework of schaalbare architectuur voor alle scenario's. In plaats daarvan biedt dit oplossingsidee een algemene richtlijn en voorbeeld. Het codeproject en de demo maken een openbare website en een openbaar leesbare opslagcontainer voor geëxtraheerde installatiekopieën. Gebruik deze oplossing dus niet met niet-openbare gegevens.

U kunt deze architectuur ook gebruiken voor het volgende:

• Verhoog de waarde en het nut van ongestructureerde tekst- en afbeeldingsinhoud in zoek-apps en data science-apps.

• Gebruik aangepaste vaardigheden om opensourcecode, niet-Microsoft-code of Microsoft-code te integreren in indexeringspijplijnen.

• Maak gescande JPG-, PNG- of bitmapdocumenten doorzoekbaar in volledige tekst.

• Produceren betere resultaten dan standaard PDF-tekstextractie voor PDF-bestanden met gecombineerde afbeelding en tekst. Sommige gescande en systeemeigen PDF-indelingen parseren mogelijk niet correct in AI Search.

• Maak nieuwe informatie op basis van inherent zinvolle onbewerkte inhoud of context die verborgen is in grote, ongestructureerde documenten of semi-gestructureerde documenten.

Medewerkers

Dit artikel wordt onderhouden door Microsoft. Het is oorspronkelijk geschreven door de volgende inzender.

Hoofdauteur:

• Carlos Microsoft Santos | Senior gespecialiseerde AI Cloud Solution Architect

Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.

Volgende stappen

Meer informatie over deze oplossing:

• JFK Files-project
• Video: AI Search gebruiken om inzicht te hebben in de JFK-documenten
• Onlinedemo van JFK Files

Productdocumentatie lezen:

• AI-verrijking in AI Search
• Wat is Vision?
• Wat is Taal?
• Wat is OCR?
• Wat is herkenning van entiteiten in Taal?
• Inleiding tot Blob Storage
• Inleiding tot Functions

Probeer het leertraject:

• Kennisanalyse implementeren met AI Search

Verwante resources

• Intelligente zoekmachine voor producten voor e-commerce
• Trefwoorden zoeken en spraak naar tekst
• Inhoudstags voorstellen met verwerking van natuurlijke taal met behulp van Deep Learning