Tekst extraheren uit objecten met Power Automate en AI Builder

Dit artikel bevat een oplossing voor het extraheren van tekst uit afbeeldingen, zodat deze kan worden geïndexeerd en opgehaald in SharePoint. Met behulp van AI Builder en Azure Form Recognizer kunt u een Power Automate-werkstroom configureren om een getraind model te gebruiken om tekst uit een afbeelding te extraheren. Zodra u een werkstroom hebt geconfigureerd, kunt u snel documenten zoeken naar zinvolle tekst die is ingesloten in vormen en objecten.

Architectuur

Een Visio-bestand van deze architectuur downloaden.

Workflow

1. Een objectdetectiemodel wordt getraind in AI Builder om objecten te herkennen die een gebruiker opgeeft.
2. Een nieuw document voert een SharePoint-documentbibliotheek, OneDrive of Teams in.
3. De aankomst van het document activeert een Power Automate-gebeurtenis. Die gebeurtenis:
   1. Hiermee wordt het AI Builder-model uitgevoerd. AI Builder retourneert een JSON-bestand dat de pixelcoördinaten van opgegeven objecten bevat.
   2. Hiermee wordt het document verzonden naar Form Recognizer voor een volledige OCR-scan (Optical Character Recognition). Form Recognizer retourneert een JSON-bestand dat gescande tekst- en pixelcoördinaten van de tekst bevat.
   3. Voert een functie uit in Azure Functions. De functie analyseert de pixelcoördinaten in de AI Builder- en Form Recognizer-uitvoerbestanden. Als gedetecteerde objecten elkaar kruisen met gescande tekst, retourneert de functie de overeenkomende gegevens in een JSON-bestand.
   4. Hiermee voert u de metagegevens of de tekst van gedetecteerde objecten in een documentbibliotheek in.
4. De metagegevens worden vastgelegd in een SharePoint-zoekindex.
5. Gebruikers zoeken naar de metagegevens met behulp van PnP Modern Search-webonderdelen.

Onderdelen

• AI Builder is een Power Platform-mogelijkheid. Gebruik AI Builder om modellen te trainen om objecten in afbeeldingen te herkennen. AI Builder biedt ook vooraf gedefinieerde modellen voor objectdetectie.
• Form Recognizer maakt gebruik van machine learning-modellen voor het extraheren en analyseren van formuliervelden, tekst en tabellen uit uw documenten.
• Power Automate maakt deel uit van de intuïtieve oplossingen zonder code of lage code van Power Platform. Power Automate is een onlinewerkstroomservice waarmee acties in apps en services worden geautomatiseerd.
• Azure Functions is een serverloos rekenplatform op basis van gebeurtenissen. Azure Functions wordt op aanvraag en op schaal uitgevoerd in de cloud.
• PnP Modern Search-oplossing is een set moderne sharePoint Online-webonderdelen. Met behulp van deze hulpprogramma's kunt u zeer flexibele en persoonlijke ervaringen op basis van zoekopdrachten maken.

Alternatieven

• Azure Cognitive Services kan een volledige OCR-scan van documenten uitvoeren, met de resulterende metagegevens die zijn opgeslagen in SharePoint.
• SharePoint kan OCR-scans uitvoeren op documenten en inhoudsuitvoer toevoegen aan de index voor het ophalen. Gebruik zoektechnieken om belangrijke informatie in documenten te richten.
• Als u een hoge frequentie van documenten wilt verwerken, kunt u Overwegen om Azure Logic Apps te gebruiken om de onderdelen te configureren. Met Azure Logic Apps voorkomt u dat u de verbruikslimieten in uw tenant bereikt en rendabel is. Zie Azure Logic Apps voor meer informatie.

Scenariodetails

Schematische en industriële diagrammen bevatten vaak objecten die tekst bevatten. Het handmatig scannen van documenten op relevante tekst kan tijdrovend en tijdrovend zijn.

Potentiële gebruikscases

Gebruiksvoorbeelden zijn onder andere:

• Gecompliceerde technische schematische diagrammen die verschillende typen objecten bevatten. Met deze oplossing kunt u snel zoeken naar specifieke onderdelen in een diagram. Toegang tot ingesloten tekst in objecten is handig voor onderzoeken, het blootstellen van tekorten of het zoeken naar relevante overeenkomsten en storingsberichten.
• Industriële diagrammen waarin de onderdelen in een productieassembly worden weergegeven. Deze oplossing identificeert onmiddellijk pompen, kleppen, geautomatiseerde schakelaars en andere onderdelen. Het identificeren van onderdelen helpt bij preventief onderhoud, het isoleren van gevaarlijke onderdelen en het vergroten van de zichtbaarheid van risicobeheer in uw organisatie.

Overwegingen

Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.

Houd rekening met deze punten wanneer u documenten analyseert en verwerkt:

• AI Builder kan alleen vierkante coördinaten vastleggen wanneer u een getraind model gebruikt. Objecten met tekst buiten hun grenzen, zoals driehoeken en cirkels, kunnen mogelijk ongewenste en onnodige informatie toevoegen.
• De metagegevens die worden uitgevoerd vanuit Azure Functions kunnen extra tekens bevatten als er tekst buiten de grenzen van het object valt.
• Het proces voor het maken van AI Builder kan meer dan één object taggen. Het resulterende JSON-bestand van Azure Functions bevat alle objecttypen en tekst. De toepassing verbruikt de metagegevens en moet de resultaten parseren en verwerken.

Beschikbaarheid

Azure repliceert gegevens om duurzaamheid en hoge beschikbaarheid te garanderen. Gegevensredundantie beschermt u tegen geplande en ongeplande gebeurtenissen, waaronder tijdelijke hardwarestoringen, netwerk- of stroomstoringen en natuurrampen. Kies ervoor om uw gegevens binnen hetzelfde datacenter, in zonegebonden datacenters binnen dezelfde regio of in geografisch gescheiden regio's te repliceren.

Schaalbaarheid

Azure Functions is zeer schaalbaar. Dit platform biedt meerdere abonnementen die automatisch op aanvraag worden geschaald wanneer gebeurtenissen worden geactiveerd. Zie Gebeurtenisgestuurd schalen voor meer informatie.

Azure Functions heeft een limiet van 200 exemplaren. Als u deze limiet wilt overschrijden, voegt u meerdere regio's of app-abonnementen toe.

Beveiliging

Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie Overzicht van de beveiligingspijler voor meer informatie.

Gebruik standaardbeveiligingsprocedures voor de onderdelen die u gebruikt en voor de SharePoint-documentbibliotheek waarin u de metagegevens opslaat.

Form Recognizer is ontworpen met naleving, privacy en beveiliging in het achterhoofd. Het verifieert de toegang met behulp van een API-sleutel, versleutelt gegevens tijdens de overdracht en opslag en retourneert resultaten met behulp van de API-sleutel. Zie Gegevens, privacy en beveiliging voor Form Recognizer voor meer informatie.

AI Builder is afhankelijk van omgevingsbeveiliging en Dataverse-beveiligingsrollen en -bevoegdheden om toegang te verlenen tot AI-functies in Power Apps. Bevoegdheden worden standaard ingesteld in Dataverse. Systeembeheerders kunnen de standaard ingebouwde beveiligingsrollen gebruiken zonder verdere acties. Zie Beveiligingsoverzicht voor meer informatie.

Kostenoptimalisatie

Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie.

• Voor Power Automate moet u ervoor zorgen dat de licenties die u hebt aangeschaft en toegewezen voldoende zijn voor het aantal documenten dat u verwerkt. Neem een HTTP Premium-connector op om Form Recognizer en Azure Functions aan te roepen.
• Koop AI Builder-tegoed op basis van het verwachte modelgebruik.
• Als u de kosten van Azure-producten en -configuraties wilt schatten, gebruikt u de Azure-prijscalculator.

Dit scenario implementeren

Zie het Power Automate Community-blog en de GitHub-opslagplaats Tekst uit objecten extraheren voor meer informatie over het implementeren van dit scenario.

Medewerkers

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Hoofdauteur:

• Steve Pucelik | Sr. Specialist

Volgende stappen

• Inzicht in de typen documenten die geschikt zijn voor deze oplossing. Typische documenten zijn schematische diagrammen, productiebeheerprocessen en diagrammen die veel shapes bevatten die moeten worden geïsoleerd. Zie Form Recognizer-modellen voor meer informatie.
• Raak vertrouwd met de mogelijkheden die AI Builder biedt. Zie het overzicht van AI Builder in Power Automate voor meer informatie.
• Definieer een informatiearchitectuur die uw metagegevens kan ontvangen en verwerken. Zie Cognitive Search-vaardighedenset voor meer informatie.
• Zie Tekst uit objecten extraheren voor informatie over hoe de oplossing werkt en of deze geschikt is voor uw use cases.