Tekst extraheren uit objecten met Power Automate en AI Builder

AI Builder

Azure AI documentanalyse

Power Automate

Microsoft Power Platform

Azure Functions

Dit artikel bevat een oplossing voor het extraheren van tekst uit afbeeldingen, zodat deze kan worden geïndexeerd en opgehaald in SharePoint. Met behulp van AI Builder en Azure AI Document Intelligence kunt u een Power Automate-werkstroom configureren om een getraind model te gebruiken om tekst uit een afbeelding te extraheren. Zodra u een werkstroom hebt geconfigureerd, kunt u snel documenten zoeken naar zinvolle tekst die is ingesloten in vormen en objecten.

Architectuur

Een Visio-bestand van deze architectuur downloaden.

Werkproces

1. Een objectdetectiemodel wordt getraind in AI Builder om objecten te herkennen die een gebruiker opgeeft.
2. Een nieuw document voert een SharePoint-documentbibliotheek, OneDrive of Teams in.
3. De aankomst van het document activeert een Power Automate-gebeurtenis. Die gebeurtenis:
   1. Hiermee wordt het AI Builder-model uitgevoerd. AI Builder retourneert een JSON-bestand dat de pixelcoördinaten van opgegeven objecten bevat.
   2. Hiermee wordt het document verzonden naar Document Intelligence voor een volledige OCR-scan (Optical Character Recognition). Document Intelligence retourneert een JSON-bestand dat gescande tekst- en pixelcoördinaten van de tekst bevat.
   3. Voert een functie uit in Azure Functions. De functie analyseert de pixelcoördinaten in de AI Builder- en Document Intelligence-uitvoerbestanden. Als gedetecteerde objecten elkaar kruisen met gescande tekst, retourneert de functie de overeenkomende gegevens in een JSON-bestand.
   4. Hiermee voert u de metagegevens of de tekst van gedetecteerde objecten in een documentbibliotheek in.
4. De metagegevens worden vastgelegd in een SharePoint-zoekindex.
5. Gebruikers zoeken naar de metagegevens met behulp van PnP Modern Search-webonderdelen.

Onderdelen

• AI Builder is een Microsoft Power Platform-functie. Gebruik AI Builder om modellen te trainen om objecten in afbeeldingen te herkennen. AI Builder biedt ook vooraf gedefinieerde modellen voor objectdetectie.
• Document Intelligence- machine learning-modellen gebruikt om formuliervelden, tekst en tabellen uit uw documenten te extraheren en analyseren.
• Power Automate maakt deel uit van intuïtieve oplossingen zonder code of zonder code in Microsoft Power Platform. Power Automate is een onlinewerkstroomservice waarmee acties in apps en services worden geautomatiseerd.
• Azure Functions is een serverloos rekenplatform op basis van gebeurtenissen. Azure Functions wordt op aanvraag en op schaal uitgevoerd in de cloud.
• PnP Modern Search-oplossing is een set SharePoint in moderne webonderdelen van Microsoft 365. Met behulp van deze hulpprogramma's kunt u zeer flexibele en persoonlijke ervaringen op basis van zoekopdrachten maken.

Alternatieven

• Azure AI-services kunnen een volledige OCR-scan van documenten uitvoeren, met de resulterende metagegevens die zijn opgeslagen in SharePoint.
• SharePoint kan OCR-scans uitvoeren op documenten en inhoudsuitvoer toevoegen aan de index voor het ophalen. Gebruik zoektechnieken om belangrijke informatie in documenten te richten.
• Als u een hoge frequentie van documenten wilt verwerken, kunt u Overwegen om Azure Logic Apps te gebruiken om de onderdelen te configureren. Met Azure Logic Apps voorkomt u dat u de verbruikslimieten in uw tenant bereikt en rendabel is. Zie Azure Logic Apps voor meer informatie.

Scenariodetails

Schematische en industriële diagrammen bevatten vaak objecten die tekst bevatten. Het handmatig scannen van documenten op relevante tekst kan tijdrovend en tijdrovend zijn.

Potentiële gebruikscases

Gebruiksvoorbeelden zijn onder andere:

• Gecompliceerde technische schematische diagrammen die verschillende typen objecten bevatten. Met deze oplossing kunt u snel zoeken naar specifieke onderdelen in een diagram. Toegang tot ingesloten tekst in objecten is handig voor onderzoeken, het blootstellen van tekorten of het zoeken naar relevante overeenkomsten en storingsberichten.
• Industriële diagrammen waarin de onderdelen in een productieassembly worden weergegeven. Deze oplossing identificeert onmiddellijk pompen, kleppen, geautomatiseerde schakelaars en andere onderdelen. Het identificeren van onderdelen helpt bij preventief onderhoud, het isoleren van gevaarlijke onderdelen en het vergroten van de zichtbaarheid van risicobeheer in uw organisatie.

Medewerkers

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Hoofdauteur:

• Steve Pucelik | Sr. Specialist

Volgende stappen

• Inzicht in de typen documenten die geschikt zijn voor deze oplossing. Typische documenten zijn schematische diagrammen, productiebeheerprocessen en diagrammen die veel shapes bevatten die moeten worden geïsoleerd. Zie Aangepaste modellen voor Document Intelligence voor meer informatie.
• Raak vertrouwd met de mogelijkheden die AI Builder biedt. Zie het overzicht van AI Builder in Power Automate voor meer informatie.
• Definieer een informatiearchitectuur die uw metagegevens kan ontvangen en verwerken. Zie vaardighedenset voor Azure AI Searchvoor meer informatie.
• Zie Tekst uit objecten extraheren voor informatie over hoe de oplossing werkt en of deze geschikt is voor uw use cases.

Dit artikel bevat een oplossing voor het extraheren van tekst uit afbeeldingen, zodat deze kan worden geïndexeerd en opgehaald in SharePoint. Met behulp van AI Builder en Azure AI Document Intelligence kunt u een Power Automate-werkstroom configureren om een getraind model te gebruiken om tekst uit een afbeelding te extraheren. Zodra u een werkstroom hebt geconfigureerd, kunt u snel documenten zoeken naar zinvolle tekst die is ingesloten in vormen en objecten.

Architectuur

Een Visio-bestand van deze architectuur downloaden.

Werkproces

1. Een objectdetectiemodel wordt getraind in AI Builder om objecten te herkennen die een gebruiker opgeeft.
2. Een nieuw document voert een SharePoint-documentbibliotheek, OneDrive of Teams in.
3. De aankomst van het document activeert een Power Automate-gebeurtenis. Die gebeurtenis:
   1. Hiermee wordt het AI Builder-model uitgevoerd. AI Builder retourneert een JSON-bestand dat de pixelcoördinaten van opgegeven objecten bevat.
   2. Hiermee wordt het document verzonden naar Document Intelligence voor een volledige OCR-scan (Optical Character Recognition). Document Intelligence retourneert een JSON-bestand dat gescande tekst- en pixelcoördinaten van de tekst bevat.
   3. Voert een functie uit in Azure Functions. De functie analyseert de pixelcoördinaten in de AI Builder- en Document Intelligence-uitvoerbestanden. Als gedetecteerde objecten elkaar kruisen met gescande tekst, retourneert de functie de overeenkomende gegevens in een JSON-bestand.
   4. Hiermee voert u de metagegevens of de tekst van gedetecteerde objecten in een documentbibliotheek in.
4. De metagegevens worden vastgelegd in een SharePoint-zoekindex.
5. Gebruikers zoeken naar de metagegevens met behulp van PnP Modern Search-webonderdelen.

Onderdelen

• AI Builder is een Microsoft Power Platform-functie. Gebruik AI Builder om modellen te trainen om objecten in afbeeldingen te herkennen. AI Builder biedt ook vooraf gedefinieerde modellen voor objectdetectie.
• Document Intelligence- machine learning-modellen gebruikt om formuliervelden, tekst en tabellen uit uw documenten te extraheren en analyseren.
• Power Automate maakt deel uit van intuïtieve oplossingen zonder code of zonder code in Microsoft Power Platform. Power Automate is een onlinewerkstroomservice waarmee acties in apps en services worden geautomatiseerd.
• Azure Functions is een serverloos rekenplatform op basis van gebeurtenissen. Azure Functions wordt op aanvraag en op schaal uitgevoerd in de cloud.
• PnP Modern Search-oplossing is een set SharePoint in moderne webonderdelen van Microsoft 365. Met behulp van deze hulpprogramma's kunt u zeer flexibele en persoonlijke ervaringen op basis van zoekopdrachten maken.

Alternatieven

• Azure AI-services kunnen een volledige OCR-scan van documenten uitvoeren, met de resulterende metagegevens die zijn opgeslagen in SharePoint.
• SharePoint kan OCR-scans uitvoeren op documenten en inhoudsuitvoer toevoegen aan de index voor het ophalen. Gebruik zoektechnieken om belangrijke informatie in documenten te richten.
• Als u een hoge frequentie van documenten wilt verwerken, kunt u Overwegen om Azure Logic Apps te gebruiken om de onderdelen te configureren. Met Azure Logic Apps voorkomt u dat u de verbruikslimieten in uw tenant bereikt en rendabel is. Zie Azure Logic Apps voor meer informatie.

Scenariodetails

Schematische en industriële diagrammen bevatten vaak objecten die tekst bevatten. Het handmatig scannen van documenten op relevante tekst kan tijdrovend en tijdrovend zijn.

Potentiële gebruikscases

Gebruiksvoorbeelden zijn onder andere:

• Gecompliceerde technische schematische diagrammen die verschillende typen objecten bevatten. Met deze oplossing kunt u snel zoeken naar specifieke onderdelen in een diagram. Toegang tot ingesloten tekst in objecten is handig voor onderzoeken, het blootstellen van tekorten of het zoeken naar relevante overeenkomsten en storingsberichten.
• Industriële diagrammen waarin de onderdelen in een productieassembly worden weergegeven. Deze oplossing identificeert onmiddellijk pompen, kleppen, geautomatiseerde schakelaars en andere onderdelen. Het identificeren van onderdelen helpt bij preventief onderhoud, het isoleren van gevaarlijke onderdelen en het vergroten van de zichtbaarheid van risicobeheer in uw organisatie.

Medewerkers

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Hoofdauteur:

• Steve Pucelik | Sr. Specialist

Volgende stappen

• Inzicht in de typen documenten die geschikt zijn voor deze oplossing. Typische documenten zijn schematische diagrammen, productiebeheerprocessen en diagrammen die veel shapes bevatten die moeten worden geïsoleerd. Zie Aangepaste modellen voor Document Intelligence voor meer informatie.
• Raak vertrouwd met de mogelijkheden die AI Builder biedt. Zie het overzicht van AI Builder in Power Automate voor meer informatie.
• Definieer een informatiearchitectuur die uw metagegevens kan ontvangen en verwerken. Zie vaardighedenset voor Azure AI Searchvoor meer informatie.
• Zie Tekst uit objecten extraheren voor informatie over hoe de oplossing werkt en of deze geschikt is voor uw use cases.