Den här artikeln innehåller en lösning för att extrahera text från bilder så att den kan indexeras och hämtas i SharePoint. Genom att använda AI Builder och Azure Form Recognizer kan du konfigurera ett Power Automate-arbetsflöde för att använda en tränad modell för att extrahera text från en bild. När du har konfigurerat ett arbetsflöde kan du snabbt söka i dokument efter meningsfull text som är inbäddad i former och objekt.
Arkitektur
Ladda ned en Visio-fil med den här arkitekturen.
Arbetsflöde
- En objektidentifieringsmodell tränas i AI Builder för att identifiera objekt som en användare anger.
- Ett nytt dokument anger ett SharePoint-dokumentbibliotek, OneDrive eller Teams.
- Dokumentets ankomst utlöser en Power Automate-händelse. Händelsen:
- Kör AI Builder-modellen. AI Builder returnerar en JSON-fil som innehåller pixelkoordinaterna för alla angivna objekt.
- Skickar dokumentet till Formigenkänning för en fullständig OCR-genomsökning (optisk teckenigenkänning). Formigenkänning returnerar en JSON-fil som innehåller genomsökt text och pixelkoordinater för texten.
- Kör en funktion i Azure Functions. Funktionen analyserar pixelkoordinaterna i utdatafilerna AI Builder och Formigenkänning. Om identifierade objekt korsas med skannad text returnerar funktionen matchade data i en JSON-fil.
- Anger metadata, eller texten från identifierade objekt, i ett dokumentbibliotek.
- Metadata samlas in i ett SharePoint-sökindex.
- Användare söker efter metadata med hjälp av PnP Modern Search-webbdelar.
Komponenter
- AI Builder är en Power Platform-funktion. Använd AI Builder för att träna modeller att identifiera objekt i bilder. AI Builder erbjuder även fördefinierade modeller för objektidentifiering.
- Formigenkänning använder maskininlärningsmodeller för att extrahera och analysera formulärfält, text och tabeller från dina dokument.
- Power Automate är en del av Power Platforms intuitiva lösningar utan kod eller låg kod. Power Automate är en onlinearbetsflödestjänst som automatiserar åtgärder mellan appar och tjänster.
- Azure Functions är en händelsedriven serverlös beräkningsplattform. Azure Functions körs på begäran och i stor skala i molnet.
- PnP Modern Search-lösningen är en uppsättning moderna Webbdelar i SharePoint Online. Med hjälp av dessa verktyg kan du skapa mycket flexibla och anpassade sökbaserade upplevelser.
Alternativ
- Azure Cognitive Services kan göra en fullständig OCR-genomsökning av dokument med resulterande metadata lagrade i SharePoint.
- SharePoint kan köra OCR-genomsökningar på dokument och lägga till innehållsutdata i indexet för hämtning. Använd söktekniker för att rikta in dig på nyckelinformation i dokument.
- Om du vill bearbeta en hög mängd dokument kan du överväga att använda Azure Logic Apps för att konfigurera komponenterna. Azure Logic Apps hindrar dig från att nå förbrukningsgränserna i din klientorganisation och är kostnadseffektiv. Mer information finns i Azure Logic Apps.
Information om scenario
Schematiska och industriella diagram har ofta objekt som innehåller text. Manuellt genomsökning av dokument efter relevant text kan vara tidskrävande och tidskrävande.
Potentiella användningsfall
Exempel på användningsfall är:
- Komplicerade tekniska schemadiagram som innehåller olika typer av objekt. Med den här lösningen kan du snabbt söka efter specifika komponenter i ett diagram. Att ha åtkomst till inbäddad text i objekt är användbart för undersökningar, avslöjande av brist eller för att söka efter meddelanden om återkallande och fel.
- Industridiagram som visar komponenterna i en tillverkningssammansättning. Den här lösningen identifierar omedelbart pumpar, ventiler, automatiserade växlar och andra komponenter. Att identifiera komponenter hjälper till med förebyggande underhåll, isolerar farliga komponenter och ökar synligheten för riskhantering i din organisation.
Att tänka på
Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som kan användas för att förbättra kvaliteten på en arbetsbelastning. Mer information finns i Microsoft Azure Well-Architected Framework.
Tänk på dessa punkter när du analyserar och bearbetar dokument:
- AI Builder kan bara samla in kvadratkoordinater när du använder en tränad modell. Objekt med text utanför sina gränser, till exempel trianglar och cirklar, kan potentiellt lägga till oönskad och onödig information.
- Metadata som matas ut från Azure Functions kan innehålla extra tecken om det finns text utanför objektets gränser.
- Ai Builder-skapandeprocessen kan tagga fler än ett objekt. Den resulterande JSON-filen från Azure Functions innehåller alla objekttyper och text. Programmet använder metadata och måste parsa igenom och bearbeta resultaten.
Tillgänglighet
Azure replikerar data för att säkerställa hållbarhet och hög tillgänglighet. Dataredundans skyddar dig från planerade och oplanerade händelser, inklusive tillfälliga maskinvarufel, nätverks- eller strömavbrott och naturkatastrofer. Välj att replikera dina data i samma datacenter, mellan zonindelade datacenter i samma region eller mellan geografiskt avgränsade regioner.
Skalbarhet
Azure Functions är mycket skalbart. Den här plattformen erbjuder flera planer som automatiskt skalas på begäran när händelser utlöses. Mer information finns i Händelsedriven skalning.
Azure Functions har en gräns på 200 instanser. Om du behöver skala över den här gränsen lägger du till flera regioner eller appplaner.
Säkerhet
Säkerhet ger garantier mot avsiktliga attacker och missbruk av dina värdefulla data och system. Mer information finns i Översikt över säkerhetspelare.
Använd standardsäkerhetsmetoder för de komponenter som du använder och för SharePoint-dokumentbiblioteket som du lagrar metadata i.
Formigenkänning är utformat med efterlevnad, sekretess och säkerhet i åtanke. Den autentiserar åtkomst med hjälp av en API-nyckel, krypterar data under överföring och lagring och returnerar resultat med hjälp av API-nyckeln. Mer information finns i Data, sekretess och säkerhet för formulärigenkänning.
AI Builder förlitar sig på miljösäkerhet och Dataverse-säkerhetsroller och behörigheter för att ge åtkomst till AI-funktioner i Power Apps. Behörigheter anges som standard i Dataverse. Systemadministratörer kan använda de inbyggda standardsäkerhetsrollerna utan ytterligare åtgärder. Mer information finns i Säkerhetsöversikt.
Kostnadsoptimering
Kostnadsoptimering handlar om att titta på sätt att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i Översikt över kostnadsoptimeringspelare.
- För Power Automate kontrollerar du att de licenser som du har köpt och tilldelat är tillräckliga för mängden dokument som du bearbetar. Inkludera en HTTP Premium-anslutningsapp för att anropa Formigenkänning och Azure Functions.
- Köp AI Builder-krediter baserat på den förväntade modellanvändningen.
- Om du vill beräkna kostnaden för Azure-produkter och -konfigurationer använder du priskalkylatorn för Azure.
Distribuera det här scenariot
Mer information om hur du distribuerar det här scenariot finns i Power Automate Community Blog och GitHub-lagringsplatsen Extrahera text från objekt .
Deltagare
Den här artikeln underhålls av Microsoft. Det har ursprungligen skrivits av följande medarbetare.
Huvudförfattare:
- Steve Pucelik | Sr. Specialist
Nästa steg
- Förstå vilka typer av dokument som passar bra för den här lösningen. Typiska dokument är schemadiagram, tillverkningskontrollprocesser och diagram som innehåller många former som måste isoleras. Mer information finns i Modeller för formigenkänning.
- Bekanta dig med de funktioner som AI Builder erbjuder. Mer information finns i AI Builder i Power Automate-översikten.
- Definiera en informationsarkitektur som kan ta emot och bearbeta dina metadata. Mer information finns i Kunskapsuppsättning för kognitiv sökning.
- Information om hur lösningen fungerar och om den är lämplig för dina användningsfall finns i Extrahera text från objekt.