Estrarre testo da oggetti usando Power Automate e AI Builder

Questo articolo presenta una soluzione per estrarre testo dalle immagini in modo che possa essere indicizzato e recuperato in SharePoint. Usando AI Builder e Azure AI Document Intelligence, è possibile configurare un flusso di lavoro di Power Automate per usare un modello sottoposto a training per estrarre testo da un'immagine. Dopo aver configurato un flusso di lavoro, è possibile cercare rapidamente nei documenti un testo significativo incorporato in forme e oggetti.

Scaricare un file di Visio di questa architettura.

1. Viene eseguito il training di un modello di rilevamento oggetti in AI Builder per riconoscere gli oggetti specificati da un utente.
2. Un nuovo documento immette una raccolta documenti di SharePoint, OneDrive o Teams.
3. L'arrivo del documento attiva un evento di Power Automate. Tale evento:
   1. Esegue il modello di AI Builder. AI Builder restituisce un file JSON che contiene le coordinate pixel di tutti gli oggetti specificati.
   2. Invia il documento a Document Intelligence per un'analisi OCR (Optical Character Recognition) completa. Intelligence per i documenti restituisce un file JSON che contiene coordinate di testo e pixel analizzate del testo.
   3. Esegue una funzione in Funzioni di Azure. La funzione analizza le coordinate pixel nei file di output di AI Builder e Document Intelligence. Se gli oggetti rilevati si intersecano con il testo analizzato, la funzione restituisce i dati corrispondenti in un file JSON.
   4. Inserisce i metadati o il testo degli oggetti rilevati in una raccolta documenti.
4. I metadati vengono acquisiti in un indice di ricerca di SharePoint.
5. Gli utenti cercano i metadati usando web part di Ricerca moderna PnP.

• AI Builder è una funzionalità di Microsoft Power Platform. Usare AI Builder per eseguire il training dei modelli per riconoscere gli oggetti nelle immagini. AI Builder offre anche modelli predefiniti per il rilevamento degli oggetti.
• document intelligence usa modelli di Machine Learning per estrarre e analizzare campi, testo e tabelle dei moduli dai documenti.
• Power Automate fa parte di soluzioni intuitive senza codice o poco codice di Microsoft Power Platform. Power Automate è un servizio di flussi di lavoro online che automatizza le azioni nelle app e nei servizi.
• Funzioni Azure è una piattaforma di calcolo serverless basata su eventi. Funzioni di Azure viene eseguito su richiesta e su larga scala nel cloud.
• La soluzione PnP Modern Search è un set di web part moderne di SharePoint in Microsoft 365. Usando questi strumenti, è possibile creare esperienze altamente flessibili e personalizzate basate sulla ricerca.

• I servizi di intelligenza artificiale di Azure possono eseguire un'analisi OCR completa dei documenti, con i metadati risultanti archiviati in SharePoint.
• SharePoint può eseguire analisi OCR sui documenti e aggiungere l'output del contenuto all'indice per il recupero. Usare tecniche di ricerca per definire come destinazione le informazioni chiave nei documenti.
• Se si vuole elaborare una frequenza elevata di documenti, è consigliabile usare App per la logica di Azure per configurare i componenti. App per la logica di Azure impedisce di raggiungere i limiti di consumo nel tenant ed è conveniente. Per altre informazioni, vedere la App per la logica Azure.

I diagrammi schemi e industriali spesso contengono oggetti che contengono testo. L'analisi manuale dei documenti per il testo pertinente può richiedere molto tempo.

I casi d'uso sono:

• Diagrammi schemi di progettazione complessi che contengono vari tipi di oggetti. Usando questa soluzione, è possibile cercare rapidamente componenti specifici in un diagramma. L'accesso al testo incorporato negli oggetti è utile per le indagini, l'esposizione di carenze o la ricerca di avvisi di richiamo e di errore.
• Diagrammi industriali che mostrano i componenti in un assieme di produzione. Questa soluzione identifica tempestivamente pompe, valvole, commutatori automatizzati e altri componenti. L'identificazione dei componenti consente la manutenzione preventiva, l'isolamento di componenti pericolosi e l'aumento della visibilità della gestione dei rischi nell'organizzazione.

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autore principale:

• Steve Pucelik | Sr. Specialist

• Comprendere i tipi di documenti più adatti per questa soluzione. I documenti tipici includono diagrammi schemi, processi di controllo della produzione e diagrammi che contengono molte forme che devono essere isolate. Per altre informazioni, vedere Modelli personalizzati di Document Intelligence.
• Acquisire familiarità con le funzionalità offerte da AI Builder. Per altre informazioni, vedere Panoramica AI Builder in Power Automate.
• Definire un'architettura delle informazioni in grado di ricevere ed elaborare i metadati. Per altre informazioni, vedere set di competenze di Ricerca intelligenza artificiale di Azure.
• Per informazioni sul funzionamento della soluzione e sull'idoneità per i casi d'uso, vedere Estrarre testo da oggetti.