Estrarre testo da oggetti usando Power Automate e AI Builder

Questo articolo presenta una soluzione per estrarre testo dalle immagini in modo che possa essere indicizzato e recuperato in SharePoint. Usando AI Builder e Azure AI Document Intelligence, è possibile configurare un flusso di lavoro di Power Automate per usare un modello sottoposto a training per estrarre testo da un'immagine. Dopo aver configurato un flusso di lavoro, è possibile cercare rapidamente nei documenti un testo significativo incorporato in forme e oggetti.

Architettura

Scaricare un file di Visio di questa architettura.

Workflow

1. Viene eseguito il training di un modello di rilevamento oggetti in AI Builder per riconoscere gli oggetti specificati da un utente.
2. Un nuovo documento immette una raccolta documenti di SharePoint, OneDrive o Teams.
3. L'arrivo del documento attiva un evento di Power Automate. Tale evento:
   1. Esegue il modello di AI Builder. AI Builder restituisce un file JSON che contiene le coordinate pixel di tutti gli oggetti specificati.
   2. Invia il documento a Document Intelligence per un'analisi OCR (Optical Character Recognition) completa. Intelligence per i documenti restituisce un file JSON che contiene coordinate di testo e pixel analizzate del testo.
   3. Esegue una funzione in Funzioni di Azure. La funzione analizza le coordinate pixel nei file di output di AI Builder e Document Intelligence. Se gli oggetti rilevati si intersecano con il testo analizzato, la funzione restituisce i dati corrispondenti in un file JSON.
   4. Inserisce i metadati o il testo degli oggetti rilevati in una raccolta documenti.
4. I metadati vengono acquisiti in un indice di ricerca di SharePoint.
5. Gli utenti cercano i metadati usando web part di Ricerca moderna PnP.

Componenti

• AI Builder è una funzionalità di Microsoft Power Platform. Usare AI Builder per eseguire il training dei modelli per riconoscere gli oggetti nelle immagini. AI Builder offre anche modelli predefiniti per il rilevamento degli oggetti.
• Riconoscimento modulo usa modelli di Machine Learning per estrarre e analizzare campi, testo e tabelle dei moduli dai documenti.
• Power Automate fa parte di soluzioni intuitive senza codice o poco codice di Microsoft Power Platform. Power Automate è un servizio di flussi di lavoro online che automatizza le azioni nelle app e nei servizi.
• Funzioni Azure è una piattaforma di calcolo serverless basata su eventi. Funzioni di Azure viene eseguito su richiesta e su larga scala nel cloud.
• La soluzione PnP Modern Search è un set di web part moderne di SharePoint in Microsoft 365. Usando questi strumenti, è possibile creare esperienze altamente flessibili e personalizzate basate sulla ricerca.

Alternative

• I servizi di intelligenza artificiale di Azure possono eseguire un'analisi OCR completa dei documenti, con i metadati risultanti archiviati in SharePoint.
• SharePoint può eseguire analisi OCR sui documenti e aggiungere l'output del contenuto all'indice per il recupero. Usare tecniche di ricerca per definire come destinazione le informazioni chiave nei documenti.
• Se si vuole elaborare una frequenza elevata di documenti, è consigliabile usare App per la logica di Azure per configurare i componenti. App per la logica di Azure impedisce di raggiungere i limiti di consumo nel tenant ed è conveniente. Per altre informazioni, vedere la App per la logica Azure.

Dettagli dello scenario

I diagrammi schemi e industriali spesso contengono oggetti che contengono testo. L'analisi manuale dei documenti per il testo pertinente può richiedere molto tempo.

Potenziali casi d'uso

I casi d'uso sono:

• Diagrammi schemi di progettazione complessi che contengono vari tipi di oggetti. Usando questa soluzione, è possibile cercare rapidamente componenti specifici in un diagramma. L'accesso al testo incorporato negli oggetti è utile per le indagini, l'esposizione di carenze o la ricerca di avvisi di richiamo e di errore.
• Diagrammi industriali che mostrano i componenti in un assieme di produzione. Questa soluzione identifica tempestivamente pompe, valvole, commutatori automatizzati e altri componenti. L'identificazione dei componenti consente la manutenzione preventiva, l'isolamento di componenti pericolosi e l'aumento della visibilità della gestione dei rischi nell'organizzazione.

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Microsoft Azure Well-Architected Framework.

Considerare questi punti quando si analizzano ed elaborano documenti:

• AI Builder può acquisire solo le coordinate quadrate quando si usa un modello sottoposto a training. Gli oggetti con testo al di fuori dei limiti, ad esempio triangoli e cerchi, potrebbero aggiungere informazioni indesiderate e non necessarie.
• I metadati restituiti da Funzioni di Azure possono contenere caratteri aggiuntivi se è presente testo al di fuori dei limiti dell'oggetto.
• Il processo di creazione di AI Builder può contrassegnarne più di un oggetto. Il file JSON risultante da Funzioni di Azure contiene tutti i tipi di oggetto e il testo. L'applicazione utilizza i metadati e deve analizzare ed elaborare i risultati.

Disponibilità

Azure replica i dati per garantire durabilità e disponibilità elevata. La ridondanza dei dati ti protegge da eventi pianificati e imprevisti, tra cui guasti hardware temporanei, interruzioni di rete o di corrente e disastri naturali. È possibile replicare i dati all'interno dello stesso data center, tra data center di zona all'interno della stessa area o tra aree geograficamente separate.

Scalabilità

Funzioni di Azure è altamente scalabile. Questa piattaforma offre più piani che vengono ridimensionati automaticamente su richiesta quando vengono attivati eventi. Per altre informazioni, vedere Ridimensionamento basato su eventi.

Funzioni di Azure ha un limite di 200 istanze. Se è necessaria una scalabilità superiore, prendere in considerazione più aree o piani app.

Sicurezza

La sicurezza offre garanzie contro attacchi intenzionali e l'abuso di dati e sistemi preziosi. Per altre informazioni, vedere Panoramica del pilastro della sicurezza.

Utilizzare le procedure di sicurezza standard per i componenti usati e per la raccolta documenti di SharePoint in cui sono archiviati i metadati.

Document Intelligence è progettato tenendo conto della conformità, della privacy e della sicurezza. Autentica l'accesso usando una chiave API, crittografa i dati durante il transito e l'archiviazione e restituisce i risultati usando la chiave API. Per altre informazioni, vedere Dati, privacy e sicurezza per Riconoscimento modulo.

AI Builder si basa sui privilegi e i ruoli di sicurezza dell'ambiente e di Dataverse per concedere l'accesso alle funzionalità di intelligenza artificiale in Power Apps. I privilegi sono impostati per impostazione predefinita in Dataverse. Gli amministratori di sistema possono utilizzare i ruoli di sicurezza predefiniti senza ulteriori azioni. Per altre informazioni, vedi Panoramica sulla sicurezza.

Ottimizzazione dei costi

L'ottimizzazione dei costi riguarda l'analisi dei modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Panoramica del pilastro di ottimizzazione dei costi.

• Per Power Automate, assicurarsi che le licenze acquistate e assegnate siano adeguate per il volume di documenti elaborati. Includere un connettore HTTP Premium per chiamare Document Intelligence e Funzioni di Azure.
• Acquistare crediti AI Builder in base all'utilizzo previsto del modello.
• Per stimare il costo dei prodotti e delle configurazioni di Azure, usare il calcolatore prezzi di Azure.

Distribuire lo scenario

Per altre informazioni sulla distribuzione di questo scenario, vedere il blog della community di Power Automate e il repository GitHub Estrai testo da oggetti .

Collaboratori

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autore principale:

• Steve Pucelik | Sr. Specialist

Passaggi successivi

• Comprendere i tipi di documenti più adatti per questa soluzione. I documenti tipici includono diagrammi schemi, processi di controllo della produzione e diagrammi che contengono molte forme che devono essere isolate. Per altre informazioni, vedere Modelli di Riconoscimento modulo.
• Acquisire familiarità con le funzionalità offerte da AI Builder. Per altre informazioni, vedere Panoramica AI Builder in Power Automate.
• Definire un'architettura delle informazioni in grado di ricevere ed elaborare i metadati. Per altre informazioni, vedi Set di competenze per la ricerca cognitiva.
• Per informazioni sul funzionamento della soluzione e sull'idoneità per i casi d'uso, vedere Estrarre testo da oggetti.