Estrarre testo da oggetti usando Power Automate e AI Builder

Questo articolo presenta una soluzione per estrarre testo dalle immagini in modo che possa essere indicizzato e recuperato in SharePoint. Usando AI Builder e Azure Riconoscimento modulo, è possibile configurare un flusso di lavoro di Power Automate per usare un modello sottoposto a training per estrarre testo da un'immagine. Dopo aver configurato un flusso di lavoro, è possibile cercare rapidamente nei documenti un testo significativo incorporato in forme e oggetti.

Architettura

Scaricare un file di Visio di questa architettura.

Workflow

1. Viene eseguito il training di un modello di rilevamento oggetti in AI Builder per riconoscere gli oggetti specificati da un utente.
2. Un nuovo documento immette una raccolta documenti di SharePoint, OneDrive o Teams.
3. L'arrivo del documento attiva un evento di Power Automate. Tale evento:
   1. Esegue il modello di AI Builder. AI Builder restituisce un file JSON che contiene le coordinate pixel di tutti gli oggetti specificati.
   2. Invia il documento a Riconoscimento modulo per un'analisi OCR (Optical Character Recognition). Riconoscimento modulo restituisce un file JSON che contiene coordinate di testo e pixel analizzate del testo.
   3. Esegue una funzione in Funzioni di Azure. La funzione analizza le coordinate pixel nei file di output di AI Builder e Riconoscimento modulo. Se gli oggetti rilevati si intersecano con il testo analizzato, la funzione restituisce i dati corrispondenti in un file JSON.
   4. Inserisce i metadati o il testo degli oggetti rilevati in una raccolta documenti.
4. I metadati vengono acquisiti in un indice di ricerca di SharePoint.
5. Gli utenti cercano i metadati usando web part di Ricerca moderna PnP.

Componenti

• AI Builder è una funzionalità di Power Platform. Usare AI Builder per eseguire il training dei modelli per riconoscere gli oggetti nelle immagini. AI Builder offre anche modelli predefiniti per il rilevamento degli oggetti.
• Riconoscimento modulo usa modelli di Machine Learning per estrarre e analizzare campi, testo e tabelle dei moduli dai documenti.
• Power Automate fa parte delle soluzioni intuitive senza codice o poco codice di Power Platform. Power Automate è un servizio di flusso di lavoro online che automatizza le azioni tra app e servizi.
• Funzioni di Azure è una piattaforma di calcolo serverless basata su eventi. Funzioni di Azure viene eseguito su richiesta e su larga scala nel cloud.
• La soluzione PnP Modern Search è un set di web part moderne di SharePoint Online. Usando questi strumenti, è possibile creare esperienze altamente flessibili e personalizzate basate sulla ricerca.

Alternative

• Servizi cognitivi di Azure può eseguire un'analisi OCR completa dei documenti, con i metadati risultanti archiviati in SharePoint.
• SharePoint può eseguire analisi OCR sui documenti e aggiungere l'output del contenuto all'indice per il recupero. Usare tecniche di ricerca per definire come destinazione le informazioni chiave nei documenti.
• Se si vuole elaborare una frequenza elevata di documenti, è consigliabile usare App per la logica di Azure per configurare i componenti. App per la logica di Azure impedisce di raggiungere i limiti di consumo nel tenant ed è conveniente. Per altre informazioni, vedere App per la logica di Azure.

Dettagli dello scenario

I diagrammi schemi e industriali spesso contengono oggetti che contengono testo. L'analisi manuale dei documenti per il testo pertinente può richiedere molto tempo.

Potenziali casi d'uso

I casi d'uso includono:

• Diagrammi schemi di progettazione complessi che contengono vari tipi di oggetti. Usando questa soluzione, è possibile cercare rapidamente componenti specifici in un diagramma. L'accesso al testo incorporato negli oggetti è utile per le indagini, l'esposizione di carenze o la ricerca di avvisi di richiamo e di errore.
• Diagrammi industriali che mostrano i componenti in un assieme di produzione. Questa soluzione identifica tempestivamente pompe, valvole, commutatori automatizzati e altri componenti. L'identificazione dei componenti consente la manutenzione preventiva, l'isolamento di componenti pericolosi e l'aumento della visibilità della gestione dei rischi nell'organizzazione.

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Framework ben progettato di Microsoft Azure.

Considerare questi punti quando si analizzano ed elaborano documenti:

• AI Builder può acquisire solo le coordinate quadrate quando si usa un modello sottoposto a training. Gli oggetti con testo al di fuori dei limiti, ad esempio triangoli e cerchi, potrebbero aggiungere informazioni indesiderate e non necessarie.
• I metadati restituiti da Funzioni di Azure possono contenere caratteri aggiuntivi se è presente testo al di fuori dei limiti dell'oggetto.
• Il processo di creazione di AI Builder può contrassegnarne più di un oggetto. Il file JSON risultante da Funzioni di Azure contiene tutti i tipi di oggetto e il testo. L'applicazione utilizza i metadati e deve analizzare ed elaborare i risultati.

Disponibilità

Azure replica i dati per garantire la durabilità e la disponibilità elevata. La ridondanza dei dati protegge gli eventi pianificati e non pianificati, inclusi errori hardware temporanei, interruzioni di rete o interruzioni dell'alimentazione e calamità naturali. Scegliere di replicare i dati all'interno dello stesso data center, in data center di zona all'interno della stessa area o in aree geograficamente separate.

Scalabilità

Funzioni di Azure è altamente scalabile. Questa piattaforma offre più piani che vengono ridimensionati automaticamente su richiesta quando vengono attivati eventi. Per altre informazioni, vedere Ridimensionamento basato su eventi.

Funzioni di Azure ha un limite di 200 istanze. Se è necessario aumentare il numero di istanze oltre questo limite, aggiungere più aree o piani dell'app.

Sicurezza

La sicurezza offre garanzie contro attacchi intenzionali e l'abuso di dati e sistemi preziosi. Per altre informazioni, vedere Panoramica del pilastro della sicurezza.

Utilizzare le procedure di sicurezza standard per i componenti usati e per la raccolta documenti di SharePoint in cui sono archiviati i metadati.

Riconoscimento modulo è progettato tenendo conto della conformità, della privacy e della sicurezza. Autentica l'accesso usando una chiave API, crittografa i dati durante il transito e l'archiviazione e restituisce i risultati usando la chiave API. Per altre informazioni, vedere Dati, privacy e sicurezza per Riconoscimento modulo.

AI Builder si basa sulla sicurezza dell'ambiente e sui ruoli e sui privilegi di sicurezza di Dataverse per concedere l'accesso alle funzionalità di intelligenza artificiale in Power Apps. I privilegi vengono impostati per impostazione predefinita in Dataverse. Gli amministratori di sistema possono usare i ruoli di sicurezza predefiniti predefiniti senza ulteriori azioni. Per altre informazioni, vedi Panoramica sulla sicurezza.

Ottimizzazione dei costi

L'ottimizzazione dei costi riguarda l'analisi dei modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Panoramica del pilastro di ottimizzazione dei costi.

• Per Power Automate, assicurarsi che le licenze acquistate e assegnate siano adeguate per il volume di documenti elaborati. Includere un connettore HTTP Premium per chiamare Riconoscimento modulo e Funzioni di Azure.
• Acquistare crediti AI Builder in base all'utilizzo previsto del modello.
• Per stimare il costo dei prodotti e delle configurazioni di Azure, usare il calcolatore prezzi di Azure.

Distribuire lo scenario

Per altre informazioni sulla distribuzione di questo scenario, vedere il blog della community di Power Automate e il repository GitHub Estrai testo da oggetti .

Collaboratori

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autore principale:

• Steve Pucelik | Sr. Specialist

Passaggi successivi

• Comprendere i tipi di documenti più adatti per questa soluzione. I documenti tipici includono diagrammi schemi, processi di controllo della produzione e diagrammi che contengono molte forme che devono essere isolate. Per altre informazioni, vedere modelli di Riconoscimento modulo.
• Acquisire familiarità con le funzionalità offerte da AI Builder. Per altre informazioni, vedere Panoramica di AI Builder in Power Automate.
• Definire un'architettura delle informazioni in grado di ricevere ed elaborare i metadati. Per altre informazioni, vedere Set di competenze di Ricerca cognitiva.
• Per informazioni sul funzionamento della soluzione e sull'idoneità per i casi d'uso, vedere Estrarre testo da oggetti.

Risorse correlate

• Knowledge mining per la ricerca sul contenuto
• Modello di classificatore di visione con Servizio cognitivo di Azure Visione personalizzata