Modifica

Condividi tramite

Automatizzare l'elaborazione dei documenti usando le informazioni sui documenti IA

Ricerca di intelligenza artificiale di Azure
Servizi di intelligenza artificiale di Azure
Azure Cosmos DB
Informazioni sui documenti di Azure AI
Azure Machine Learning

Questo articolo descrive una soluzione scalabile e sicura per la creazione di una pipeline di elaborazione dei documenti automatizzata. La soluzione usa l'intelligenza dei documenti di intelligenza artificiale per l'estrazione strutturata dei dati. I modelli di elaborazione del linguaggio naturale (NLP) e i modelli personalizzati arricchiscono i dati.

Architettura

Diagramma dell'architettura che mostra come i dati passano attraverso le fasi di estrazione, arricchimento e analisi dell'elaborazione dei documenti.

Scaricare un file di Visio di questa architettura.

Flusso di dati

Le sezioni seguenti descrivono le varie fasi del processo di estrazione dei dati.

Inserimento ed estrazione dei dati

  1. I documenti vengono inseriti tramite un browser nel front-end di un'applicazione Web. I documenti contengono immagini o sono in formato PDF. app Azure Servizio ospita un'applicazione back-end. La soluzione indirizza i documenti a tale applicazione tramite app Azure lication Gateway. Questo servizio di bilanciamento del carico viene eseguito con Web application firewall di Azure, che consente di proteggere l'applicazione da attacchi e vulnerabilità comuni.

  2. L'applicazione back-end invia una richiesta a un endpoint dell'API REST di Intelligence per i documenti di Azure per intelligenza artificiale che usa uno di questi modelli:

    La risposta di Azure AI Document Intelligence contiene dati OCR (Raw Optical Character Recognition) ed estrazione strutturata.

  3. L'applicazione back-end servizio app usa i valori di attendibilità per controllare la qualità di estrazione. Se la qualità è inferiore a una soglia specificata, l'app contrassegna i dati per la verifica manuale. Quando la qualità di estrazione soddisfa i requisiti, i dati entrano in Azure Cosmos DB per l'utilizzo di applicazioni downstream. L'app può anche restituire i risultati al browser front-end.

  4. Altre origini forniscono immagini, file PDF e altri documenti. Le origini includono allegati di posta elettronica e server FTP (File Transfer Protocol). Strumenti come Azure Data Factory e AzCopy trasferiscono questi file in Archiviazione BLOB di Azure. App per la logica di Azure offre pipeline per estrarre automaticamente gli allegati dai messaggi di posta elettronica.

  5. Quando un documento entra in Archiviazione BLOB, viene attivata una funzione di Azure. La funzione :

    • Invia una richiesta all'endpoint predefinito di Document Intelligence per intelligenza artificiale di Azure pertinente.
    • Riceve la risposta.
    • Valuta la qualità di estrazione.

  6. I dati estratti entrano in Azure Cosmos DB.

Arricchimento dei dati

La pipeline usata per l'arricchimento dei dati dipende dal caso d'uso.

  1. L'arricchimento dei dati può includere le funzionalità NLP seguenti:

    • Riconoscimento delle entità denominate (NER)
    • Estrazione di informazioni personali, frasi chiave, informazioni sull'integrità e altre entità dipendenti dal dominio

    Per arricchire i dati, l'app Web:

  2. I modelli personalizzati eseguono il rilevamento delle frodi, l'analisi dei rischi e altri tipi di analisi sui dati:

    • I servizi di Azure Machine Learning eseguono il training e distribuiscono i modelli personalizzati.
    • I datiestratti vengono recuperati da Azure Cosmos DB.
    • I modelli derivano informazioni dettagliate dai dati.

    Queste possibilità esistono per l'inferenza:

  3. I dati arricchiti entrano in Azure Cosmos DB.

Analisi e visualizzazioni

  1. Le applicazioni usano il OCR non elaborato, i dati strutturati dagli endpoint di Intelligence per intelligenza artificiale di Azure per intelligenza artificiale e i dati arricchiti da NLP:

    • Power BI visualizza i dati e ne presenta i report.
    • I dati funzionano come origine per Ricerca cognitiva di Azure.
    • Altre applicazioni usano i dati.

Componenti

  • Il servizio app è un'offerta di piattaforma distribuita come servizio (PaaS) di Microsoft Azure. È possibile usare servizio app per ospitare applicazioni Web scalabili o scalabili manualmente o automaticamente. Il servizio supporta diversi linguaggi e framework, ad esempio ASP.NET, ASP.NET Core, Java, Ruby, Node.js, PHP e Python.

  • Gateway applicazione è un bilanciatore di carico di livello 7 (livello applicativo) che gestisce il traffico verso le applicazioni web. Usando un gateway applicazione con un Web application firewall è possibile proteggere le applicazioni Web da vulnerabilità ed exploit,

  • Funzioni di Azure è una piattaforma di calcolo serverless che è possibile usare per compilare applicazioni. Con Funzioni è possibile usare trigger e associazioni per reagire alle modifiche apportate ai servizi di Azure, ad esempio Archiviazione BLOB e Azure Cosmos DB. Le funzioni possono eseguire attività pianificate, elaborare i dati in tempo reale ed elaborare le code di messaggistica.

  • Azure AI Document Intelligence fa parte dei servizi di intelligenza artificiale di Azure. Azure AI Document Intelligence offre una raccolta di endpoint predefiniti per estrarre dati da fatture, documenti, ricevute, schede ID e biglietti da visita. Questo servizio esegue il mapping di ogni parte di dati estratti a un campo come coppia chiave-valore. Intelligence per i documenti di Intelligenza artificiale di Azure estrae anche il contenuto e la struttura delle tabelle. Il formato di output è JSON.

  • Archiviazione di Azure è una soluzione di archiviazione cloud che include oggetti, BLOB, file, disco, coda e archiviazione tabelle.

  • Archiviazione BLOB è un servizio che fa parte di Archiviazione Azure. Archiviazione BLOB offre l'archiviazione ottimizzata di oggetti cloud per grandi quantità di dati non strutturati.

  • Azure Data Lake Storage è un data lake scalabile e sicuro per carichi di lavoro di analisi a elevate prestazioni. I dati provengono generalmente da più origini eterogenee e possono essere strutturati, semistrutturati o non strutturati. Azure Data Lake Storage Gen2 combina le funzionalità di Azure Data Lake Storage Gen1 con l'archiviazione BLOB. Data Lake Storage Gen2 è una soluzione di nuova generazione che offre semantica del file system, sicurezza a livello di file e scalabilità. Ma offre anche l'archiviazione a più livelli, la disponibilità elevata e le funzionalità di ripristino di emergenza dell'archiviazione BLOB.

  • Azure Cosmos DB è un database NoSQL completamente gestito, altamente reattivo e scalabile. Azure Cosmos DB offre sicurezza di livello aziendale e supporta API per molti database, linguaggi e piattaforme. Gli esempi includono SQL, MongoDB, Gremlin, Table e Apache Cassandra. Opzioni di scalabilità automatica serverless in Azure Cosmos DB gestiscono in modo efficiente le richieste di capacità delle applicazioni.

  • Il linguaggio di intelligenza artificiale offre molti servizi NLP che è possibile usare per comprendere e analizzare il testo. Alcuni di questi servizi sono personalizzabili, ad esempio NER personalizzato, classificazione del testo personalizzata, comprensione del linguaggio conversazionale e risposta alle domande.

  • Machine Learning è una piattaforma aperta per la gestione dello sviluppo e della distribuzione di un modello di Machine Learning su larga scala. Machine Learning si rivolge ai livelli di competenze di utenti diversi, ad esempio data scientist o business analyst. La piattaforma supporta framework aperti di uso comune e offre funzionalità automatizzate e selezione di algoritmi. È possibile distribuire modelli in diverse destinazioni. Gli esempi includono servizio Azure Kubernetes, Istanze di Azure Container come servizio Web per l'inferenza in tempo reale su larga scala e macchina virtuale di Azure per l'assegnazione dei punteggi in batch. Gli endpoint gestiti in Machine Learning astraono l'infrastruttura necessaria per l'inferenza del modello in tempo reale o batch .

  • Il AKS è un servizio Kubernetes completamente gestito per la distribuzione e la gestione facilitata di applicazioni in contenitori. Il servizio Azure Kubernetes offre tecnologia Kubernetes serverless, un'esperienza di CI/CD integrata, oltre a sicurezza e governance di livello aziendale.

  • Power BI è una raccolta di app e servizi software che visualizzano informazioni di analisi.

  • Ricerca cognitiva di Azure è un servizio di ricerca cloud che fornisce infrastruttura, API e strumenti per la ricerca. È possibile usare Ricerca cognitiva di Azure per creare esperienze di ricerca su contenuti privati ed eterogenei in applicazioni Web, per dispositivi mobili e aziendali.

Alternative

Dettagli dello scenario

L'automazione dell'elaborazione dei documenti e l'estrazione dei dati è un'attività integrale nelle organizzazioni in tutti i verticali del settore. L'IA è una delle soluzioni comprovate in questo processo, anche se il raggiungimento dell'accuratezza del 100% è una realtà distante. Tuttavia, l'uso dell'intelligenza artificiale per la digitalizzazione invece di processi puramente manuali può ridurre il lavoro manuale fino al 90%.

Il riconoscimento ottico dei caratteri (OCR) può estrarre contenuto da immagini e file PDF, che costituiscono la maggior parte dei documenti usati dalle organizzazioni. Questo processo usa la ricerca di parole chiave e la corrispondenza delle espressioni regolari. Questi meccanismi estraggono i dati pertinenti dal testo completo e quindi creano un output strutturato. Questo approccio presenta svantaggi. La revisione del processo di post-estrazione per soddisfare i formati di documento modificati richiede un'ampia attività di manutenzione.

Potenziali casi d'uso

Questa soluzione è ideale per il settore finanziario. Può anche essere applicata alle industrie automobilistiche, di viaggio e di ospitalità. Le attività seguenti possono trarre vantaggio da questa soluzione:

  • Approvazione di note spese
  • Elaborazione di fatture, ricevute e fatture per attestazioni assicurative e controlli finanziari
  • Elaborazione di attestazioni che includono fatture, riepiloghi di scaricamento e altri documenti
  • Automazione delle approvazioni del lavoro (SoW)
  • Automazione dell'estrazione degli ID a scopo di verifica, come con passaporti o patenti di guida
  • Automazione del processo di immissione dei dati dei biglietti da visita nei sistemi di gestione dei visitatori
  • Identificazione dei modelli di acquisto e dei documenti finanziari duplicati per il rilevamento delle frodi

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di principi guida che possono essere usati per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Microsoft Azure Well-Architected Framework.

Affidabilità

L'affidabilità garantisce che l'applicazione possa soddisfare gli impegni che l'utente ha preso con i clienti. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'affidabilità.

Resilienza

  • La resilienza della soluzione dipende dalle modalità di errore dei singoli servizi, ad esempio servizio app, Funzioni, Azure Cosmos DB, Archiviazione e gateway applicazione. Per altre informazioni, vedere Elenco di controllo della resilienza per servizi di Azure specifici.

  • È possibile rendere resiliente Document Intelligence per intelligenza artificiale di Azure. Le possibilità includono la progettazione per il failover in un'altra area e la suddivisione del carico di lavoro in due o più aree. Per altre informazioni, vedere Eseguire il backup e il ripristino dei modelli di Intelligence sui documenti di Intelligenza artificiale di Azure.

  • I servizi di Machine Learning dipendono da molti servizi di Azure. Per offrire resilienza, è necessario configurare ogni servizio in modo che sia resiliente. Per altre informazioni, vedere Continuità aziendale e ripristino di emergenza.

Disponibilità

La disponibilità dell'architettura dipende dai servizi di Azure che costituiscono la soluzione:

Sicurezza

La sicurezza offre garanzie contro attacchi intenzionali e l'abuso di dati e sistemi preziosi. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per la sicurezza.

  • Web application firewall di Azure consente di proteggere l'applicazione dalle vulnerabilità comuni. Questa opzione gateway applicazione usa regole OWASP (Open Worldwide Application Security Project) per impedire attacchi come script tra siti, hijack di sessione e altri exploit.

  • Per migliorare la sicurezza servizio app, prendere in considerazione queste opzioni:

    • L'app può accedere alle risorse in una rete virtuale di Azure tramite l'integrazione della rete virtuale.
    • È possibile usare servizio app in un ambiente del servizio app, che viene distribuito in una rete virtuale dedicata. Questo approccio consente di isolare la connettività tra servizio app e altre risorse nella rete virtuale.

    Per ulteriori informazioni, vedi Sicurezza in Azure App Service.

  • Archiviazione BLOB e Azure Cosmos DB crittografano i dati inattivi. È possibile proteggere questi servizi usando endpoint di servizio o endpoint privati.

  • Funzioni di Azure supporta l'integrazione della rete virtuale. Usando questa funzionalità, le app per le funzioni possono accedere alle risorse all'interno di una rete virtuale. Per altre informazioni, vedere [Opzioni di rete di Funzioni di Azure][Opzioni di rete di Funzioni di Azure].

  • È possibile configurare l'intelligenza dei documenti e il linguaggio di intelligenza artificiale di Azure per l'accesso da reti virtuali specifiche o da endpoint privati. Questi servizi crittografano i dati inattivi. È possibile usare chiavi di sottoscrizione, token o ID Microsoft Entra per autenticare le richieste a questi servizi. Per altre informazioni, vedere Autenticazione con i servizi AI di Azure.

  • Machine Learning offre molti livelli di sicurezza:

Ottimizzazione dei costi

L'ottimizzazione dei costi riguarda l'analisi dei modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Elenco di controllo per la revisione della progettazione per l'ottimizzazione dei costi.

Il costo dell'implementazione di questa soluzione dipende dai componenti usati e dalle opzioni scelte per ogni componente.

Molti fattori possono influire sul prezzo di ogni componente:

  • Il numero di documenti elaborati
  • Numero di richieste simultanee ricevute dall'applicazione
  • Dimensioni dei dati archiviati dopo l'elaborazione
  • L'area di distribuzione

Queste risorse forniscono informazioni sulle opzioni relative ai prezzi dei componenti:

Dopo aver deciso un piano tariffario per ogni componente, usare il calcolatore prezzi di Azure per stimare il costo della soluzione.

Efficienza delle prestazioni

L'efficienza delle prestazioni è la capacità di dimensionare il carico di lavoro per soddisfare in modo efficiente le richieste poste dagli utenti. Per maggiori informazioni, consultare la sezione Elenco di controllo per la revisione della progettazione per l'efficienza delle prestazioni.

Collaboratori

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autore principale:

  • Jyotsna Ravi | Principal Customer Engineer
  • Dixit Arora | Senior Customer Engineer

Passaggi successivi