Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Annotazioni
Content Understanding è ora un servizio disponibile a livello generale con la versione dell'API 2025-11-01 . Per informazioni dettagliate, vedere Novità.
Azure Content Understanding in Foundry Tools è uno strumento Foundry disponibile come parte della risorsa Microsoft Foundry Resource nel portale di Azure. Usa l'intelligenza artificiale generativa per elaborare e inserire molti tipi di contenuto, tra cui documenti, immagini, video e audio, in un formato di output definito dall'utente. Content Understanding offre un processo semplificato per ragionare su grandi quantità di dati non strutturati, accelerando il time-to-value generando un output che è possibile integrare nei flussi di lavoro analitici e di automazione.
Perché usare Content Understanding?
Content Understanding accelera il time-to-value abilitando l'elaborazione diretta di dati non strutturati con punteggi di attendibilità, riducendo al minimo la revisione manuale e riducendo i costi operativi. I vantaggi principali includono:
Semplificazione e ottimizzazione dei flussi di lavoro. Content Understanding standardizza l'estrazione e la classificazione di contenuto, struttura e informazioni dettagliate da vari tipi di contenuto in un processo unificato.
Semplificazione dell'estrazione di campi. L'estrazione di campi di Comprensione del Contenuto semplifica la generazione di output strutturati da contenuto non strutturato. Definire uno schema per estrarre, classificare o generare valori di campo senza ingegneria dei prompt complessa.
Accuratezza migliorata. Comprensione del Contenuto usa più modelli di intelligenza artificiale per analizzare ed eseguire la convalida incrociata delle informazioni, ottenendo risultati più accurati e affidabili.
Punteggi di attendibilità e grounding. Comprensione del Contenuto garantisce l'accuratezza dei valori estratti riducendo al minimo il costo della revisione umana.
Classificare i tipi di contenuto. Content Understanding consente di classificare i tipi di documento per semplificare la possibilità di elaborare il contenuto. Questa funzionalità è ora disponibile in un approccio unificato nell'API Analizza.
Analizzatori predefiniti specifici del settore. Content Understanding include analizzatori predefiniti progettati per scenari specifici del settore, tra cui preparazione fiscale, elaborazione dei documenti di approvvigionamento, analisi del contratto, analisi dei call center, analisi dei media e molto altro ancora.
Casi d'uso di Comprensione del Contenuto
Elaborazione intelligente dei documenti (IDP). Content Understanding consente l'elaborazione intelligente dei documenti convertendo documenti non strutturati in dati strutturati con accuratezza elevata. I punteggi di attendibilità e le funzionalità di messa a terra garantiscono la qualità dei dati riducendo al minimo la revisione manuale e riducendo i costi operativi. Ad esempio, automatizzare l'elaborazione delle fatture, l'analisi del contratto e la gestione delle attestazioni estraendo e convalidando i campi da documenti complessi.
Applicazioni agentiche. Content Understanding trasforma file di input disordinati e multimodali in input prevedibili e standardizzati. Fornisce rappresentazioni markdown pulite per il ragionamento e i flussi di lavoro delle conoscenze, garantendo chiarezza e contesto per le attività a valle. Quando sono necessari dati strutturati, fornisce campi chiave-valore allineati allo schema con punteggi di attendibilità e base, consentendo agli agenti di automatizzare le decisioni con accuratezza e verificabilità.
Ricerca e Generazione aumentata di recupero (RAG). Content Understanding consente l'inserimento di contenuto di qualsiasi modalità in un indice di ricerca, con un ampio supporto per la descrizione e l'analisi della figura per rendere i dati più accessibili. Il servizio Content Understanding offre più analizzatori predefiniti ottimizzati per offrire gli output migliori per gli scenari di ricerca RAG.
Automazione del processo robotico (RPA). Content Understanding si integra perfettamente con i flussi di lavoro RPA fornendo dati strutturati estratti da vari tipi di contenuto. Questa funzionalità consente l'automazione end-to-end dei processi aziendali che richiedono la comprensione del contenuto, ad esempio l'elaborazione degli ordini, l'onboarding dei clienti e i flussi di lavoro di conformità alle normative.
Analisi e creazione di report: gli output dei campi estratti da Comprensione del Contenuto migliorano l'analisi e la creazione di report, consentendo alle aziende di ottenere approfondimenti utili, eseguire analisi più approfondite e prendere decisioni informate in base a report accurati.
Ottimizzare il flusso di lavoro tramite la classificazione: la funzionalità di classificazione di Content Understanding consente di classificare prima i documenti, prima di instradarli all'analizzatore associato per l'estrazione.
Applicazioni specifiche del settore
Alcune applicazioni comuni specifiche del settore per Content Understanding includono:
| Applicazione | Descrizione |
|---|---|
| Automazione fiscale | Le società di consulenza fiscale possono usare Comprensione del Contenuto per generare una visualizzazione unificata delle informazioni specificate nei vari documenti e creare dichiarazioni dei redditi complete. |
| Elaborazione dell'applicazione ipotecaria | Analizzare la documentazione supplementare di supporto e le richieste ipotecarie per determinare se un potenziale acquirente di casa ha fornito tutta la documentazione necessaria per proteggere un mutuo. |
| Verifica del contratto di fattura | Esaminare attentamente le fatture e i contratti contrattuali con i clienti. Applicare un processo di ragionamento in più passaggi per analizzare i dati. Assicurarsi che le conclusioni, ad esempio la convalida della coerenza tra la fattura e il contratto, siano accurate e approfondite. |
| Inserimento della generazione aumentata dal recupero (RAG) | Le organizzazioni possono migliorare i flussi di lavoro RAG estraendo informazioni complete dai documenti che altrimenti verrebbero perse. Le descrizioni delle figure acquisiscono informazioni da grafici, diagrammi e visualizzazioni, rendendole disponibili per la ricerca. L'analisi del layout mantiene la struttura del documento, incluse tabelle, sezioni e gerarchie. Il rilevamento delle annotazioni registra note scritte a mano, sottolineature e barrature. |
| Analisi post-chiamata | Le aziende e i call center possono generare informazioni dettagliate dalle registrazioni delle chiamate per tenere traccia degli indicatori di prestazioni chiave (KPI), migliorare l'esperienza del prodotto, generare informazioni dettagliate aziendali, creare esperienze dei clienti differenziate e rispondere alle query in modo più rapido e accurato. |
| Gestione degli asset multimediali | I fornitori di software e contenuti multimediali possono usare Comprensione del Contenuto per estrarre informazioni più dettagliate e mirate dai video per le soluzioni di gestione degli asset multimediali. |
| Supporto clienti avanzato | Le aziende con canali di supporto possono usare Content Understanding per la ricerca RAG per migliorare la qualità delle risposte in base ai dati di problemi e feedback precedenti dei clienti. |
Componenti chiave di Content Understanding
Il framework Content Understanding elabora contenuti non strutturati attraverso più fasi, trasformando gli input in output strutturati e interattivi. La tabella seguente descrive ogni componente da sinistra a destra, come illustrato nel diagramma:
| Componente | Descrizione |
|---|---|
| Input | Contenuto di origine elaborato da Content Understanding. Supporta più modalità, tra cui Documenti, Immagini, Video e Audio. Altre informazioni sui tipi di file di input. |
| Analizzatore | Componente principale che definisce la modalità di elaborazione del contenuto. Configura le impostazioni di estrazione del contenuto, lo schema di estrazione dei campi e le distribuzioni del modello. Dopo la configurazione, l'analizzatore applica in modo coerente queste impostazioni a tutti i dati in ingresso. Content Understanding offre analizzatori predefiniti per scenari comuni e supporta analizzatori personalizzati personalizzati in base alle proprie esigenze. Altre informazioni su analizzatori, analizzatori predefiniti e analizzatori personalizzati. |
| Estrazione di contenuto | Trasforma l'input non strutturato in testo normalizzato, strutturato e metadati. Estrae il testo usando il riconoscimento ottico dei caratteri (OCR), identifica i segni di selezione e i codici a barre, rileva le formule e riconosce elementi di layout come paragrafi, sezioni e tabelle. Per audio e video, trascrive il parlato e identifica gli elementi visivi chiave. Altre informazioni sull'estrazione del contenuto. |
| Segmentazione | Divide documenti o video in sezioni logiche per l'elaborazione mirata. Configurato usando la enableSegment proprietà nello schema dell'analizzatore. Consente di suddividere il contenuto in blocchi significativi, ad esempio suddividendo un documento in base al tipo di documento o dividendo un video in scene. Altre informazioni sulla segmentazione e la classificazione. |
| Estrazione di campi | Genera coppie chiave-valore strutturate in base allo schema definito. Vedere Limiti del servizio per i tipi di campo supportati. I campi possono essere generati tramite tre metodi: • Estrarre direttamente i valori visualizzati nel contenuto di input (supportato solo per i documenti), ad esempio le date delle ricevute o i dettagli dell'articolo dalle fatture. • Classificare: classificare il contenuto da un set predefinito di categorie, ad esempio il sentiment di chiamata o il tipo di grafico, e instradarlo all'analizzatore corretto per l'analisi. • Genera: genera valori liberamente dai dati di input, ad esempio riepilogando una conversazione audio o creando descrizioni della scena dai video. Altre informazioni sull'estrazione dei campi. |
| Punteggi di attendibilità | Fornisce stime di affidabilità da 0 a 1 per ogni valore di campo estratto. Un punteggio elevato indica un'estrazione accurata dei dati, che consente l'elaborazione diretta nei flussi di lavoro di automazione. Abilitata usando l'impostazione estimateFieldSourceAndConfidence negli analizzatori di documenti. Altre informazioni sui punteggi di attendibilità. |
| Grounding | Identifica le aree specifiche nel contenuto in cui ogni valore è stato estratto o generato. L'assegnazione di origine consente agli utenti negli scenari di automazione di verificare rapidamente la correttezza dei valori dei campi tracciandoli fino alla loro fonte. Abilitata usando l'impostazione estimateFieldSourceAndConfidence negli analizzatori di documenti. Ulteriori informazioni sulla messa a terra. |
| Contestualizzazione | Il livello di contestualizzazione prepara il contesto per i modelli generativi e ne post-elabora l'output. Include la normalizzazione e la formattazione dell'output, il calcolo dell'ancoraggio della sorgente, il calcolo del punteggio di attendibilità e la progettazione del contesto per migliorare l'utilizzo della modellizzazione. Altre informazioni sulla contestualizzazione. |
| Modelli di fonderia | I modelli di linguaggio ampio di Foundry (LLM) e i modelli di incorporamento che potenziano le funzionalità generative. Porti le tue implementazioni di modelli generativi supportati e di modelli di incorporamento di testo per l'addestramento con esempi. Content Understanding usa questi modelli per l'estrazione dei campi, l'analisi delle figure e altre funzionalità basate sull'intelligenza artificiale. Altre informazioni sui modelli e le distribuzioni. |
| Output strutturato | Il risultato finale viene fornito nel formato scelto. Il contenuto può essere restituito come Markdown per scenari di ricerca e recupero o come JSON strutturato corrispondente allo schema definito per i flussi di lavoro di automazione e analisi. |
Esperienze di comprensione del contenuto
Content Understanding è un servizio Foundry. Per usare Content Understanding, è necessario creare una risorsa Foundry Azure. Content Understanding Studio integra l'esperienza Foundry se sono necessarie funzionalità avanzate. Per una suddivisione più dettagliata di ogni servizio, vedere Confronto delle funzionalità: Informazioni sui contenuti in Foundry e Content Understanding Studio.
- Content Understanding in Foundry (new) portal (presto disponibile): il portale Foundry NextGen consente di creare flussi di lavoro agenti avanzati e completi con lo strumento Content Understanding.
- Content Understanding Studio: un'esperienza di esperienza utente complementare, Content Understanding Studio consente una transizione senza problemi se si passa da Document Intelligence. Offre un'esperienza ottimizzata per il miglioramento delle prestazioni dell'analizzatore, incluso il miglioramento degli analizzatori personalizzati tramite tecniche di etichettatura dei dati. Supporta anche la creazione di analizzatori personalizzati basati sulla classificazione.
Intelligenza artificiale responsabile
Content Understanding è progettato per proteggersi dall'elaborazione di contenuti dannosi, ad esempio violenza grafica e gore, discorso odioso e bullismo, sfruttamento, abuso e altro ancora. Il servizio usa l'infrastruttura Foundry standard, inclusa la Sicurezza dei contenuti di Azure AI, integrando i risultati di sicurezza dei contenuti nell'output di Content Understanding. Per altre informazioni e un elenco completo di contenuti non consentiti, vedere la nota sulla trasparenza e il codice di condotta.
Filtro dei contenuti e guardrail
Content Understanding visualizza i risultati del filtro contenuto direttamente dalla distribuzione del modello Foundry in uso. Ogni distribuzione del modello Foundry ha un'istanza di Guardrails associata che valuta le richieste inviate al modello e i risultati restituiti. Quando l'istanza di Guardrails contrassegna il contenuto, il risultato viene incluso nella risposta di analisi di Content Understanding come un array content_filters.
Per modificare il comportamento di filtro del contenuto per gli analizzatori, aggiornare l'istanza guardrails associata alla distribuzione del modello nel progetto di Azure AI Foundry. È possibile modificare le soglie per ogni categoria o passare dalla modalità di blocco alla modalità di annotazione. Per informazioni dettagliate, vedere Filtro del contenuto.
È possibile modificare i filtri di contenuto per modificare la gravità bloccata o annotata anziché bloccare il contenuto, offrendo la possibilità di gestire contenuto potenzialmente dannoso nel proprio flusso di lavoro.
Per altre informazioni sui tipi di filtro del contenuto, vedere Tipi di filtro del contenuto.
Importante
- Applicare i filtri di contenuto modificati usando questo modulo: Azure OpenAI Limited Access Review: Modified Content Filters.Apply for modified content filters by using this form: Azure OpenAI Limited Access Review: Modified Content Filters.
- Per altre informazioni, vedere Filtro del contenuto.
Funzionalità facciali
Content Understanding offre funzionalità di descrizione del viso che possono generare descrizioni dettagliate dei visi nel contenuto video e immagine. Se abilitato, il modello generativo descrive gli attributi facciali, ad esempio i capelli facciali e l'espressione facciale, e possono identificare persone o celebrità di rilievo. Altre informazioni sulla descrizione del viso nell'elaborazione video.
Sicurezza e privacy dei dati
Esaminare i criteri di Microsoft sui dati dei clienti quando si usa il servizio Content Understanding. Per altre informazioni, visitare la pagina Dati, protezione e privacy .
Importante
Se si usano Microsoft prodotti o servizi per elaborare i dati biometrici, l'utente è responsabile di: (i) fornire comunicazioni agli interessati, incluso rispetto ai periodi di conservazione e alla distruzione; (ii) ottenere il consenso da parte degli interessati; e (iii) eliminando i dati biometrici, tutti in base alle esigenze e richiesti in base ai requisiti di protezione dei dati applicabili. Per informazioni correlate, vedere Dati e privacy per Face.
Get started
Usare queste guide introduttive per iniziare: