Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Hinweis
Content Understanding ist jetzt ein allgemein verfügbarer (GA)-Dienst mit der Veröffentlichung der 2025-11-01 API-Version. Weitere Informationen finden Sie unter What's New.
Azure Inhaltsverständnis in Foundry Tools ist ein Foundry Tool das als Teil der Microsoft Foundry Resource im Azure-Portal verfügbar ist. Es verwendet generative KI, um viele Arten von Inhalten zu verarbeiten und aufzunehmen, einschließlich Dokumente, Bilder, Videos und Audio, in ein benutzerdefiniertes Ausgabeformat. Content Understanding bietet einen optimierten Prozess, um große Mengen unstrukturierter Daten zu analysieren und die Zeit bis zum Mehrwert zu beschleunigen, indem eine Ausgabe generiert wird, die Sie in Automatisierungs- und Analyse-Workflows integrieren können.
Gründe für die Verwendung von Inhaltsverständnis?
Das Inhaltsverständnis beschleunigt die Umsetzungszeit, indem die direkte Verarbeitung unstrukturierter Daten mit Vertrauenswerten ermöglicht wird, die manuelle Überprüfung minimiert und die Betriebskosten reduziert. Zu den wichtigsten Vorteilen gehören:
Vereinfachen und Optimieren von Workflows. Content Understanding standardisiert die Extraktion und Klassifizierung von Inhalten, Strukturen und Erkenntnissen aus verschiedenen Inhaltstypen in einen einheitlichen Prozess.
Vereinfachen sie die Feldextraktion. Die Feldextraktion von Content Understanding erleichtert das Generieren einer strukturierten Ausgabe aus unstrukturierten Inhalten. Definieren Sie ein Schema, um Feldwerte ohne komplexe Aufforderungs engineering zu extrahieren, zu klassifizieren oder zu generieren.
Verbessern Sie die Genauigkeit. Content Understanding verwendet mehrere KI-Modelle, um Informationen gleichzeitig zu analysieren und zu überprüfen, was zu genaueren und zuverlässigeren Ergebnissen führt.
Konfidenzbewertungen und Verankerung. Das Inhaltsverständnis stellt die Genauigkeit extrahierter Werte sicher und minimiert gleichzeitig die Kosten der menschlichen Überprüfung.
Klassifizieren von Inhaltstypen. Mithilfe von Inhaltsverständnis können Sie Ihre Dokumenttypen klassifizieren, um ihre Fähigkeit zum Verarbeiten von Inhalten zu optimieren. Dieses Feature ist jetzt in einem einheitlichen Ansatz in der Analyse-API verfügbar.
Branchenspezifische Voranalysegeräte. Das Inhaltsverständnis umfasst vorgefertigte Analysegeräte, die für branchenspezifische Szenarien entwickelt wurden, einschließlich Steuervorbereitung, Beschaffungsdokumentverarbeitung, Vertragsanalyse, Call Center Analytics, Medienanalyse und vieles mehr.
Inhaltsverständnis-Anwendungsfälle
Intelligente Dokumentverarbeitung (IDP) Content Understanding ermöglicht eine intelligente Dokumentverarbeitung, indem unstrukturierte Dokumente in strukturierte Daten mit hoher Genauigkeit konvertiert werden. Konfidenzbewertungen und Abgleichsfunktionen stellen die Datenqualität sicher, während die manuelle Überprüfung minimiert und die Betriebskosten gesenkt werden. Automatisieren Sie beispielsweise die Rechnungsverarbeitung, die Vertragsanalyse und die Forderungsverwaltung, indem Sie Felder aus komplexen Dokumenten extrahieren und validieren.
Agentische Anwendungen. Inhaltsverständnis wandelt unübersichtlichen, multimodalen Dateieingaben in vorhersehbare, standardisierte Eingaben um. Es liefert übersichtliche Markdowndarstellungen für Begründungs- und Wissensworkflows, um Klarheit und Kontext für nachgeschaltete Aufgaben sicherzustellen. Wenn strukturierte Daten erforderlich sind, stellt sie schema-ausgerichtete Schlüsselwertfelder mit Zuverlässigkeitsbewertungen und Verankerung bereit, sodass Agenten Entscheidungen mit Genauigkeit und Überprüfbarkeit automatisieren können.
Such- und Abruferweiterungsgenerierung (RAG) Das Inhaltsverständnis ermöglicht die Aufnahme von Inhalten beliebiger Formate in einen Suchindex, mit umfassender Unterstützung für die Beschreibung und Analyse, um Ihre Daten zugänglicher zu gestalten. Der Content Understanding-Dienst bietet mehrere vorgefertigte Analyse-Tools, die optimiert sind, um Ihnen die besten Ergebnisse für Ihre RAG-Suchszenarien zu bieten.
Roboter-Prozessautomatisierung (RPA) Content Understanding integriert sich nahtlos in RPA-Workflows, indem strukturierte Daten bereitgestellt werden, die aus verschiedenen Inhaltstypen extrahiert wurden. Diese Funktion ermöglicht die End-to-End-Automatisierung von Geschäftsprozessen, die Inhaltsverständnis erfordern, z. B. Auftragsverarbeitung, Kunden-Onboarding und Compliance-Workflows.
Analyse und Berichterstellung: Die extrahierten Feldausgaben von Content Understanding verbessern Analysen und Berichte, sodass Unternehmen wertvolle Erkenntnisse gewinnen, tiefere Analysen durchführen und fundierte Entscheidungen basierend auf genauen Berichten treffen können.
Optimieren sie den Workflow durch Klassifizierung: Mithilfe des Klassifizierungsfeatures für Inhaltsverständnis können Sie die Dokumente zuerst kategorisieren, bevor Sie sie zur Extraktion an die zugeordnete Analyse weiterleiten.
Branchenspezifische Anwendungen
Zu den gängigen branchenspezifischen Anwendungen für das Inhaltsverständnis gehören:
| Anwendung | Beschreibung |
|---|---|
| Steuerautomatisierung | Steuervorbereitungsunternehmen können content Understanding verwenden, um eine einheitliche Ansicht von Informationen aus verschiedenen Dokumenten zu generieren und umfassende Steuererklärungen zu erstellen. |
| Verarbeitung von Hypothekenanträgen | Analysieren Sie ergänzende unterstützende Dokumentationen und Hypothekenanträge, um festzustellen, ob ein potenzieller Hauskäufer alle notwendigen Unterlagen zur Sicherung einer Hypothek bereitgestellt hat. |
| Rechnungsvertragsüberprüfung | Überprüfen Sie Rechnungen und vertragliche Vereinbarungen mit Kunden sorgfältig. Wenden Sie einen mehrstufigen Begründungsprozess an, um die Daten zu analysieren. Stellen Sie sicher, dass Schlussfolgerungen, z. B. die Überprüfung der Konsistenz zwischen der Rechnung und dem Vertrag, korrekt und gründlich sind. |
| Abrufverstärkte Erstellung (RAG)-Ingestion | Organisationen können ihre RAG-Workflows verbessern, indem sie umfassende Informationen aus Dokumenten extrahieren, die sonst fehlen würden. Abbildungsbeschreibungen erfassen Informationen aus Schaubildern, Diagrammen und Visualisierungen, sodass sie durchsuchbar sind. Die Layoutanalyse behält die Dokumentstruktur einschließlich Tabellen, Abschnitte und Hierarchien bei. Die Anmerkungserkennung erfasst handschriftliche Notizen, Unterstreichungen und Durchgestriche. |
| Analyse nach dem Anruf | Unternehmen und Call center können Einblicke aus Anrufaufzeichnungen generieren, um Key Performance Indicators (KPIs) nachzuverfolgen, die Produkterfahrung zu verbessern, Geschäftseinblicke zu generieren, differenzierte Kundenerfahrungen zu erstellen und Abfragen schneller und genauer zu beantworten. |
| Medienobjektverwaltung | Software- und Medienanbieter können content Understanding verwenden, um umfangreichere, gezielte Informationen aus Videos für Medienobjektverwaltungslösungen zu extrahieren. |
| Erweiterter Kundensupport | Unternehmen mit Supportkanälen können Content Understanding für die RAG-Suche verwenden, um die Qualität der Antworten basierend auf Daten aus früheren Kundenproblemen und -feedback zu verbessern. |
Wichtige Komponenten des Inhaltsverständnisses
Das Content Understanding-Framework verarbeitet unstrukturierte Inhalte über mehrere Stufen und wandelt Eingaben in strukturierte, umsetzbare Ausgaben um. In der folgenden Tabelle werden die einzelnen Komponenten von links nach rechts beschrieben, wie im Diagramm dargestellt:
| Komponente | Beschreibung |
|---|---|
| Eingänge | Der Quellinhalt, den Content Understanding verarbeitet. Unterstützt mehrere Modalitäten, einschließlich Dokumente, Bilder, Video und Audio. Weitere Informationen zu Eingabedateitypen. |
| Analyzer | Die Kernkomponente, die definiert, wie Ihre Inhalte verarbeitet werden. Es konfiguriert Inhaltsextraktionseinstellungen, Feldextraktionsschema und Modellbereitstellungen. Nach der Konfiguration wendet der Analyzer diese Einstellungen konsistent auf alle eingehenden Daten an. Content Understanding bietet vorgefertigte Analysegeräte für gängige Szenarien und unterstützt benutzerdefinierte Analysegeräte, die auf Ihre Anforderungen zugeschnitten sind. Erfahren Sie mehr über Analysatoren, vorgefertigte Analysegeräte und benutzerdefinierte Analysegeräte. |
| Inhaltsextraktion | Transformiert unstrukturierte Eingaben in normalisierten, strukturierten Text und Metadaten. Extrahiert Text mithilfe der optischen Zeichenerkennung (OCR), identifiziert Auswahlzeichen und Barcodes, erkennt Formeln und erkennt Layoutelemente wie Absätze, Abschnitte und Tabellen. Für Audio- und Videoaufnahmen werden die Sprache transkribiert und wichtige visuelle Elemente identifiziert. Weitere Informationen zur Inhaltsextraktion. |
| Segmentierung | Unterteilt Dokumente oder Videos in logische Abschnitte für die gezielte Verarbeitung. Konfiguriert mithilfe der enableSegment Eigenschaft im Analyseschema. Ermöglicht das Aufteilen von Inhalten in aussagekräftige Abschnitte, z. B. das Aufteilen eines Dokuments nach Dokumenttyp oder das Aufteilen eines Videos in Szenen. Erfahren Sie mehr über Segmentierung und Klassifizierung. |
| Feldextraktion | Generiert strukturierte Schlüsselwertpaare basierend auf Dem definierten Schema. Siehe Dienstgrenzwerte für unterstützte Feldtypen. Felder können über drei Methoden generiert werden: • Extrahieren: Extrahieren Sie direkt Werte, wie sie im Eingabeinhalt angezeigt werden (nur für Dokumente unterstützt), z. B. Datumsangaben aus Quittungen oder Elementdetails aus Rechnungen. • Klassifizieren: Klassifizieren von Inhalten aus einem vordefinierten Satz von Kategorien, z. B. Anrufstimmung oder Diagrammtyp, und leiten Sie diese zur Analyse an das richtige Analyse-Tool weiter. • Generieren: Generieren Sie Werte aus Eingabedaten, z. B. das Zusammenfassen einer Audio-Unterhaltung oder das Erstellen von Szenenbeschreibungen aus Videos. Erfahren Sie mehr über die Feldextraktion. |
| Konfidenzbewertungen | Stellt Zuverlässigkeitsschätzungen von 0 bis 1 für jeden extrahierten Feldwert bereit. Hohe Punktzahlen deuten auf eine genaue Datenextraktion hin, die die automatische Weiterverarbeitung in Automatisierungsworkflows ermöglicht. Aktiviert mithilfe der estimateFieldSourceAndConfidence Konfiguration in Dokumentanalysen. Erfahren Sie mehr über Konfidenzergebnisse. |
| Erdung | Gibt die spezifischen Regionen im Inhalt an, in denen jeder Wert extrahiert oder generiert wurde. Die Quellenzuordnung ermöglicht Benutzern in Automatisierungsszenarien, die Richtigkeit von Feldwerten schnell zu überprüfen, indem sie diese bis zu ihrem Ursprung im Quelleninhalt nachverfolgen. Aktiviert mithilfe der estimateFieldSourceAndConfidence Konfiguration in Dokumentanalysen. Erfahren Sie mehr über die Erdung. |
| Kontextualisierung | Die Kontextualisierungsschicht bereitet den Kontext für generative Modelle vor und verarbeitet ihre Ausgabe. Sie umfasst Ausgabenormalisierung und Formatierung, Berechnung des Quellgrundes, Berechnung des Konfidenzbewertungsergebnisses und Kontexttechnik zur Optimierung der Modellnutzung. Erfahren Sie mehr über die Kontextualisierung. |
| Gießereimodelle | Die Foundry Large-Language-Modelle (LLMs) und Embeddings-Modelle, die generative Fähigkeiten unterstützen. Sie bringen Ihre eigenen Implementierungen von unterstützten generativen Modellen und Text-Embedding-Modellen für Trainingsbeispiele mit. Inhaltsverständnis verwendet diese Modelle für die Feldextraktion, Abbildungsanalyse und andere KI-gestützte Features. Erfahren Sie mehr über Modelle und Bereitstellungen. |
| Strukturierte Ausgabe | Das Endergebnis wird in Ihrem ausgewählten Format angegeben. Inhalte können als Markdown für Such- und Abrufszenarien oder als strukturierter JSON-Code ausgegeben werden, der ihrem definierten Schema für Automatisierungs- und Analyseworkflows entspricht. |
Inhaltserlebnisse
Content Understanding ist ein Foundry-Dienst. Um das Inhaltsverständnis zu verwenden, müssen Sie eine Foundry-Azure Ressource erstellen. Content Understanding Studio ergänzt die Foundry-Oberfläche, wenn Sie erweiterte Funktionen benötigen. Eine detailliertere Aufschlüsselung der einzelnen Dienste finden Sie unter Featurevergleich: Inhaltsverständnis in Foundry vs Content Understanding Studio.
- Content Understanding in Foundry (new) portal (coming soon): Mit dem Foundry NextGen-Portal können Sie erweiterte, umfassende agentische Workflows mit dem Content Understanding Tool erstellen.
- Content Understanding Studio: Eine ergänzende UX-Erfahrung, Content Understanding Studio ermöglicht einen reibungslosen Übergang, wenn Sie von der Dokumentintelligenz wechseln. Es bietet eine erfahrung, die für die Verbesserung der Analyseleistung optimiert ist, einschließlich der Verbesserung von benutzerdefinierten Analysegeräten mithilfe von Datenbeschriftungstechniken. Es unterstützt auch das Erstellen klassifikationsbasierter benutzerdefinierter Analysegeräte.
Verantwortungsvolle KI
Content Understanding dient zum Schutz vor der Verarbeitung schädlicher Inhalte, wie z. B. grafischer Gewalt und Blut, hassvoller Rede und Mobbing, Ausbeutung, Missbrauch und mehr. Der Dienst verwendet die standardmäßige Foundry-Infrastruktur, einschließlich der Azure AI-Inhaltssicherheit, und integriert Inhaltssicherheitsergebnisse in die Inhaltsverständnis-Ausgabe. Weitere Informationen und eine vollständige Liste der verbotenen Inhalte finden Sie im Transparenzhinweis und im Verhaltenskodex.
Inhaltsfilterung und Guardrails
Inhaltsverständnis zeigt Inhaltsfilterergebnisse direkt aus der von ihr genutzten Bereitstellung des Foundry-Modells an. Jede Foundry-Modellbereitstellung verfügt über eine zugeordnete Guardrails-Instanz, die sowohl die an das Modell gesendeten Eingabeaufforderungen als auch die zurückgegebenen Vervollständigungen auswertet. Wenn die Guardrails-Instanz Inhalte kennzeichnet, enthält die Analyseantwort "Content Understanding" das Ergebnis in Form eines content_filters Arrays.
Um das Verhalten der Inhaltsfilterung für Ihre Analysegeräte zu ändern, aktualisieren Sie die Guardrails-Instanz, die der Modellbereitstellung in Ihrem Azure AI Foundry Projekt zugeordnet ist. Sie können die Schwellenwerte für jede Kategorie anpassen oder vom Blockieren in den Kommentarmodus wechseln. Ausführliche Informationen finden Sie unter Inhaltsfilterung.
Sie können Inhaltsfilter so ändern, dass der Schweregrad blockiert oder kommentiert wird, anstatt Inhalte zu blockieren, sodass Sie potenziell schädliche Inhalte in Ihrem eigenen Workflow behandeln können.
Weitere Informationen zu Inhaltsfiltertypen finden Sie unter Inhaltsfiltertypen.
Wichtig
- Beantragen Sie geänderte Inhaltsfilter mithilfe dieses Formulars: Azure OpenAI Limited Access Review: Modified Content Filters.
- Weitere Informationen finden Sie unter Inhaltsfilterung.
Gesichtserkennungsfunktionen
Das Inhaltsverständnis bietet Funktionen zur Gesichtsbeschreibung, die detaillierte Beschreibungen von Gesichtern in Video- und Bildinhalten generieren können. Bei Aktivierung beschreibt das generative Modell Gesichtsattribute wie Gesichtshaare und Gesichtsausdruck und kann prominente Personen oder Prominente identifizieren. Erfahren Sie mehr über die Gesichtsbeschreibung in der Videoverarbeitung.
Datenschutz und Sicherheit
Überprüfen Sie Microsofts Richtlinien für Kundendaten bei der Verwendung des Inhaltsanalyse-Dienstes. Weitere Informationen finden Sie auf der Seite "Daten", "Schutz" und "Datenschutz ".
Wichtig
Wenn Sie Microsoft Produkte oder Dienste verwenden, um biometrische Daten zu verarbeiten, sind Sie für Folgendes verantwortlich: (i) Bereitstellen von Benachrichtigungen für betroffene Personen, einschließlich in Bezug auf Aufbewahrungsfristen und Vernichtung; ii) Einholen der Zustimmung von betroffenen Personen; und (iii) Löschen der biometrischen Daten, alle nach Bedarf und erforderlich unter den geltenden Datenschutzanforderungen. Verwandte Informationen finden Sie unter "Daten und Datenschutz für Face".
Beginnen
Verwenden Sie die folgenden Schnellstarthandbücher, um zu beginnen: