Extrahieren und Zuordnen von Informationen aus unstrukturierten Inhalten
Lösungsmöglichkeiten
In diesem Artikel ist ein Lösungsvorschlag beschrieben. Ihr Cloudarchitekt kann diesen Leitfaden verwenden, um die Hauptkomponenten einer typischen Implementierung dieser Architektur zu visualisieren. Verwenden Sie diesen Artikel als Ausgangspunkt, um eine gut durchdachte Lösung zu entwerfen, die den spezifischen Anforderungen Ihrer Workload entspricht.
Diese Architektur beschreibt eine Inhaltsverarbeitungslösung, die Daten extrahiert und Schemas über mehrere modale Inhalte hinweg mithilfe von Konfidenzbewertung und Benutzerüberprüfung anwendet. Es verarbeitet Ansprüche, Rechnungen, Verträge und andere Dokumente, indem Informationen aus unstrukturierten Inhalten extrahiert und strukturierte Formate zugeordnet werden. Diese Architektur wendet Azure AI Foundry, Azure AI Content Understanding, Azure OpenAI in Azure AI Foundry Models und andere Azure-Dienste an, um große Mengen unstrukturierter Inhalte über ereignisgesteuerte Verarbeitungspipelinen zu transformieren.
Diese Architektur zeigt, wie Skalierbare Systeme für die Verarbeitung von Inhalten erstellt werden. Die Systeme verarbeiten Text, Bilder, Tabellen und Diagramme und umfassen automatische Qualitätsprüfungen und menschliche Überprüfungen für Geschäftsdokumentworkflows.
Architektur
Laden Sie eine Visio-Datei dieser Architektur herunter.
Arbeitsablauf
Der folgende Workflow entspricht dem vorherigen Diagramm:
Benutzer laden mehr modale Inhalte wie Dokumente, Bilder, Verträge und Rechnungen über die Web-Front-End-Schnittstelle hoch. Inhalte werden mit bestimmten Verarbeitungsanforderungen und Zielschemas übermittelt.
Die Azure Container Apps-Website empfängt die Anforderung zum Hochladen von Inhalten und ruft die in Container-Apps gehostete Verarbeitungs-API auf. Beide Komponenten sind benutzerdefinierte Lösungen, die auf dieses Szenario zugeschnitten sind. Die API wählt die entsprechende Verarbeitungspipeline aus und initiiert Inhaltsanalyseworkflows.
Container-Apps verwalten den Verarbeitungsworkflow. Es verbindet Content Understanding, das optische Zeichenerkennung (OCR) durchführt und Text extrahiert, mit Azure OpenAI in Foundry Models. Diese Modelle ordnen Schemas zu und konvertieren die extrahierten Daten in strukturierte Formate.
Inhaltsverständnis führt machine learning-basierte OCR für eine effiziente Textextraktion aus verschiedenen Inhaltsformaten, einschließlich Bildern, Tabellen und Diagrammen, durch.
Azure OpenAI in Foundry Models mit GPT Vision verarbeitet den extrahierten Inhalt, ordnet ihn benutzerdefinierten oder branchendefinierten Schemas zu und generiert eine strukturierte JSON-Ausgabe mit Konfidenzbewertung.
Der Orchestrierungscode in Container-Apps speichert verarbeitete Ergebnisse, Konfidenzergebnisse, Schemazuordnungen und historische Verarbeitungsdaten für Überwachungspfade und kontinuierliche Verbesserung in Azure Cosmos DB.
Der Orchestrierungscode in Container-Apps verwendet Azure Blob Storage zum Speichern von Quelldokumenten, Zwischenverarbeitungsartefakten und endgültigen strukturierten Ausgaben für zuverlässige Datenpersistenz und Abrufe.
Azure Queue Storage verwaltet ereignisgesteuerte Verarbeitungsworkflows zwischen den Diensten dieser Lösung. Diese Verwaltung gewährleistet eine zuverlässige Nachrichtenverarbeitung und -verarbeitungskoordination über die Pipelinekomponenten hinweg.
Die Website des Inhaltsprozessormonitors zeigt die verarbeiteten Ergebnisse für Benutzer über die Weboberfläche an. Benutzer können die strukturierte JSON-Ausgabe überprüfen, alle Ungenauigkeiten korrigieren, Kommentare für Kontext oder Feedback hinzufügen und die endgültig überprüften Ergebnisse im System speichern.
Der Inhaltsprozessor überwacht websitefeeds die Verarbeitung von Metriken und Benutzerfeedbackdaten direkt in Power BI-Dashboards. Verarbeitete Daten und Metadaten, die in Azure Cosmos DB gespeichert sind, bieten umfassende Analysen zur Inhaltsverarbeitungspipeline. Zu diesen Erkenntnissen gehören KPIs, Erfolgsraten, Dokumenttypverteilungen, Konfidenzbewertungstrends, Benutzerkorrekturmuster und andere operative Metriken, die die datengesteuerte Optimierung der Inhaltsverarbeitungspipeline unterstützen.
Komponenten
Container-Apps ist eine serverlose Containerplattform, mit der Sie Microservices und containerisierte Anwendungen auf einer serverlosen Plattform ausführen können. In dieser Architektur hostet Container-Apps die Verarbeitungspipeline-API, die Inhaltsanalyse koordiniert, zwischen KI-Diensten koordiniert und die Extraktions- und Transformationsworkflows verwaltet. Der code, der ausgeführt wird, ist benutzerdefinierter Code, der von Ihrem Software-Engineering-Team codiert wird.
Azure AI Foundry ist ein verwalteter KI-Dienst, der Zugriff auf erweiterte Sprachmodelle für die Verarbeitung und Generierung natürlicher Sprachen bietet. In dieser Architektur bietet Azure AI Foundry die Grundlage für die Bereitstellung und Verwaltung von KI-Modellen, die in der Inhaltsverarbeitungspipeline verwendet werden, und ist das Gateway zu den verbundenen KI-Diensten, z. B. Content Understanding.
Azure OpenAI in Foundry Models ist eine Komponente von Azure AI Foundry, die Sprachmodelle bereitstellt, einschließlich GPT-4o und GPT-4o mini. In dieser Architektur werden die Modelle als Dienst in Azure AI Foundry gehostet. Diese Modelle führen eine schemabasierte Datentransformation aus, ordnen extrahierten Inhalt strukturierten Formaten zu und berechnen Konfidenzergebnisse für die Extraktionsgenauigkeit.
Content Understanding ist ein multi modaler KI-Dienst, der verschiedene Medieninhalte analysiert, z. B. Audio, Video, Text und Bilder, und transformiert ihn in strukturierte, durchsuchbare Daten. In dieser Architektur führt Content Understanding präzise erweiterte OCR- und Inhaltsextraktion aus modalen Dokumenten durch.
Azure Cosmos DB ist ein global verteilter Datenbankdienst mit mehreren Modellen, der eine garantierte niedrige Latenz und flexible Skalierbarkeit bietet. In dieser Architektur speichert Azure Cosmos DB verarbeitete Ergebnisse, Konfidenzergebnisse, Validierungsergebnisse und historische Verarbeitungsdaten für Überwachungspfade und Leistungsoptimierung.
Blob Storage ist die Objektspeicherlösung von Microsoft, die für die Speicherung massiver unstrukturierter Daten optimiert ist. In dieser Architektur verwaltet Blob Storage Quelldokumente, Zwischenverarbeitungsartefakte und endgültige strukturierte Ausgaben mit zuverlässiger Haltbarkeit und globaler Barrierefreiheit.
Azure Container Registry ist ein verwalteter Docker-Registrierungsdienst, der Containerimages speichert und verwaltet. In dieser Architektur verwaltet die Containerregistrierung versionsbasierte Containerimages für die Verarbeitungspipelinekomponenten. Dieses System stellt konsistente Bereitstellungs- und Rollbackfunktionen sicher.
Power BI ist eine Sammlung von Softwarediensten, Apps und Connectors, die zusammenarbeiten, um Ihnen bei der Erstellung, Freigabe und Nutzung von Geschäftseinblicken zu helfen, die Ihnen und Ihrer Organisation am besten dienen. In dieser Architektur stellt Power BI eine Verbindung mit Azure Cosmos DB her und empfängt Echtzeitverarbeitungsmetriken aus der Überwachungswebanwendung, um umfassende Analysen zur Leistung der Dokumentverarbeitung, Benutzerfeedbackmuster und operative KPIs bereitzustellen.
Szenariodetails
Diese Inhaltsverarbeitungslösung behebt die Herausforderung, aussagekräftige Daten aus großen Mengen unstrukturierter, modaler Inhalte zu extrahieren, die Organisationen täglich erhalten. Die herkömmliche manuelle Verarbeitung von Dokumenten wie Verträgen, Rechnungen, Ansprüchen und Complianceberichten ist zeitaufwändig, fehleranfällig und skaliert nicht mit dem Geschäftswachstum. Daher stehen Organisationen mit inkonsistenter Datenqualität, fehlender Standardisierung und Schwierigkeiten bei der Integration extrahierter Informationen in nachgelagerte Geschäftsprozesse.
Diese Lösung verwendet erweiterte KI-Dienste, um Inhalte aus verschiedenen Dokumenttypen automatisch zu extrahieren, zu transformieren und zu überprüfen. Das System bietet eine Zuverlässigkeitsbewertung, um die automatisierte Verarbeitung für Extraktionen mit hoher Vertrauenswürdigkeit zu ermöglichen und gleichzeitig Ergebnisse mit niedrigerer Konfidenz für die menschliche Überprüfung zu kennzeichnen. Mit diesem Ansatz wird sowohl Geschwindigkeit als auch Genauigkeit gewährleistet und gleichzeitig die Flexibilität bei der Handhabung verschiedener Inhaltsformate und benutzerdefinierter Geschäftsschemas gewährleistet.
Potenzielle Anwendungsfälle
Verarbeitung von Finanzdienstleistungen
Automatisierung der Anspruchsverarbeitung: Extrahieren Sie Richtliniendetails, Schadensbewertungen und Kostenschätzungen aus Versicherungsansprüchen, Fotos und Anpassungsberichten mithilfe automatisierter Validierungs- und Complianceprüfungen.
Rechnungs- und Vertragsverarbeitung: Extrahieren Sie automatisch Lieferanteninformationen, Positionen, Geschäftsbedingungen und Bedingungen aus Rechnungen und Verträgen, und ordnen Sie sie unternehmensweiten Systemen zu, indem Sie die Zuverlässigkeitsbewertung für Genehmigungsworkflows verwenden.
Analyse gesetzlicher Dokumente: Verarbeiten Sie regulatorische Einreichungen, Complianceberichte und Überwachungsdokumentationen, um wichtige Metriken zu extrahieren und die Einhaltung von Finanzvorschriften und Berichtsanforderungen sicherzustellen.
Dokumentation zum Gesundheitswesen
Klinische Dokumentverarbeitung: Extrahieren Sie Patienteninformationen, Diagnosen, Behandlungspläne und Medikamenteninformationen aus medizinischen Aufzeichnungen, Laborberichten und klinischen Notizen für die Integration elektronischer Gesundheitsdatensätze.
Automatisierung der medizinischen Abrechnung: Verarbeiten Sie medizinische Ansprüche, Abrechnungs- und Versicherungsformulare, um Verfahrencodes, Patientendetails und Abdeckungsinformationen für automatisierte Abrechnungsworkflows zu extrahieren.
Datenextraktion der Forschung: Analysieren Sie Klinische Studiendokumente, Forschungspapiere und Patientenzustimmungsformulare, um Studienparameter, Ergebnisse und Compliance-Daten für medizinische Forschungsworkflows zu extrahieren.
Rechts- und Compliance
Vertragsanalyse und -extraktion: Prozessieren Sie rechtliche Verträge, Vereinbarungen und Änderungen, um wichtige Begriffe, Verpflichtungen, Termine und Parteien für die Vertragsverwaltung und Complianceüberwachung zu extrahieren.
Legal document discovery: Analysieren Sie rechtliche Informationen, Einlagen und Falldateien, um relevante Fakten, Zitate und Nachweise für die Unterstützung von Rechtsstreitigkeiten und Die Fallvorbereitung zu extrahieren.
Compliancedokumentation: Verarbeiten Sie behördliche Übermittlungen, Überwachungsberichte und Compliancezertifikate, um Anforderungen, Ergebnisse und Korrekturmaßnahmen für Governance-Workflows zu extrahieren.
Fertigung und Lieferkette
Qualitätsdokumentationsverarbeitung: Extrahieren Sie Inspektionsergebnisse, Testdaten und Zertifizierungsdetails aus Qualitätskontrolldokumenten und Zertifikaten für die Compliance-Nachverfolgung und Prozessverbesserung.
Lieferantendokumentation: Verarbeiten Von Lieferantenzertifizierungen, Materialspezifikationen und Versanddokumenten zum Extrahieren von Compliancedaten und Lieferketteninformationen für Beschaffungsworkflows.
Wartungsdatensatzanalyse: Extrahieren Sie Gerätedaten, Wartungspläne und Reparaturhistorien aus der technischen Dokumentation für predictive Maintenance- und Asset Management-Systeme.
Alternativen
Diese Architektur umfasst mehrere Komponenten, die Sie je nach den funktionalen und nichtfunktionellen Anforderungen Ihrer Workload durch andere Azure-Dienste oder -Ansätze ersetzen können. Berücksichtigen Sie die folgenden Alternativen und Kompromisse.
Ansatz zur Inhaltsextraktion
Aktueller Ansatz: Diese Lösung verwendet Inhaltsverständnis für erweiterte OCR- und Inhaltsextraktion in Kombination mit Azure OpenAI für die Schemazuordnung und -transformation. Dieser Ansatz bietet eine hohe Genauigkeit für komplexe, modale Inhalte mit flexibler Schemaanpassung.
Alternativer Ansatz: Verwenden Sie Azure AI Document Intelligence für die Dokumentverarbeitung mithilfe vordefinierter Modelle für allgemeine Dokumenttypen wie Rechnungen, Belege und Formulare. Dieser Ansatz bietet eine schnellere Implementierung für Standarddokumenttypen, aber weniger Flexibilität für benutzerdefinierte Schemas.
Erwägen Sie diese Alternative, wenn Ihre Workload die folgenden Merkmale aufweist:
Sie verarbeiten in erster Linie Standarddokumenttypen mit klar definierten Formaten.
Sie benötigen schnellere Zeit-zu-Markt-Modelle mit vorgefertigten Extraktionsmodellen.
Ihre Schemaanforderungen richten sich an standarddokumentintelligenzmodelle.
Sie haben begrenzte benutzerdefinierte Entwicklungsressourcen für die Schemazuordnung.
Verarbeiten der Orchestrierung
Aktueller Ansatz: Diese Lösung verwendet Container-Apps, um benutzerdefinierte Verarbeitungslogik zu hosten, die die Inhaltsanalysepipeline koordiniert. Dieser Ansatz bietet maximale Kontrolle über verarbeitungsworkflows, fehlerbehandlung und benutzerdefinierte Geschäftslogikintegration.
Alternativer Ansatz: Verwenden Sie Azure Logic Apps oder Azure Functions für die Workflow-Orchestrierung mit integrierten Connectors für KI-Dienste. Dieser Ansatz bietet visuelle Vorteile des Workflowdesigns und verwalteten Diensts, aber weniger Kontrolle über die Verarbeitungslogik.
Erwägen Sie diese Alternative, wenn Ihre Workload die folgenden Merkmale aufweist:
Sie bevorzugen visuelles Workflowdesign gegenüber der entwicklung von benutzerdefiniertem Code.
Ihre Verarbeitungsworkflows sind relativ einfach und verwenden standardmäßige bedingte Logik.
Sie möchten den Verwaltungsaufwand für die Infrastruktur minimieren.
Ihr Team verfügt über mehr Know-how in Low-Code- und No-Code-Lösungen als in containerisierten Anwendungen.
Kostenoptimierung
Die Kostenoptimierung konzentriert sich auf Möglichkeiten, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu verbessern. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Kostenoptimierung.
Weitere Informationen zu den Kosten für die Ausführung dieses Szenarios finden Sie in der vorkonfigurierten Schätzung im Azure-Preisrechner.
Die Preise variieren je nach Region und Nutzung, sodass es nicht möglich ist, genaue Kosten für Ihre Bereitstellung vorherzusagen. Die meisten in dieser Infrastruktur verwendeten Azure-Ressourcen folgen nutzungsbasierten Preisstufen. Für die Containerregistrierung fallen jedoch fixe Kosten pro Registrierung pro Tag an.
Bereitstellen dieses Szenarios
Führen Sie die Schritte im GitHub-Repository aus, um eine Implementierung dieser Architektur bereitzustellen.
Beitragende
Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.
Hauptautor:
- Salomon Pickett | Softwaretechniker II
Anderer Mitwirkender:
- Todd Herman | Principal Software Engineer
Um nicht-öffentliche LinkedIn-Profile anzuzeigen, melden Sie sich bei LinkedIn an.