Extrahieren von Text aus Objekten mithilfe von Power Automate und AI Builder

AI Builder

Azure KI Dokument Intelligenz

Power Automate

Microsoft Power Platform

Azure-Funktionen

In diesem Artikel wird eine Lösung zum Extrahieren von Text aus Bildern beschrieben, damit dieser in SharePoint indiziert und abgerufen werden kann. Mit AI Builder und der Azure KI Dokument Intelligenz können Sie einen Power Automate-Workflow so konfigurieren, dass mit einem trainierten Modell Text aus einem Bild extrahiert wird. Nachdem Sie einen Workflow konfiguriert haben, können Sie Dokumente schnell nach aussagekräftigem Text durchsuchen, der Teil von Formen und Objekten ist.

Aufbau

Laden Sie eine Visio-Datei dieser Architektur herunter.

Arbeitsablauf

1. Ein Objekterkennungsmodell wird in AI Builder trainiert, um von einem Benutzer angegebene Objekte zu erkennen.
2. Ein neues Dokument erscheint in einer SharePoint-Dokumentbibliothek, OneDrive oder Teams.
3. Die Ankunft des Dokuments löst ein Power Automate-Ereignis aus. Dieses Ereignis umfasst folgende Aktionen:
   1. Das AI Builder-Modell wird ausgeführt. AI Builder gibt eine JSON-Datei zurück, die die Pixelkoordinaten aller angegebenen Objekte enthält.
   2. Das Dokument wird an die Dokument Intelligenz gesendet, die einen vollständigen OCR-Scan (Optical Character Recognition, optische Zeichenerkennung) ausführt. Die Dokument Intelligenz gibt eine JSON-Datei zurück, die gescannten Text und Pixelkoordinaten des Texts enthält.
   3. Eine Azure Functions-Funktion wird ausgeführt. Die Funktion analysiert die Pixelkoordinaten im den AI Builder- und Dokument Intelligenz-Ausgabedateien. Wenn sich erkannte Objekte mit gescanntem Text überschneiden, gibt die Funktion die übereinstimmenden Daten in einer JSON-Datei zurück.
   4. Sie gibt die Metadaten oder den Text erkannter Objekten in eine Dokumentbibliothek ein.
4. Die Metadaten werden in einem SharePoint-Suchindex erfasst.
5. Benutzer suchen mithilfe von PnP Modern Search-Webparts nach den Metadaten.

Komponenten

• AI Builder ist eine Microsoft Power Platform-Funktion. Verwenden Sie AI Builder, um Modelle zum Erkennen von Objekten in Bildern zu trainieren. AI Builder bietet auch vordefinierte Modelle für die Objekterkennung.
• Document Intelligence verwendet Machine Learning-Modelle zum Extrahieren und Analysieren von Formularfeldern, Text und Tabellen aus Ihren Dokumenten.
• Power Automate ist Ein Teil von der intuitiven Microsoft Power Platform-Lösungen mit geringer oder gar keiner Notwendigkeit zum Schreiben von Code. Power Automate ist ein Online-Workflowdienst, der Aktionen für die gängigsten Apps und Dienste automatisiert.
• Azure Functions ist eine ereignisgesteuerte serverlose Computeplattform. Azure Functions wird bedarfsgesteuert und skalierbar in der Cloud ausgeführt.
• Die PnP Modern Search-Lösung ist eine Reihe von modernen SharePoint Microsoft 365-Webparts. Mithilfe dieser Tools können Sie äußerst flexible und personalisierte suchbasierte Erfahrungen erstellen.

Alternativen

• Azure KI Services können eine vollständige OCR-Überprüfung von Dokumenten durchführen, bei der die resultierenden Metadaten im SharePoint gespeichert werden.
• SharePoint kann OCR-Scans von Dokumenten ausführen und dem Index ausgegebene Inhalte zum Abrufen hinzufügen. Verwenden Sie Suchtechniken, um wichtige Informationen in Dokumenten zu finden.
• Wenn Sie eine hohe Rate von Dokumenten verarbeiten möchten, sollten Sie erwägen, die Komponenten mit Azure Logic Apps zu konfigurieren. Azure Logic Apps verhindert, dass Sie die Verbrauchsgrenzwerte in Ihrem Mandanten überschreiten, und ist kostengünstig. Weitere Informationen finden Sie unter Azure Logic Apps.

Szenariodetails

Schematische und industrielle Diagramme enthalten häufig Objekte mit Text. In Dokumenten manuell nach relevantem Text zu suchen, kann mühsam und zeitaufwändig sein.

Mögliche Anwendungsfälle

Zu den Anwendungsfällen zählen:

• Komplizierte technische schematische Diagramme, die verschiedene Objekttypen enthalten. Mit dieser Lösung können Sie schnell nach bestimmten Komponenten in einem Diagramm suchen. Der Zugriff auf eingebetteten Text in Objekten ist hilfreich für Untersuchungen, die Offenlegung von Engpässen oder die Suche nach Rückruf- und Ausfallmeldungen.
• Industriediagramme, die die Komponenten in einer Fertigungsanlage darstellen. Diese Lösung identifiziert sofort Pumpen, Ventile, automatisierte Schalter und andere Komponenten. Das Identifizieren von Komponenten hilft bei der vorbeugenden Wartung, der Isolierung von gefährlichen Komponenten und bietet Durchblick für das Risikomanagement in Ihrer Organisation.

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:

Hauptautor:

• Steve Pucelik | Sr. Spezialist

Nächste Schritte

• Machen Sie sich mit den Arten von Dokumenten vertraut, die für diese Lösung gut geeignet sind. Typische Dokumente sind schematische Diagramme, Fertigungskontrollprozesse und Diagramme, die viele Formen enthalten, die isoliert werden müssen. Weitere Informationen finden Sie unter benutzerdefinierten Dokumentintelligenzmodellen.
• Machen Sie sich mit den Funktionen von AI Builder vertraut. Weitere Informationen finden Sie unter AI Builder in Power Automate – Übersicht.
• Definieren Sie eine Informationsarchitektur, die Ihre Metadaten empfangen und verarbeiten kann. Weitere Informationen finden Sie unter Azure AI Search Skills Set.
• Informationen dazu, wie die Lösung funktioniert und ob sie für Ihre Anwendungsfälle geeignet ist, finden Sie unter Extrahieren von Text aus Objekten.

In diesem Artikel wird eine Lösung zum Extrahieren von Text aus Bildern beschrieben, damit dieser in SharePoint indiziert und abgerufen werden kann. Mit AI Builder und der Azure KI Dokument Intelligenz können Sie einen Power Automate-Workflow so konfigurieren, dass mit einem trainierten Modell Text aus einem Bild extrahiert wird. Nachdem Sie einen Workflow konfiguriert haben, können Sie Dokumente schnell nach aussagekräftigem Text durchsuchen, der Teil von Formen und Objekten ist.

Aufbau

Laden Sie eine Visio-Datei dieser Architektur herunter.

Arbeitsablauf

1. Ein Objekterkennungsmodell wird in AI Builder trainiert, um von einem Benutzer angegebene Objekte zu erkennen.
2. Ein neues Dokument erscheint in einer SharePoint-Dokumentbibliothek, OneDrive oder Teams.
3. Die Ankunft des Dokuments löst ein Power Automate-Ereignis aus. Dieses Ereignis umfasst folgende Aktionen:
   1. Das AI Builder-Modell wird ausgeführt. AI Builder gibt eine JSON-Datei zurück, die die Pixelkoordinaten aller angegebenen Objekte enthält.
   2. Das Dokument wird an die Dokument Intelligenz gesendet, die einen vollständigen OCR-Scan (Optical Character Recognition, optische Zeichenerkennung) ausführt. Die Dokument Intelligenz gibt eine JSON-Datei zurück, die gescannten Text und Pixelkoordinaten des Texts enthält.
   3. Eine Azure Functions-Funktion wird ausgeführt. Die Funktion analysiert die Pixelkoordinaten im den AI Builder- und Dokument Intelligenz-Ausgabedateien. Wenn sich erkannte Objekte mit gescanntem Text überschneiden, gibt die Funktion die übereinstimmenden Daten in einer JSON-Datei zurück.
   4. Sie gibt die Metadaten oder den Text erkannter Objekten in eine Dokumentbibliothek ein.
4. Die Metadaten werden in einem SharePoint-Suchindex erfasst.
5. Benutzer suchen mithilfe von PnP Modern Search-Webparts nach den Metadaten.

Komponenten

• AI Builder ist eine Microsoft Power Platform-Funktion. Verwenden Sie AI Builder, um Modelle zum Erkennen von Objekten in Bildern zu trainieren. AI Builder bietet auch vordefinierte Modelle für die Objekterkennung.
• Document Intelligence verwendet Machine Learning-Modelle zum Extrahieren und Analysieren von Formularfeldern, Text und Tabellen aus Ihren Dokumenten.
• Power Automate ist Ein Teil von der intuitiven Microsoft Power Platform-Lösungen mit geringer oder gar keiner Notwendigkeit zum Schreiben von Code. Power Automate ist ein Online-Workflowdienst, der Aktionen für die gängigsten Apps und Dienste automatisiert.
• Azure Functions ist eine ereignisgesteuerte serverlose Computeplattform. Azure Functions wird bedarfsgesteuert und skalierbar in der Cloud ausgeführt.
• Die PnP Modern Search-Lösung ist eine Reihe von modernen SharePoint Microsoft 365-Webparts. Mithilfe dieser Tools können Sie äußerst flexible und personalisierte suchbasierte Erfahrungen erstellen.

Alternativen

• Azure KI Services können eine vollständige OCR-Überprüfung von Dokumenten durchführen, bei der die resultierenden Metadaten im SharePoint gespeichert werden.
• SharePoint kann OCR-Scans von Dokumenten ausführen und dem Index ausgegebene Inhalte zum Abrufen hinzufügen. Verwenden Sie Suchtechniken, um wichtige Informationen in Dokumenten zu finden.
• Wenn Sie eine hohe Rate von Dokumenten verarbeiten möchten, sollten Sie erwägen, die Komponenten mit Azure Logic Apps zu konfigurieren. Azure Logic Apps verhindert, dass Sie die Verbrauchsgrenzwerte in Ihrem Mandanten überschreiten, und ist kostengünstig. Weitere Informationen finden Sie unter Azure Logic Apps.

Szenariodetails

Schematische und industrielle Diagramme enthalten häufig Objekte mit Text. In Dokumenten manuell nach relevantem Text zu suchen, kann mühsam und zeitaufwändig sein.

Mögliche Anwendungsfälle

Zu den Anwendungsfällen zählen:

• Komplizierte technische schematische Diagramme, die verschiedene Objekttypen enthalten. Mit dieser Lösung können Sie schnell nach bestimmten Komponenten in einem Diagramm suchen. Der Zugriff auf eingebetteten Text in Objekten ist hilfreich für Untersuchungen, die Offenlegung von Engpässen oder die Suche nach Rückruf- und Ausfallmeldungen.
• Industriediagramme, die die Komponenten in einer Fertigungsanlage darstellen. Diese Lösung identifiziert sofort Pumpen, Ventile, automatisierte Schalter und andere Komponenten. Das Identifizieren von Komponenten hilft bei der vorbeugenden Wartung, der Isolierung von gefährlichen Komponenten und bietet Durchblick für das Risikomanagement in Ihrer Organisation.

Beitragende

Dieser Artikel wird von Microsoft gepflegt. Er wurde ursprünglich von folgenden Mitwirkenden geschrieben:

Hauptautor:

• Steve Pucelik | Sr. Spezialist

Nächste Schritte

• Machen Sie sich mit den Arten von Dokumenten vertraut, die für diese Lösung gut geeignet sind. Typische Dokumente sind schematische Diagramme, Fertigungskontrollprozesse und Diagramme, die viele Formen enthalten, die isoliert werden müssen. Weitere Informationen finden Sie unter benutzerdefinierten Dokumentintelligenzmodellen.
• Machen Sie sich mit den Funktionen von AI Builder vertraut. Weitere Informationen finden Sie unter AI Builder in Power Automate – Übersicht.
• Definieren Sie eine Informationsarchitektur, die Ihre Metadaten empfangen und verarbeiten kann. Weitere Informationen finden Sie unter Azure AI Search Skills Set.
• Informationen dazu, wie die Lösung funktioniert und ob sie für Ihre Anwendungsfälle geeignet ist, finden Sie unter Extrahieren von Text aus Objekten.