Extraire du texte d’objets à l’aide de Power Automate et d’AI Builder

AI Builder

Azure AI Document Intelligence

Power Automate

Microsoft Power Platform

Azure Functions

Cet article présente une solution pour l’extraction de texte à partir d’images afin qu’elles puissent être indexées et récupérées dans SharePoint. À l’aide d’AI Builder et Azure AI Intelligence documentaire, vous pouvez configurer un flux de travail Power Automate pour utiliser un modèle formé afin d’extraire du texte d’une image. Une fois que vous avez configuré un flux de travail, vous pouvez rapidement rechercher dans les documents du texte significatif intégré dans des formes et des objets.

Architecture

Téléchargez un fichier Visio de cette architecture.

Flux de travail

1. Un modèle de détection d’objets est formé dans AI Builder pour reconnaître les objets qu’un utilisateur spécifie.
2. Un nouveau document entre dans une bibliothèque de documents SharePoint, OneDrive ou Teams.
3. L’arrivée du document déclenche un événement Power Automate. Cet événement :
   1. Exécute le modèle AI Builder. AI Builder retourne un fichier JSON qui contient les coordonnées en pixels de tous les objets spécifiés.
   2. Envoie le document à Intelligence documentaire pour une analyse complète de la reconnaissance optique de caractères (OCR). Intelligence documentaire renvoie un fichier JSON qui contient les coordonnées texte et pixel du texte analysé.
   3. Exécute une fonction dans Azure Functions. La fonction analyse les coordonnées en pixels dans les fichiers de sortie AI Builder et Intelligence documentaire. Si les objets détectés se croisent avec du texte analysé, la fonction retourne les données correspondantes dans un fichier JSON.
   4. Entre les métadonnées, ou le texte des objets détectés, dans une bibliothèque de documents.
4. Les métadonnées sont capturées dans un index de recherche SharePoint.
5. Les utilisateurs recherchent les métadonnées à l’aide des composants WebPart de recherche moderne PnP.

Composants

• AI Builder est une fonctionnalité Microsoft Power Platform. Utilisez AI Builder pour former des modèles afin de reconnaître des objets dans des images. AI Builder offre également des modèles prédéfinis pour la détection d’objets.
• Document Intelligence utilise des modèles Machine Learning pour extraire et analyser des champs de formulaire, du texte et des tableaux de vos documents.
• Power Automate fait partie des solutions intuitives no-code ou low-code de Microsoft Power Platform. Power Automate est un service de workflow en ligne qui automatise des actions dans les applications et services les plus courants.
• Azure Functions est une plateforme de calcul serverless pilotée par les événements. Azure Functions s’exécute à la demande et à grande échelle dans le cloud.
• La solution PnP de recherche moderne est un ensemble de composants webpart SharePoint modernes dans Microsoft 365. À l’aide de ces outils, vous pouvez créer des expériences basées sur des recherches hautement flexibles et personnalisées.

Autres solutions

• Azure AI services peut effectuer une analyse OCR complète des documents, avec les métadonnées résultantes stockées dans SharePoint.
• SharePoint peut exécuter des analyses OCR sur des documents et ajouter le contenu produit à l'index pour le récupérer. Utilisez des techniques de recherche pour cibler des informations clés dans des documents.
• Si vous souhaitez traiter un taux élevé de documents, envisagez d’utiliser Azure Logic Apps pour configurer les composants. Azure Logic Apps est une solution rentable qui vous empêche d’atteindre les limites de consommation de votre locataire. Pour plus d’informations, consultez Azure Logic Apps.

Détails du scénario

Les diagrammes schématiques et industriels possèdent souvent des objets qui contiennent du texte. L’analyse manuelle des documents pour rechercher du texte pertinent peut s’avérer longue et fastidieuse.

Cas d’usage potentiels

Les cas d’usage sont les suivants :

• Diagrammes de schéma d’ingénierie compliqués qui contiennent différents types d’objets. À l’aide de cette solution, vous pouvez rechercher rapidement des composants spécifiques dans un diagramme. Avoir accès à du texte incorporé dans des objets est utile pour effectuer des investigations, en exposant des pénuries ou en recherchant des notifications de rappel et d’échec.
• Diagrammes industriels représentant les composants dans un assembly de fabrication. Cette solution identifie rapidement les pompes, vannes, commutateurs automatisés et autres composants. L’identification des composants facilite la maintenance préventive, l’isolation des composants dangereux et l’amélioration de la visibilité de la gestion des risques dans votre organisation.

Contributeurs

Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

• Steve Pucelik | Spécialiste senior

Étapes suivantes

• Découvrez les types de documents qui conviennent parfaitement à cette solution. Les documents classiques incluent des diagrammes schématiques, des processus de contrôle de fabrication et des diagrammes qui contiennent de nombreuses formes qui doivent être isolées. Pour plus d’informations, consultez modèles personnalisés Document Intelligence.
• Familiarisez-vous avec les fonctionnalités offertes par AI Builder. Pour plus d’informations, consultez Vue d’ensemble d’AI Builder dans Power Automate.
• Définissez une architecture d’informations qui peut recevoir et traiter vos métadonnées. Pour plus d’informations, consultez 'ensemble de compétences Recherche d’IA Azure.
• Pour plus d’informations sur le fonctionnement de la solution et savoir si elle convient à vos cas d’utilisation, consultez Extraire du texte à partir des objets.

Cet article présente une solution pour l’extraction de texte à partir d’images afin qu’elles puissent être indexées et récupérées dans SharePoint. À l’aide d’AI Builder et Azure AI Intelligence documentaire, vous pouvez configurer un flux de travail Power Automate pour utiliser un modèle formé afin d’extraire du texte d’une image. Une fois que vous avez configuré un flux de travail, vous pouvez rapidement rechercher dans les documents du texte significatif intégré dans des formes et des objets.

Architecture

Téléchargez un fichier Visio de cette architecture.

Flux de travail

1. Un modèle de détection d’objets est formé dans AI Builder pour reconnaître les objets qu’un utilisateur spécifie.
2. Un nouveau document entre dans une bibliothèque de documents SharePoint, OneDrive ou Teams.
3. L’arrivée du document déclenche un événement Power Automate. Cet événement :
   1. Exécute le modèle AI Builder. AI Builder retourne un fichier JSON qui contient les coordonnées en pixels de tous les objets spécifiés.
   2. Envoie le document à Intelligence documentaire pour une analyse complète de la reconnaissance optique de caractères (OCR). Intelligence documentaire renvoie un fichier JSON qui contient les coordonnées texte et pixel du texte analysé.
   3. Exécute une fonction dans Azure Functions. La fonction analyse les coordonnées en pixels dans les fichiers de sortie AI Builder et Intelligence documentaire. Si les objets détectés se croisent avec du texte analysé, la fonction retourne les données correspondantes dans un fichier JSON.
   4. Entre les métadonnées, ou le texte des objets détectés, dans une bibliothèque de documents.
4. Les métadonnées sont capturées dans un index de recherche SharePoint.
5. Les utilisateurs recherchent les métadonnées à l’aide des composants WebPart de recherche moderne PnP.

Composants

• AI Builder est une fonctionnalité Microsoft Power Platform. Utilisez AI Builder pour former des modèles afin de reconnaître des objets dans des images. AI Builder offre également des modèles prédéfinis pour la détection d’objets.
• Document Intelligence utilise des modèles Machine Learning pour extraire et analyser des champs de formulaire, du texte et des tableaux de vos documents.
• Power Automate fait partie des solutions intuitives no-code ou low-code de Microsoft Power Platform. Power Automate est un service de workflow en ligne qui automatise des actions dans les applications et services les plus courants.
• Azure Functions est une plateforme de calcul serverless pilotée par les événements. Azure Functions s’exécute à la demande et à grande échelle dans le cloud.
• La solution PnP de recherche moderne est un ensemble de composants webpart SharePoint modernes dans Microsoft 365. À l’aide de ces outils, vous pouvez créer des expériences basées sur des recherches hautement flexibles et personnalisées.

Autres solutions

• Azure AI services peut effectuer une analyse OCR complète des documents, avec les métadonnées résultantes stockées dans SharePoint.
• SharePoint peut exécuter des analyses OCR sur des documents et ajouter le contenu produit à l'index pour le récupérer. Utilisez des techniques de recherche pour cibler des informations clés dans des documents.
• Si vous souhaitez traiter un taux élevé de documents, envisagez d’utiliser Azure Logic Apps pour configurer les composants. Azure Logic Apps est une solution rentable qui vous empêche d’atteindre les limites de consommation de votre locataire. Pour plus d’informations, consultez Azure Logic Apps.

Détails du scénario

Les diagrammes schématiques et industriels possèdent souvent des objets qui contiennent du texte. L’analyse manuelle des documents pour rechercher du texte pertinent peut s’avérer longue et fastidieuse.

Cas d’usage potentiels

Les cas d’usage sont les suivants :

• Diagrammes de schéma d’ingénierie compliqués qui contiennent différents types d’objets. À l’aide de cette solution, vous pouvez rechercher rapidement des composants spécifiques dans un diagramme. Avoir accès à du texte incorporé dans des objets est utile pour effectuer des investigations, en exposant des pénuries ou en recherchant des notifications de rappel et d’échec.
• Diagrammes industriels représentant les composants dans un assembly de fabrication. Cette solution identifie rapidement les pompes, vannes, commutateurs automatisés et autres composants. L’identification des composants facilite la maintenance préventive, l’isolation des composants dangereux et l’amélioration de la visibilité de la gestion des risques dans votre organisation.

Contributeurs

Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

• Steve Pucelik | Spécialiste senior

Étapes suivantes

• Découvrez les types de documents qui conviennent parfaitement à cette solution. Les documents classiques incluent des diagrammes schématiques, des processus de contrôle de fabrication et des diagrammes qui contiennent de nombreuses formes qui doivent être isolées. Pour plus d’informations, consultez modèles personnalisés Document Intelligence.
• Familiarisez-vous avec les fonctionnalités offertes par AI Builder. Pour plus d’informations, consultez Vue d’ensemble d’AI Builder dans Power Automate.
• Définissez une architecture d’informations qui peut recevoir et traiter vos métadonnées. Pour plus d’informations, consultez 'ensemble de compétences Recherche d’IA Azure.
• Pour plus d’informations sur le fonctionnement de la solution et savoir si elle convient à vos cas d’utilisation, consultez Extraire du texte à partir des objets.