Prise en main de l’outil d’étiquetage des exemples de Document Intelligence

Ce contenu s’applique à : v2.1.

Conseil

• Pour une expérience améliorée et une qualité de modèle avancée, essayez Studio Intelligence Documentaire v3.0.
• V3.0 Studio prend en charge n’importe quel modèle entraîné avec des données étiquetées v2.1.
• Vous pouvez consulter le guide de migration d’API pour obtenir des informations détaillées sur la migration de v2.1 vers v3.0.
• Consultez nos guides de démarrage rapide sur l’API REST ou sur les SDK C#, Java, JavaScript ou Python pour bien démarrer avec la version v3.0.

L’outil d’étiquetage des exemples Azure AI Document Intelligence est un outil open source qui vous permet de tester les fonctionnalités les plus récentes des services d’Intelligence documentaire et de reconnaissance optique de caractères (OCR) Azure :

• Analyser les documents avec l’API Layout. Essayez l’API Layout pour extraire du texte, des tableaux, des marques de sélection et une structure à partir de documents.

• Analyser les documents à l’aide d’un modèle prédéfini. Commencez avec un modèle prédéfini pour extraire des données des factures, des reçus, des documents d’identité ou des cartes de visite.

• Entraîner et analyser un formulaire personnalisé. Utilisez un modèle personnalisé pour extraire des données de documents spécifiques pour distinguer les données d’entreprise et les cas d’usage.

Prérequis

Pour commencer, vous devez disposer des éléments suivants :

• Un abonnement Azure : vous pouvez en créer un gratuitement

• Une ressource Azure AI services ou Document Intelligence. Une fois que vous avez votre abonnement Azure, créez une ressource Document Intelligence monoservice ou multiservice sur le portail Azure pour obtenir votre clé et votre point de terminaison. Vous pouvez utiliser le niveau tarifaire Gratuit (F0) pour tester le service, puis passer par la suite à un niveau payant pour la production.

  Conseil

  Créez une ressource Azure AI services si vous envisagez d’accéder à plusieurs services Azure AI services sous un seul point de terminaison/une seule clé. Pour l’accès à Document Intelligence uniquement, créez une ressource Document Intelligence. Veuillez noter que vous aurez besoin d'une ressource à service unique si vous avez l'intention d'utiliser l'authentification Microsoft Entra.

Créer une ressource Document Intelligence

Accédez au portail Azure et créer une nouvelle ressource Document Intelligence. Dans le volet Créer, indiquez les informations suivantes :

Détails du projet	Description
Abonnement	Sélectionnez l’abonnement Azure auquel l’accès a été accordé.
Groupe de ressources	Groupe de ressources Azure qui contient votre ressource. Vous pouvez créer un groupe ou l’ajouter à un groupe préexistant.
Région	L’emplacement de votre ressource Azure AI Services. Des emplacements différents peuvent entraîner une latence. Toutefois, cela n’aura pas d’impact sur la disponibilité d’exécution de votre ressource.
Nom	Nom descriptif de votre ressource. Nous recommandons d’utiliser un nom explicite, par exemple MyNameFormRecognizer.
Niveau tarifaire	Le coût de la ressource dépend du niveau tarifaire que vous choisissez et de votre utilisation. Pour plus d'informations, consultez le détail des tarifs de l’API.
Vérifier + créer	Sélectionnez le bouton Vérifier + créer pour déployer votre ressource sur le portail Azure.

Récupérer la clé et le point de terminaison

Lorsque le déploiement de la ressource Document Intelligence se termine, recherchez-la et sélectionnez-la dans la liste Toutes les ressources dans le portail. Votre clé et votre point de terminaison se trouvent dans la page Clé et point de terminaison de la ressource, sous Gestion des ressources. Enregistrez ces deux éléments à un emplacement temporaire avant de continuer.

Analyser à l’aide d’un modèle prédéfini

Document Intelligence propose plusieurs modèles prédéfinis. Chaque modèle possède son propre ensemble de champs pris en charge. Le modèle à utiliser pour l’opération Analyze dépend du type de document à analyser. Voici les modèles prédéfinis actuellement pris en charge par le service Document Intelligence :

• Facture : extrait le texte, les marques de sélection, les tableaux, les paires clé-valeur et les informations clés des factures.
• Reçu : extrait le texte et les informations clés des reçus.
• Document d’identité : extrait le texte et les informations clés des permis de conduire et des passeports internationaux.
• Carte de visite : extrait le texte et les informations clés des cartes de visite.

1. Accédez à l’outil d’exemples Document Intelligence.

2. Dans la page d’accueil de l’outil d’étiquetage d’échantillon, sélectionnez la vignette Utiliser un modèle prédéfini pour obtenir des données.

   

3. Sélectionnez le Type de formulaire à analyser dans le menu déroulant.

4. Choisissez un URL pour le fichier que vous souhaitez analyser à partir des options ci-dessous :

   • Exemple de facture.
   • Exemple de document d’identité.
   • Exemple de reçu.
   • Exemple de carte de visite.

5. Dans le champ Source, sélectionnez URL dans le menu déroulant, collez l’URL sélectionnée, puis sélectionnez le bouton Récupérer.

   

6. Dans le champ Point de terminaison du service Document Intelligence, collez le point de terminaison que vous avez obtenu avec votre abonnement Document Intelligence.

7. Dans le champ Clé, collez la clé que vous avez obtenue de votre ressource Document Intelligence.

   

8. Cliquez sur Exécuter l’analyse. L’outil d’étiquetage des exemples d’Intelligence Documentaire appelle l’API Analyze Prebuilt et analyse le document.

9. Afficher les résultats : consultez les paires clé-valeur extraites, les articles, le texte mis en évidence extrait et les tableaux détectés.

   

10. Téléchargez le fichier de sortie JSON pour consulter les résultats détaillés.

    • Le nœud « readResults » contient chaque ligne de texte avec sa position de cadre englobant respective dans la page.
    • Le nœud « selectionMarks » affiche chaque marque de sélection (case à cocher, case d’option) et indique si son état est selected ou unselected.
    • La section « pageResults » comprend les tableaux extraits. Pour chaque tableau, le texte, l’index de ligne et de colonne, l’étendue de ligne et de colonne, le cadre englobant, etc. sont extraits.
    • Le champ « documentResults » contient les informations sur les paires clé/valeur et sur les éléments de ligne pour les parties les plus pertinentes du document.

Analyser la disposition

L’API de disposition d’Azure Document Intelligence extrait du texte, des tableaux, des marques de sélection et des informations de structure à partir de documents (PDF, TIFF) et d’images (JPG, PNG, BMP).

1. Accédez à l’outil d’exemples Document Intelligence.

2. Dans la page d’accueil de l’outil d’étiquetage des exemples, sélectionnez Utiliser Disposition pour obtenir du texte, des tableaux et des marques de sélection.

   

3. Dans le champ Point de terminaison du service Document Intelligence, collez le point de terminaison que vous avez obtenu avec votre abonnement Document Intelligence.

4. Dans le champ Clé, collez la clé que vous avez obtenue de votre ressource Document Intelligence.

5. Dans le champ Source, sélectionnez URL dans le menu déroulant, collez l’URL suivante https://raw.githubusercontent.com/Azure-Samples/cognitive-services-REST-api-samples/master/curl/form-recognizer/layout-page-001.jpg, puis sélectionnez le bouton Récupérer.

6. Sélectionnez Exécuter la requête. L’outil d’étiquetage d’exemples d’Intelligence Documentaire appelle Analyze Layout API et analyse le document.

   

7. Affichez les résultats : consultez le texte extrait mis en évidence, les marques de sélection détectées et les tableaux détectés.

   

8. Téléchargez le fichier de sortie JSON pour afficher les résultats détaillés de la disposition.

   • Le nœud readResults contient chaque ligne de texte avec sa position de cadre englobant respectif dans la page.
   • Le nœud selectionMarks affiche chaque marque de sélection (case à cocher ou case d’option) et indique si son état est selected ou unselected.
   • La section pageResults comprend les tableaux extraits. Pour chaque tableau, le texte, l’index de ligne et de colonne, l’étendue de ligne et de colonne, le cadre englobant, etc. sont extraits.

Entraîner un modèle de formulaire personnalisé

Effectuez l’apprentissage d’un modèle personnalisé pour analyser et extraire les données de formulaires et de documents spécifiques à votre entreprise. L’API est un programme de Machine Learning entraîné à reconnaître les champs de formulaire dans vos contenus spécifiques et à extraire des paires clé-valeur et des données de table. Vous avez seulement besoin de cinq exemples du même type de formulaire pour commencer. L’apprentissage de votre modèle personnalisé peut s’effectuer avec ou sans jeux de données étiquetés.

Prérequis pour entraîner un modèle de formulaire personnalisé

• Un conteneur d’objets blob du Stockage Azure qui contient un jeu de données d’entraînement. Vérifiez que tous les documents d’entraînement ont le même format. Si vous avez des formulaires dans plusieurs formats, organisez-les en sous-dossiers en fonction du format. Pour ce projet, vous pouvez utiliser notre exemple de jeu de données.

• Si vous ignorez comment créer un compte de stockage Azure avec un conteneur, suivez le Guide de démarrage rapide du Stockage Azure pour le portail Azure.

• Configuration de CORS

  CORS (Cross Origin Resource Sharing) doit être configuré sur votre compte Stockage Azure pour qu’il soit accessible à partir de Document Intelligence Studio. Pour configurer CORS dans le Portail Azure, vous devez accéder à l’onglet CORS de votre compte de stockage.

  1. Sélectionnez l’onglet CORS pour le compte de stockage.

     

  2. Commencez par créer une entrée CORS dans le service BLOB.

  3. Définissez le paramètre Origines autorisées sur https://fott-2-1.azurewebsites.net.

     

     Conseil

     Vous pouvez utiliser le caractère générique « * » au lieu d’un domaine précis pour autoriser tous les domaines d'origine à effectuer des demandes via CORS.

  4. Sélectionnez les 8 options disponibles pour Méthodes autorisées.

  5. Approuvez tous les En-têtes autorisés et tous les En-têtes exposés en entrant un * dans chaque champ.

  6. Affectez à Âge maximal la valeur 120 secondes ou toute autre valeur acceptable.

  7. Sélectionnez le bouton Enregistrer en haut de la page pour enregistrer les modifications.

Utiliser l’outil d’étiquetage des exemples

1. Accédez à l’outil d’exemples Document Intelligence.

2. Dans la page d’accueil de l’outil d’étiquetage des exemples, sélectionnez Utiliser un formulaire personnalisé pour effectuer l’apprentissage d’un modèle avec des étiquettes et obtenir des paires clé/valeur.

   

3. Sélectionnez Nouveau projet

   

Création d'un projet

Configurez les Paramètres du projet en renseignant les champs avec les valeurs suivantes :

1. Nom d’affichage. Nommez votre projet.

2. Jeton de sécurité. Chaque projet génère automatiquement un jeton de sécurité pouvant servir à chiffrer/déchiffrer les paramètres sensibles du projet. Vous pouvez accéder aux jetons de sécurité dans les paramètres de l’application, en sélectionnant l’icône d’engrenage en bas de la barre de navigation gauche.

3. Connexion source. L’outil d’étiquetage des exemples se connecte à une source (vos formulaires chargés d’origine) et à une cible (données de sortie et étiquettes créées). Les connexions peuvent être configurées et partagées entre les projets. Elles utilisent un modèle de fournisseur extensible, ce qui vous permet d’ajouter facilement de nouveaux fournisseurs sources/cibles.

   • Créez une connexion. Sélectionnez le bouton Ajouter une connexion. Renseignez les champs avec les valeurs suivantes :
   • Nom d’affichage. Nommez la connexion.
   • Description. Ajoutez une brève description.
   • URL SAS. Collez l’URL de signature d’accès partagé (SAS) de votre conteneur Stockage Blob Azure.

   • Si vous souhaitez récupérer l’URL SAS pour vos données d’entraînement de modèle personnalisé, accédez à votre ressource de stockage dans le portail Azure, puis sélectionnez l’onglet Explorateur Stockage. Accédez à votre conteneur, cliquez avec le bouton droit, puis sélectionnez Obtenir une signature d’accès partagé. Il est important d’obtenir la signature d’accès partagé de votre conteneur, et non celle du compte de stockage. Vérifiez que les autorisations de lecture, d’écriture, de suppression et de liste sont cochées, puis sélectionnez Créer. Copiez ensuite la valeur de la section URL dans un emplacement temporaire. Il doit avoir le format : https://<storage account>.blob.core.windows.net/<container name>?<SAS value>.

     

4. Chemin d’accès au dossier (facultatif). Si vos formulaires sources se trouvent dans un dossier dans le conteneur d’objets Blob, spécifiez le nom du dossier.

5. URI du service Document Intelligence : URL de votre point de terminaison Document Intelligence.

6. Key. Votre clé Document Intelligence.

7. Version d’API. Conservez la valeur v2.1 (valeur par défaut).

8. Description (facultatif). Décrivez votre projet.

   

Étiqueter vos formulaires

Quand vous créez ou ouvrez un projet, la fenêtre principale de l’éditeur d’étiquettes s’ouvre. L’éditeur d’étiquettes est composé de trois parties :

• Un volet de visualisation redimensionnable, qui contient une liste déroulante de formulaires à partir de la connexion source.
• Le volet principal de l’éditeur, qui vous permet d’appliquer des étiquettes.
• Le volet de l’éditeur d’étiquettes, qui permet aux utilisateurs de modifier, de verrouiller, de réorganiser et de supprimer des étiquettes.

Identifier du texte et des tables

Sélectionnez Run Layout on unvisited documents (Exécuter Disposition sur les fichiers non visités) dans le volet gauche pour obtenir les informations sur la disposition du texte et des tables pour chaque document. L’outil d’étiquetage dessine des rectangles englobants autour de chaque élément texte.

L’outil d’étiquetage indique également les tableaux qui ont été automatiquement extraits. Sélectionnez l’icône de tableau/grille à gauche du document et examinez le tableau extrait. Le contenu du tableau étant automatiquement extrait, nous ne l’étiquetons pas et faisons confiance à l’extraction automatisée.

Appliquer des étiquettes à du texte

Vous allez ensuite créer des balises (étiquettes) et les appliquer aux éléments texte que vous souhaitez faire analyser par le modèle. Notez que le jeu de données Sample Label comprend déjà des champs étiquetés. Nous ajoutons un autre champ.

Utilisez le volet de l’éditeur d’étiquettes pour créer une étiquette que vous souhaitez identifier :

1. Sélectionnez le signe plus + pour créer une nouvelle étiquette.

2. Entrez le nom « total » pour l’étiquette.

3. Appuyez sur Entrée pour enregistrer l’étiquette.

4. Dans l’éditeur principal, sélectionnez la valeur totale parmi les éléments de texte mis en évidence.

5. Sélectionnez l’étiquette Total que vous voulez appliquer à la valeur, ou appuyez sur la touche du clavier correspondante. Les touches numériques sont affectées comme touches d’accès rapide pour les 10 premières étiquettes. Vous pouvez réorganiser vos étiquettes à l’aide des icônes de flèches haut et bas dans le volet de l’éditeur d’étiquettes. Procédez comme suit pour étiqueter les cinq formulaires dans l’exemple de jeu de données :

   Conseil

   Gardez à l’esprit les conseils suivants quand vous étiquetez vos formulaires :

   • Vous ne pouvez appliquer qu’une seule étiquette à chaque élément de texte sélectionné.

   • Chaque étiquette ne peut être appliquée qu’une seule fois par page. Si une valeur apparaît plusieurs fois sur le même formulaire, créez des étiquettes différentes pour chaque instance, par exemple « facture n° 1 », « facture n° 2 », etc.

   • Les étiquettes ne peuvent pas s’étendre sur plusieurs pages.

   • Étiquetez les valeurs telles qu’elles apparaissent sur le formulaire ; n’essayez pas de fractionner une valeur en deux parties avec deux étiquettes différentes. Par exemple, un champ d’adresse doit être étiqueté avec une étiquette unique, même s’il s’étend sur plusieurs lignes.

   • N’incluez pas de clés dans vos champs étiquetés, uniquement les valeurs.

   • Les données du tableau doivent être détectées automatiquement et seront disponibles dans le fichier JSON de sortie final dans la section « pageResults ». Toutefois, si le modèle ne parvient pas à détecter toutes les données de votre tableau, vous pouvez également étiqueter et entraîner un modèle pour détecter les tableaux. Consultez Entraîner un modèle personnalisé | Étiqueter vos formulaires

   • Servez-vous des boutons situés à droite de + pour rechercher, renommer, réorganiser et supprimer vos étiquettes.

   • Pour supprimer une étiquette appliquée sans supprimer l’étiquette proprement dite, sélectionne lez rectangle étiqueté dans la vue du document et appuyez sur la touche de suppression.

Entraîner un modèle personnalisé

Choisissez l’icône Entraîner dans le volet de gauche et ouvrez la page Entraînement. Sélectionnez ensuite le bouton Train pour commencer l’entraînement du modèle. Une fois le processus d’entraînement terminé, les informations suivantes s’affichent :

• Model ID : ID du modèle qui a été créé et entraîné. Chaque appel d’entraînement crée un modèle avec son propre ID. Copiez cette chaîne dans un emplacement sécurisé. Vous en aurez besoin si vous voulez effectuer des appels de prédiction via l’API REST ou la bibliothèque de client.

• Average Accuracy : justesse moyenne du modèle. Vous pouvez améliorer la justesse du modèle en étiquetant des formulaires supplémentaires et en effectuant un nouvel entraînement pour créer un modèle. Nous vous recommandons de commencer par étiqueter cinq formulaires en analysant et en testant les résultats, puis d’ajouter, si nécessaire, d’autres formulaires.

• Liste des étiquettes et justesse estimée par étiquette. Pour plus d’informations, consultez Interprétation et amélioration de l’exactitude et de la confiance.

  

Analyser un formulaire personnalisé

1. Sélectionnez l’icône Analyze dans la barre de navigation et testez votre modèle.

2. Sélectionnez un fichier local source et recherchez un fichier à sélectionner dans l’exemple de jeu de données que vous avez décompressez dans le dossier de test.

3. Choisissez le bouton Exécuter l’analyse pour obtenir des paires clé/valeur, du texte et des prédictions de tableau pour le formulaire. L’outil applique des étiquettes dans les cadres englobants et indique la confiance en chaque étiquette.

   

Et voilà ! Vous avez découvert comment utiliser l’outil d’étiquetage d’exemples d’Intelligence documentaire pour les modèles prédéfinis, de disposition et personnalisés d’Intelligence documentaire. Vous avez également appris à analyser un formulaire personnalisé avec des données étiquetées manuellement.

Étapes suivantes

Document Intelligence Studio