Partager via

Extraction de champs de document – modèle IA générative personnalisée

  • Article

Important

  • Les mises en production de préversion publique Document Intelligence fournissent un accès anticipé aux fonctionnalités en cours de développement actif. Les fonctionnalités, approches et processus peuvent changer, avant la disponibilité générale (GA), en fonction des commentaires des utilisateurs.

  • La préversion publique des bibliothèques clientes Intelligence documentaire utilise par défaut l’API REST version 2024-07-31-preview est actuellement disponible uniquement dans les régions Azure suivantes.

    • USA Est
    • USA Ouest 2
    • Europe Ouest
    • USA Centre Nord 

  • Le nouveau modèle génératif personnalisé dans AI Studio est disponible uniquement dans la région USA Centre Nord :

Le modèle d’extraction de champs de document (IA générative personnalisée) utilise l’IA générative pour extraire des champs spécifiés par l’utilisateur à partir de documents sur un large éventail de modèles visuels. Le modèle IA générative personnalisée combine la puissance de compréhension de document avec les modèles de langage volumineux (LLM) et le schéma et la rigueur des fonctionnalités d’extraction personnalisées pour créer rapidement un modèle avec une précision élevée. Avec ce type de modèle génératif, vous pouvez commencer par un seul document et parcourir le processus d’ajout de schéma et de création de modèle avec un étiquetage minimal. Le modèle génératif personnalisé permet aux développeurs et aux entreprises d’automatiser facilement les flux de travail d’extraction de données avec une précision et une vitesse accrues pour n’importe quel type de document. Le modèle IA générative personnalisé excelle dans l’extraction de champs simples à partir de documents sans exemples étiquetés. Toutefois, vous pouvez fournir quelques exemples étiquetés pour améliorer la précision de l’extraction pour les champs complexes et les champs définis par l’utilisateur, comme les tables. Vous pouvez utiliser l’API REST ou les bibliothèques clientes pour soumettre un document à des fins d’analyse avec une build de modèle et utiliser le processus génératif personnalisé.

Avantages du modèle IA générative personnalisée

  • Étiquetage automatique. Utilisez des modèles de langage volumineux (LLM) pour extraire des champs spécifiés à l’utilisateur pour différents types de documents et modèles visuels.

  • Généralisation améliorée. Extrayez des données à partir de données non structurées et de divers modèles de document avec une précision plus élevée.

  • Résultats fondés. Localisez les données extraites dans les documents. Les modèles génératifs personnalisés génèrent des résultats fondés le cas échéant, ce qui garantit que la réponse est générée à partir du contenu et activent les flux de travail de révision humaine.

  • Scores de confiance. Utilisez des scores de confiance pour chaque champ extrait pour filtrer les données extraites de haute qualité, optimiser le traitement direct des documents et réduire les coûts de révision humaine.

Cas d’utilisation courants

  • Gestion du cycle de vie du contrat. Créez un modèle génératif et extrayez les champs, clauses et obligations à partir d’un large éventail de types de contrats.

  • Demandes de prêts hypothécaires ou autres. L’automatisation du processus de demande de prêts hypothécaires ou autres permet aux banques, aux prêteurs et aux entités gouvernementales de traiter rapidement les demandes de prêt hypothécaires ou autres.

  • Services financiers. Avec le modèle IA générative personnalisée, analysez des documents complexes tels que des rapports financiers et des rapports de gestion des ressources.

  • Gestion des dépenses. Les reçus et factures de différents détaillants et entreprises doivent être analysés pour valider les dépenses. Le modèle IA générative personnalisée peut extraire des dépenses dans différents formats et documents avec différents modèles.

Gestion du jeu de données de formation

Avec nos autres modèles personnalisés, vous devez conserver le jeu de données, ajouter de nouveaux exemples et former le modèle pour améliorer la précision. Avec le modèle IA générative personnalisée, les documents étiquetés sont transformés, chiffrés et stockés dans le cadre du modèle. Ce processus garantit que le modèle peut continuellement utiliser les exemples étiquetés pour améliorer la qualité d’extraction. Comme avec d’autres modèles personnalisés, les modèles sont stockés dans le stockage Microsoft et vous pouvez les supprimer à tout moment.

Le service Intelligence documentaire gère vos jeux de données, mais vos documents sont stockés chiffrés et utilisés uniquement pour améliorer les résultats du modèle pour votre modèle spécifique. Vos données peuvent être chiffrées avec une clé gérée par le service ou éventuellement avec une clé gérée par le client. La modification de la gestion et du cycle de vie du jeu de données s’applique uniquement aux modèles génératifs personnalisés.

Fonctionnalités des modèles

Le modèle génératif personnalisé d’extraction de champs prend actuellement en charge la table dynamique avec le 2024-07-31-preview et les champs suivants :

Champs de formulaire Marques de sélection Champs tabulaires Signature Étiquetage de la région Champs qui se chevauchent
Prise en charge Prise en charge Prise en charge Non pris en charge Non pris en charge Pris en charge

Mode de génération

L’opération build custom model prend en charge le modèle personnalisés, les modèles neurauxet génératifs, consultezMode de build de modèle personnalisé. Voici les différences dans les types de modèle :

  • Les modèles IA générative personnalisée peuvent traiter des documents complexes dans différents formats, modèles et données non structurées.

  • Les modèles neuraux personnalisés prennent en charge le traitement de documents complexes et davantage de variété dans les pages de documents structurés et semi-structurés.

  • Les modèles de modèle personnalisé s’appuient sur des modèles visuels cohérents, tels que des questionnaires ou des applications, pour extraire les données étiquetées.

Prise en charge des langues et des paramètres régionaux

La version 2024-07-31-preview du modèle génératif personnalisé d’extraction de champs prend en charge les paramètres régionaux en-us. Pour plus d’informations sur la prise en charge des langues, consultezPrise en charge des langues - modèles personnalisés.

Prise en charge de la région

La version 2024-07-31-preview du modèle génératif personnalisé d’extraction de champs n’est disponible que dans North Central US.  

Critères des entrées

  • Formats de fichiers pris en charge :

    Modèle PDF Image :
    JPEG/JPG, PNG, BMP, TIFF, HEIF    		 Microsoft Office :
    Word (DOCX), Excel (XLSX), PowerPoint (PPTX), HTML
    Lire ✔ ✔ ✔
    Layout ✔ ✔ ✔ (2024-07-31-preview, 2024-02-29-preview, 2023-10-31-preview)
    Document général ✔ ✔
    Prédéfinie ✔ ✔
    Extraction personnalisée ✔ ✔
    Classification personnalisée ✔ ✔ ✔ (2024-07-31-preview, 2024-02-29-preview)

  • Pour de meilleurs résultats, fournissez une photo nette ou une copie de qualité par document.

  • Pour les PDF et TIFF, jusqu'à 2 000 pages peuvent être traitées (avec un abonnement gratuit, seules les deux premières pages sont traitées).

  • La taille de fichier pour l’analyse des documents est de 500 Mo pour le niveau payant (S0) et de 4 Mo pour le niveau gratuit (F0).

  • Les dimensions de l’image doivent être comprises entre 50 pixels x 50 pixels et 10 000 pixels x 10 000 pixels.

  • Si vos fichiers PDF sont verrouillés par mot de passe, vous devez supprimer le verrou avant leur envoi.

  • La hauteur minimale du texte à extraire est de 12 pixels pour une image de 1024 x 768 pixels. Cette dimension correspond à environ 8 points de texte à 150 points par pouce (PPP).

  • Pour la formation de modèles personnalisés, le nombre maximal de pages pour les données de formation est de 500 pour le modèle personnalisé et 50 000 pour le modèle neural personnalisé.

    • Pour l’entraînement du modèle d’extraction personnalisé, la taille totale des données d’entraînement est de 50 Mo pour le modèle de gabarit et de 1 Go pour le modèle neural.

    • Pour l’entraînement du modèle de classification personnalisé, la taille totale des données d’entraînement est de 1 Go, avec un maximum de 10 000 pages. Pour 2024-07-31-preview et les versions ultérieures, la taille totale des données d’entraînement est de 2 Go, avec un maximum de 10 000 pages.

Meilleures pratiques

  • Données représentatives. Utilisez des documents représentatifs qui ciblent la distribution réelle des données et entraînent un modèle génératif personnalisé de haute qualité. Par exemple, si le document cible inclut des champs tabulaires partiellement remplis, ajoutez des documents d’entraînement composés de tables partiellement remplies. Ou si le champ est nommé date, les valeurs de ce champ doivent être une date, car les chaînes aléatoires peuvent affecter les performances du modèle.

  • Dénomination de champs. Choisissez un nom de champ précis qui représente les valeurs du champ. Par exemple, pour une valeur de champ contenant la date de transaction, nommez le champ Date de transaction au lieu de Date1.

  • Description du champ. Fournissez des informations contextuelles supplémentaires dans la description pour vous aider à clarifier le champ qui doit être extrait. Les exemples incluent l’emplacement dans le document, les étiquettes de champ auxquelles il peut potentiellement être associé, ainsi que des façons de le différencier d’autres termes susceptibles d’être ambigus.

  • Variation. Les modèles génératifs personnalisés peuvent généraliser sur différents modèles de document du même type de document. Il est recommandé de créer un modèle unique pour toutes les variations d’un type de document. Dans l’idéal, incluez un modèle visuel pour chaque type, en particulier pour ceux qui

Guide des services

  • Le modèle de préversion Générative personnalisée ne prend actuellement pas en charge l’extraction de table fixe et de signature.

  • L’inférence sur le même document peut produire des résultats légèrement différents entre les appels et est une limite connue des modèles GPT actuels.

  • Les scores de confiance pour chaque champ peuvent varier. Nous vous recommandons d’effectuer des tests avec vos données représentatives afin d’établir les seuils de confiance pour votre scénario.

  • L’ancrage, en particulier pour les champs tabulaires, représente un défi et peut ne pas être parfait dans certains cas.

  • La latence pour les documents volumineux est élevée et une limite connue de la préversion.

  • Les modèles composés ne prennent pas en charge l’extraction générative personnalisée.

Training a model

Les modèles génératifs personnalisés sont disponibles avec la version 2024-07-31-preview et les modèles ultérieurs.

Le modèle d’entraînement build operation prend en charge la propriété buildMode. Pour entraîner un modèle génératif personnalisé, définissez la valeur buildMode sur generative.


https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "generative",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Étapes suivantes