Aangepaste modellen voor Document Intelligence

Belangrijk

• Openbare preview-versies van Document Intelligence bieden vroegtijdige toegang tot functies die actief zijn in ontwikkeling. Functies, benaderingen en processen kunnen veranderen, vóór algemene beschikbaarheid (GA), op basis van feedback van gebruikers.
• De openbare preview-versie van Document Intelligence-clientbibliotheken is standaard ingesteld op REST API-versie 2024-07-31-preview.
• Openbare preview-versie 2024-07-31-preview is momenteel alleen beschikbaar in de volgende Azure-regio's. Houd er rekening mee dat het aangepaste model voor generatieve (extractie van documentvelden) in AI Studio alleen beschikbaar is in de regio VS - noord-centraal:
  • VS - oost
  • VS - west 2
  • Europa -west
  • VS - noord-centraal

Deze inhoud is van toepassing op: v4.0 (preview) | Vorige versies: v3.1 (GA) v3.0 (GA) v2.1 (GA)

Document Intelligence maakt gebruik van geavanceerde machine learning-technologie voor het identificeren van documenten, het detecteren en extraheren van informatie uit formulieren en documenten en het retourneren van de geëxtraheerde gegevens in een gestructureerde JSON-uitvoer. Met Document Intelligence kunt u documentanalysemodellen gebruiken, vooraf gebouwd/vooraf getraind of uw getrainde, zelfstandige aangepaste modellen.

Aangepaste modellen bevatten nu aangepaste classificatiemodellen voor scenario's waarin u het documenttype moet identificeren voordat u het extractiemodel aanroept. Classificatiemodellen zijn beschikbaar vanaf de 2023-07-31 (GA) API. Een classificatiemodel kan worden gekoppeld aan een aangepast extractiemodel om velden te analyseren en te extraheren uit formulieren en documenten die specifiek zijn voor uw bedrijf. Zelfstandige aangepaste extractiemodellen kunnen worden gecombineerd om samengestelde modellen te maken.

Aangepaste documentmodeltypen

Aangepaste documentmodellen kunnen een van de twee typen zijn, een aangepaste sjabloon of aangepast formulier en aangepaste neurale of aangepaste documentmodellen. Het label- en trainingsproces voor beide modellen is identiek, maar de modellen verschillen als volgt:

Aangepaste extractiemodellen

Als u een aangepast extractiemodel wilt maken, labelt u een gegevensset met documenten met de waarden die u wilt ophalen en traint u het model op de gelabelde gegevensset. U hebt slechts vijf voorbeelden van hetzelfde formulier of documenttype nodig om aan de slag te gaan.

Aangepast neuraal model

Belangrijk

Vanaf versie 4.0 (2024-02-29-preview)-API ondersteunen aangepaste neurale modellen nu overlappende velden en tabellen, rij- en celniveauvertrouwen.

Het aangepaste neurale model (aangepast document) maakt gebruik van Deep Learning-modellen en basismodel dat is getraind op een grote verzameling documenten. Dit model wordt vervolgens nauwkeurig afgestemd of aangepast aan uw gegevens wanneer u het model traint met een gelabelde gegevensset. Aangepaste neurale modellen ondersteunen het extraheren van belangrijke gegevensvelden uit gestructureerde, semi-gestructureerde en ongestructureerde documenten. Wanneer u kiest tussen de twee modeltypen, begint u met een neuraal model om te bepalen of het voldoet aan uw functionele behoeften. Zie neurale modellen voor meer informatie over aangepaste documentmodellen.

Aangepast sjabloonmodel

De aangepaste sjabloon of het aangepaste formuliermodel is afhankelijk van een consistente visuele sjabloon om de gelabelde gegevens te extraheren. Afwijkingen in de visuele structuur van uw documenten zijn van invloed op de nauwkeurigheid van uw model. Gestructureerde formulieren, zoals vragenlijsten of toepassingen, zijn voorbeelden van consistente visuele sjablonen.

Uw trainingsset bestaat uit gestructureerde documenten waarbij de opmaak en indeling statisch en constant zijn van het ene documentexemplaren naar het volgende. Aangepaste sjabloonmodellen ondersteunen sleutel-waardeparen, selectiemarkeringen, tabellen, handtekeningvelden en regio's. Sjabloonmodellen en kunnen worden getraind op documenten in een van de ondersteunde talen. Zie aangepaste sjabloonmodellen voor meer informatie.

Als de taal van uw documenten en extractiescenario's aangepaste neurale modellen ondersteunt, raden we u aan aangepaste neurale modellen te gebruiken voor sjabloonmodellen voor een hogere nauwkeurigheid.

Tip

Als u wilt controleren of uw trainingsdocumenten een consistente visuele sjabloon bevatten, verwijdert u alle door de gebruiker ingevoerde gegevens uit elk formulier in de set. Als de lege formulieren identiek zijn in uiterlijk, vertegenwoordigen ze een consistente visuele sjabloon.

Zie De nauwkeurigheid en betrouwbaarheid van aangepaste modellen interpreteren en verbeteren voor meer informatie.

Vereisten voor invoer

• Geef voor de beste resultaten één duidelijke foto of een hoogwaardige scan per document op.

• Ondersteunde bestandsindelingen:

  Modelleren	PDF	Afbeelding: jpeg/jpg, png, bmp, , tiffheif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx)
  Read	✔	✔	✔
  Indeling	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview en hoger)
  Algemeen document	✔	✔
  Vooraf gebouwd	✔	✔
  Aangepaste extractie	✔	✔
  Aangepaste classificatie	✔	✔	✔

  ✱ Microsoft Office-bestanden worden momenteel niet ondersteund voor andere modellen of versies.

• Voor PDF en TIFF kunnen maximaal 2000 pagina's worden verwerkt (met een gratis abonnement worden alleen de eerste twee pagina's verwerkt).

• De bestandsgrootte voor het analyseren van documenten is 500 MB voor betaalde (S0) laag en 4 MB gratis (F0).

• De afmetingen van de afbeelding moeten tussen 50 x 50 pixels en 10.000 pixels x 10.000 pixels zijn.

• Als uw PDF's zijn vergrendeld met een wachtwoord, moet u de vergrendeling verwijderen voordat u ze indient.

• De minimale hoogte van de tekst die moet worden geëxtraheerd, is 12 pixels voor een afbeelding van 1024 x 768 pixels. Deze dimensie komt overeen met ongeveer 8-punttekst op 150 punten per inch.

• Voor aangepaste modeltraining is het maximum aantal pagina's voor trainingsgegevens 500 voor het aangepaste sjabloonmodel en 50.000 voor het aangepaste neurale model.

• Voor het trainen van aangepaste extractiemodellen is de totale grootte van trainingsgegevens 50 MB voor het sjabloonmodel en 1G-MB voor het neurale model.

• Voor het trainen van aangepast classificatiemodel is 1GB de totale grootte van trainingsgegevens maximaal 10.000 pagina's.

Optimale trainingsgegevens

Trainingsinvoergegevens vormen de basis van elk machine learning-model. Het bepaalt de kwaliteit, nauwkeurigheid en prestaties van het model. Daarom is het van cruciaal belang om de beste trainingsgegevens te maken die mogelijk zijn voor uw Document Intelligence-project. Wanneer u het aangepaste Document Intelligence-model gebruikt, geeft u uw eigen trainingsgegevens op. Hier volgen enkele tips om uw modellen effectief te trainen:

• Gebruik indien mogelijk pdf-bestanden op basis van tekst in plaats van pdf-bestanden op basis van afbeeldingen. Een manier om een pdf op basis van een afbeelding te identificeren, is door specifieke tekst in het document te selecteren. Als u alleen de volledige afbeelding van de tekst kunt selecteren, is het document gebaseerd op afbeeldingen, niet op basis van tekst.

• Organiseer uw trainingsdocumenten met behulp van een submap voor elke indeling (JPEG/JPG, PNG, BMP, PDF of TIFF).

• Formulieren gebruiken waarvoor alle beschikbare velden zijn ingevuld.

• Formulieren gebruiken met verschillende waarden in elk veld.

• Gebruik een grotere gegevensset (meer dan vijf trainingsdocumenten) als uw afbeeldingen van lage kwaliteit zijn.

• Bepaal of u één model of meerdere modellen wilt gebruiken die zijn samengesteld in één model.

• U kunt uw gegevensset segmenteren in mappen, waarbij elke map een unieke sjabloon is. Train één model per map en stel de resulterende modellen samen in één eindpunt. De nauwkeurigheid van het model kan afnemen wanneer u verschillende indelingen hebt geanalyseerd met één model.

• U kunt uw gegevensset segmenteren om meerdere modellen te trainen als uw formulier variaties heeft met indelingen en pagina-einden. Aangepaste formulieren zijn afhankelijk van een consistente visuele sjabloon.

• Zorg ervoor dat u een evenwichtige gegevensset hebt door rekening te houden met indelingen, documenttypen en structuur.

Buildmodus

De build custom model bewerking voegt ondersteuning toe voor de sjabloon en neurale aangepaste modellen. Vorige versies van de REST API en clientbibliotheken ondersteunden slechts één buildmodus die nu de sjabloonmodus wordt genoemd.

• Sjabloonmodellen accepteren alleen documenten met dezelfde basispaginastructuur( een uniform uiterlijk) of dezelfde relatieve positie van elementen in het document.

• Neurale modellen ondersteunen documenten met dezelfde informatie, maar verschillende paginastructuren. Voorbeelden van deze documenten zijn Verenigde Staten W2-formulieren, die dezelfde informatie delen, maar verschillen in uiterlijk tussen bedrijven.

Deze tabel bevat koppelingen naar de SDK-verwijzingen en codevoorbeelden voor de programmeertaal voor de buildmodus op GitHub:

Programmeertaal	SDK-naslaginformatie	Voorbeeld van code
C#/.NET	DocumentBuildMode Struct	Sample_BuildCustomModelAsync.cs
Java	Klasse DocumentBuildMode	BuildModel.java
JavaScript	Type DocumentBuildMode	buildModel.js
Python	DocumentBuildMode Enum	sample_build_model.py

Modelfuncties vergelijken

In de volgende tabel worden aangepaste sjabloon- en aangepaste neurale functies vergeleken:

Functie	Aangepaste sjabloon (formulier)	Aangepast neuraal (document)
Documentstructuur	Sjabloon, formulier en gestructureerd	Gestructureerd, semi-gestructureerd en ongestructureerd
Trainingstijd	1 tot 5 minuten	20 minuten tot 1 uur
Gegevensextractie	Sleutel-waardeparen, tabellen, selectiemarkeringen, coördinaten en handtekeningen	Sleutel-waardeparen, selectiemarkeringen en tabellen
Overlappende velden	Niet ondersteund	Ondersteund
Documentvariaties	Vereist een model per variatie	Maakt gebruik van één model voor alle variaties
Taalondersteuning	Aangepaste sjabloon voor taalondersteuning	Taalondersteuning voor aangepaste neurale gegevens

Aangepast classificatiemodel

Documentclassificatie is een nieuw scenario dat wordt ondersteund door Document Intelligence met de 2023-07-31 (v3.1 GA) API. De API voor documentclassificatie ondersteunt classificatie- en splitsingsscenario's. Train een classificatiemodel om de verschillende typen documenten te identificeren die uw toepassing ondersteunt. Het invoerbestand voor het classificatiemodel kan meerdere documenten bevatten en elk document in een gekoppeld paginabereik classificeren. Zie aangepaste classificatiemodellen voor meer informatie.

Notitie

Vanaf de 2024-02-29-preview API-versie wordt documentclassificatie nu ondersteund voor Office-documenttypen voor classificatie. Deze API-versie introduceert ook incrementele training voor het classificatiemodel.

Aangepaste modelhulpprogramma's

Document Intelligence v3.1- en hogermodellen ondersteunen de volgende hulpprogramma's, toepassingen en bibliotheken, programma's en bibliotheken:

Functie	Resources	Model-id
Aangepast model	• Document Intelligence Studio • REST API • C# SDK • Python SDK	custom-model-id

Levenscyclus van aangepast model

De levenscyclus van een aangepast model is afhankelijk van de API-versie die wordt gebruikt om het te trainen. Als de API-versie een algemene beschikbaarheidsversie is, heeft het aangepaste model dezelfde levenscyclus als die versie. Het aangepaste model is niet beschikbaar voor deductie wanneer de API-versie is afgeschaft. Als de API-versie een preview-versie is, heeft het aangepaste model dezelfde levenscyclus als de preview-versie van de API.

Een aangepast model bouwen

Gegevens extraheren uit uw specifieke of unieke documenten met behulp van aangepaste modellen. U hebt de volgende resources nodig:

• Een Azure-abonnement. U kunt er gratis een maken.

• Een Document Intelligence-exemplaar in Azure Portal. U kunt de gratis prijscategorie (F0) gebruiken om de service te proberen. Nadat uw resource is geïmplementeerd, selecteert u Ga naar de resource om uw sleutel en eindpunt op te halen.

  

Document Intelligence Studio

Notitie

Document Intelligence Studio is beschikbaar met v3.1- en v3.0-API's.

1. Selecteer aangepaste extractiemodellen op de startpagina van Document Intelligence Studio.

2. Selecteer onder Mijn projecten de optie Een project maken.

3. Vul de velden met projectdetails in.

4. Configureer de serviceresource door uw Opslagaccount en Blob-container toe te voegen om uw trainingsgegevensbron te verbinden.

5. Controleer en maak uw project.

6. Voeg uw voorbeelddocumenten toe om uw aangepaste model te labelen, te bouwen en te testen.

Document Intelligence Studio uitproberen

Zie Een aangepast extractiemodel maken voor een gedetailleerd overzicht van het maken van uw eerste aangepaste extractiemodel.

Samenvatting van aangepaste modelextractie

In deze tabel worden de ondersteunde gebieden voor gegevensextractie vergeleken:

Modelleren	Formuliervelden	Selectiemarkeringen	Gestructureerde velden (tabellen)	Handtekening	Regiolabels	Overlappende velden
Sjabloon Aangepast	✔	✔	✔	✔	✔	n.v.t
Aangepaste neurale	✔	✔	✔	n.v.t	*	✔ (2024-02-29-preview)

Tabelsymbolen:
✔ — Ondersteund
**n/a— Momenteel niet beschikbaar;
*-Gedraagt zich anders, afhankelijk van het model. Met sjabloonmodellen worden synthetische gegevens gegenereerd tijdens de training. Bij neurale modellen wordt het afsluiten van tekst die in de regio wordt herkend, geselecteerd.

Tip

Wanneer u kiest tussen de twee modeltypen, begint u met een aangepast neuraal model als deze voldoet aan uw functionele behoeften. Zie aangepaste neurale gegevens voor meer informatie over aangepaste neurale modellen.

Opties voor het ontwikkelen van aangepaste modellen

In de volgende tabel worden de functies beschreven die beschikbaar zijn met de bijbehorende hulpprogramma's en clientbibliotheken. Als best practice moet u ervoor zorgen dat u de compatibele hulpprogramma's gebruikt die hier worden vermeld.

Documenttype	REST-API	SDK	Modellen labelen en testen
Aangepaste sjabloon v 4.0 v3.1 v3.0	Document Intelligence 3.1	Document Intelligence SDK	Document Intelligence Studio
Aangepaste neurale v4.0 v3.1 v3.0	Document Intelligence 3.1	Document Intelligence SDK	Document Intelligence Studio
Aangepast formulier v2.1	Document Intelligence 2.1 GA API	Document Intelligence SDK	Voorbeeldhulpprogramma voor labelen

Notitie

Aangepaste sjabloonmodellen die zijn getraind met de 3.0-API, hebben enkele verbeteringen ten opzichte van de 2.1-API die afkomstig zijn van verbeteringen in de OCR-engine. Gegevenssets die worden gebruikt om een aangepast sjabloonmodel te trainen met behulp van de 2.1-API, kunnen nog steeds worden gebruikt om een nieuw model te trainen met behulp van de 3.0-API.

• Geef voor de beste resultaten één duidelijke foto of een hoogwaardige scan per document op.

• Ondersteunde bestandsindelingen zijn JPEG/JPG, PNG, BMP, TIFF en PDF (ingesloten of gescand). PDF-bestanden met ingesloten tekst hebben de voorkeur omdat hier geen fouten optreden met locatie en extractie van tekens.

• Voor PDF- en TIFF-bestanden kunnen maximaal 2000 pagina's worden verwerkt. Met een abonnement op de gratis laag worden alleen de eerste twee pagina's verwerkt.

• De bestandsgrootte moet kleiner zijn dan 500 MB voor betaalde laag (S0) en 4 MB gratis (F0).

• De afmetingen van afbeeldingen moeten tussen 50 x 50 en 10.000 x 10.000 pixels liggen.

• PDF-afmetingen zijn maximaal 17 x 17 inch, overeenkomend met Legal of A3 papierformaat of kleiner.

• De totale grootte van de trainingsgegevens is 500 pagina's of minder.

• Als uw PDF's zijn vergrendeld met een wachtwoord, moet u de vergrendeling verwijderen voordat u ze indient.

  Tip

  Trainingsgegevens:

  • Gebruik indien mogelijk PDF-documenten op basis van tekst in plaats van op afbeeldingen gebaseerde documenten. Gescande PDF-bestanden worden verwerkt als afbeeldingen.
  • Geef slechts één exemplaar van het formulier per document op.
  • Gebruik voor ingevulde formulieren voorbeelden waarin al hun velden zijn ingevuld.
  • Gebruik in formulieren met in elk veld verschillende waarden.
  • Als uw formulierafbeeldingen van lagere kwaliteit zijn, gebruikt u een grotere gegevensset. Gebruik bijvoorbeeld 10 tot 15 afbeeldingen.

Ondersteunde talen en landinstellingen

Zie onze pagina Taalondersteuning: aangepaste modellen voor een volledige lijst met ondersteunde talen.

Volgende stappen

• Probeer uw eigen formulieren en documenten te verwerken met Document Intelligence Studio.

• Voltooi een quickstart voor Document Intelligence en ga aan de slag met het maken van een app voor documentverwerking in de ontwikkeltaal van uw keuze.