Aangepast neuraal model voor Document Intelligence

Belangrijk

• Openbare preview-versies van Document Intelligence bieden vroegtijdige toegang tot functies die actief zijn in ontwikkeling.
• Functies, benaderingen en processen kunnen veranderen, vóór algemene beschikbaarheid (GA), op basis van feedback van gebruikers.
• De openbare preview-versie van Document Intelligence-clientbibliotheken is standaard ingesteld op REST API-versie 2024-02-29-preview.
• Openbare preview-versie 2024-02-29-preview is momenteel alleen beschikbaar in de volgende Azure-regio's:
• VS - oost
• VS - west 2
• Europa -west

Deze inhoud is van toepassing op:v4.0 (preview) | Vorige versies:v3.1 (GA)v3.0 (GA)

Aangepaste neurale documentmodellen of neurale modellen zijn een modeltype dat indelings- en taalfuncties combineert om gelabelde velden nauwkeurig uit documenten te extraheren. Het aangepaste basisneuraal model wordt getraind op verschillende documenttypen, waardoor het geschikt is om velden te extraheren uit gestructureerde, semi-gestructureerde en ongestructureerde documenten. Aangepaste neurale modellen zijn beschikbaar in de modellen v3.0 en hoger . De onderstaande tabel bevat algemene documenttypen voor elke categorie:

Documenten	Voorbeelden
gestructureerd	enquêtes, vragenlijsten
semi-gestructureerd	facturen, inkooporders
Ongestructureerd	contracten, brieven

Aangepaste neurale modellen delen dezelfde labelindeling en strategie als aangepaste sjabloonmodellen . Op dit moment ondersteunen aangepaste neurale modellen alleen een subset van de veldtypen die worden ondersteund door aangepaste sjabloonmodellen.

Modelmogelijkheden

Belangrijk

Vanaf aangepaste neurale modellen van DE API-versie 2024-02-29-preview wordt ondersteuning toegevoegd voor overlappende velden en betrouwbaarheid van tabelcellen.

Aangepaste neurale modellen ondersteunen momenteel alleen sleutel-waardeparen en selectiemarkeringen en gestructureerde velden (tabellen), toekomstige releases omvatten ondersteuning voor handtekeningen.

Formuliervelden	Selectiemarkeringen	Tabellaire velden	Handtekening	Regio	Overlappende velden
Ondersteund	Ondersteund	Ondersteund	Niet ondersteund	Ondersteund 1	Ondersteund 2

¹ Regiolabels in aangepaste neurale modellen gebruiken de resultaten van de indelings-API voor de opgegeven regio. Deze functie verschilt van sjabloonmodellen waarbij, als er geen waarde aanwezig is, tekst wordt gegenereerd tijdens de training. ² Overlappende velden worden ondersteund vanaf de REST API-versie 2024-02-29-preview. Overlappende velden hebben enkele limieten. Zieoverlappende velden voor meer informatie.

Buildmodus

De build aangepaste modelbewerking ondersteunt sjabloon- en neurale aangepaste modellen. Vorige versies van de REST API en clientbibliotheken ondersteunden slechts één buildmodus die nu de sjabloonmodus wordt genoemd.

Neurale modellen ondersteunen documenten met dezelfde informatie, maar verschillende paginastructuren. Voorbeelden van deze documenten zijn Verenigde Staten W2-formulieren, die dezelfde informatie delen, maar kunnen verschillen in uiterlijk tussen bedrijven. Ziede buildmodus voor aangepaste modellen voor meer informatie.

Ondersteunde talen en landinstellingen

Zie onze pagina Taalondersteuning: aangepaste modellen voor een volledige lijst met ondersteunde talen.

Overlappende velden

Met de release van API-versies 2024-02-29-preview en hoger ondersteunen aangepaste neurale modellen overlappende velden:

Als u de overlappende velden wilt gebruiken, moet uw gegevensset ten minste één voorbeeld met de verwachte overlapping bevatten. Als u een overlap wilt labelen, gebruikt u regiolabels om elk van de inhoudsbereiken (met de overlapping) voor elk veld aan te wijzen. Het labelen van een overlap met veldselectie (een waarde markeren) mislukt in de studio omdat regiolabels het enige ondersteunde hulpprogramma voor labelen zijn voor het aangeven van veldover overlappingen. Ondersteuning voor overlapping omvat:

• Volledige overlapping. Dezelfde set tokens wordt gelabeld voor twee verschillende velden.
• Gedeeltelijke overlapping. Sommige tokens behoren tot beide velden, maar er zijn tokens die slechts deel uitmaken van het ene veld of het andere.

Overlappende velden hebben enkele limieten:

• Elk token of woord kan alleen worden gelabeld als twee velden.
• overlappende velden in een tabel kunnen geen tabelrijen omvatten.
• Overlappende velden kunnen alleen worden herkend als ten minste één voorbeeld in de gegevensset overlappende labels voor deze velden bevat.

Als u overlappende velden wilt gebruiken, labelt u uw gegevensset met de overlappingen en traint u het model met de API-versie 2024-02-29-preview of hoger.

Tabellaire velden toevoegen tabel-, rij- en celvertrouwen

Met de release van API-versies 2022-06-30-preview en hoger ondersteunen aangepaste neurale modellen tabellaire velden (tabellen):

• Modellen die zijn getraind met API-versie 2022-08-31 of hoger, accepteren veldlabels in tabelvorm.
• Documenten die worden geanalyseerd met aangepaste neurale modellen met API-versie 2022-06-30 of hoger, produceren tabellaire velden die zijn samengevoegd in de tabellen.
• De resultaten vindt u in de matrix van documents het analyzeResult object die wordt geretourneerd na een analysebewerking.

Tabellaire velden ondersteunen standaard tabellen op meerdere pagina's :

• Als u een tabel met meerdere pagina's wilt labelen, moet u elke rij van de tabel labelen op de verschillende pagina's in één tabel.
• Als best practice moet u ervoor zorgen dat uw gegevensset enkele voorbeelden van de verwachte variaties bevat. Neem bijvoorbeeld voorbeelden op waarbij de hele tabel op één pagina staat en tabellen zich uitstrekken over twee of meer pagina's.

Tabellaire velden zijn ook handig bij het extraheren van herhalende informatie in een document dat niet wordt herkend als een tabel. Een herhalende sectie met werkervaringen in een cv kan bijvoorbeeld worden gelabeld en geëxtraheerd als een tabellair veld.

Tabelvelden bieden vertrouwen in tabellen, rijen en cellen vanaf de 2024-02-29-preview API:

• Vaste of dynamische tabellen bieden betrouwbaarheidsondersteuning voor de volgende elementen:

  • Tabelvertrouwen, een meting van hoe nauwkeurig de hele tabel wordt herkend.
  • Rijvertrouwen, een meting van herkenning van een afzonderlijke rij.
  • Celvertrouwen, een meting van herkenning van een afzonderlijke cel.

• De aanbevolen benadering is om de nauwkeurigheid op een top-down-manier te controleren, te beginnen met de tabel eerst, gevolgd door de rij en vervolgens de cel.

Zie betrouwbaarheids- en nauwkeurigheidsscores voor meer informatie over tabel-, rij- en celvertrouwen.

Ondersteunde regio’s

Vanaf 18 oktober 2022 zijn de training voor aangepaste neurale modellen voor Document Intelligence pas beschikbaar in de volgende Azure-regio's:

• Australië - oost
• Brazilië - zuid
• Canada - midden
• India - centraal
• Central US
• Azië - oost
• VS - oost
• VS - oost 2
• Frankrijk - centraal
• Japan East
• VS - zuid-centraal
• Azië - zuidoost
• Verenigd Koninkrijk Zuid
• Europa -west
• VS - west 2
• US Gov - Arizona
• VS (overheid) - Virginia

Tip

U kunt een model kopiëren dat is getraind in een van de geselecteerde regio's die worden vermeld in een andere regio en dienovereenkomstig gebruiken.

Gebruik de REST API of Document Intelligence Studio om een model naar een andere regio te kopiëren.

Vereisten voor invoer

• Geef voor de beste resultaten één duidelijke foto of een hoogwaardige scan per document op.

• Ondersteunde bestandsindelingen:

  Model	PDF	Afbeelding: jpeg/jpg, png, bmp, tiff, heif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx) en HTML
  Read	✔	✔	✔
  Indeling	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview of hoger)
  Algemeen document	✔	✔
  Vooraf gebouwd	✔	✔
  Aangepaste neurale	✔	✔

  ✱ Microsoft Office-bestanden worden momenteel niet ondersteund voor andere modellen of versies.

• Voor PDF en TIFF kunnen maximaal 2000 pagina's worden verwerkt (met een gratis abonnement worden alleen de eerste twee pagina's verwerkt).

• De bestandsgrootte voor het analyseren van documenten is 500 MB voor betaalde (S0) laag en 4 MB gratis (F0).

• De afmetingen van de afbeelding moeten tussen 50 x 50 pixels en 10.000 pixels x 10.000 pixels zijn.

• Als uw PDF's zijn vergrendeld met een wachtwoord, moet u de vergrendeling verwijderen voordat u ze indient.

• De minimale hoogte van de tekst die moet worden geëxtraheerd, is 12 pixels voor een afbeelding van 1024 x 768 pixels. Deze dimensie komt overeen met ongeveer 8-punttekst op 150 punten per inch.

• Voor aangepaste modeltraining is het maximum aantal pagina's voor trainingsgegevens 500 voor het aangepaste sjabloonmodel en 50.000 voor het aangepaste neurale model.

• Voor het trainen van aangepaste extractiemodellen is de totale grootte van trainingsgegevens 50 MB voor het sjabloonmodel en 1G-MB voor het neurale model.

• Voor het trainen van aangepast classificatiemodel is 1GB de totale grootte van trainingsgegevens maximaal 10.000 pagina's.

Aanbevolen procedures

Aangepaste neurale modellen verschillen op verschillende manieren van aangepaste sjabloonmodellen. De aangepaste sjabloon of het aangepaste model is afhankelijk van een consistente visuele sjabloon om de gelabelde gegevens te extraheren. Aangepaste neurale modellen ondersteunen gestructureerde, semi-gestructureerde en ongestructureerde documenten om velden te extraheren. Wanneer u kiest tussen de twee modeltypen, begint u met een neuraal model en test u of het uw functionele behoeften ondersteunt.

Omgaan met variaties

Aangepaste neurale modellen kunnen over verschillende indelingen van één documenttype generaliseren. Maak als best practice één model voor alle variaties van een documenttype. Voeg ten minste vijf gelabelde voorbeelden toe voor elk van de verschillende variaties aan de trainingsgegevensset.

Veldnaamgeving

Wanneer u de gegevens labelt, verbetert het labelen van het veld dat relevant is voor de waarde de nauwkeurigheid van de sleutel-waardeparen die zijn geëxtraheerd. Voor een veldwaarde met de leverancier-id kunt u bijvoorbeeld overwegen het veld een naam te geven supplier_id. Veldnamen moeten zich in de taal van het document bevinden.

Aaneengesloten waarden labelen

Waardetokens/woorden van één veld moeten een van de volgende zijn:

• In een opeenvolgende volgorde in natuurlijke leesrichting, zonder interleaving met andere velden
• In een regio die geen betrekking heeft op andere velden

Representatieve gegevens

Waarden in trainingscases moeten divers en representatief zijn. Als een veld bijvoorbeeld de naam datum heeft, moeten waarden voor dit veld een datum zijn. Synthetische waarde zoals een willekeurige tekenreeks kan invloed hebben op modelprestaties.

Huidige beperkingen

• Aangepast neuraal model herkent geen waarden die zijn gesplitst over paginagrenzen.
• Aangepaste, niet-ondersteunde veldtypen worden genegeerd als een gegevensset die is gelabeld voor aangepaste sjabloonmodellen wordt gebruikt om een aangepast neuraal model te trainen.
• Aangepaste neurale modellen zijn beperkt tot 20 buildbewerkingen per maand. Open een ondersteuningsaanvraag als u de limiet wilt verhogen. Zie Quota en limieten voor document intelligence-services voor meer informatie.

Een model trainen

Aangepaste neurale modellen zijn beschikbaar in de v3.0- en hogermodellen.

Documenttype	REST-API	SDK	Modellen labelen en testen
Aangepast document	Document Intelligence 3.1	Document Intelligence SDK	Document Intelligence Studio

De build-bewerking voor het trainen van een model ondersteunt een nieuwe buildMode eigenschap, om een aangepast neuraal model te trainen, stelt u het buildMode in op neural.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-02-29-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Volgende stappen

Meer informatie over het maken en opstellen van aangepaste modellen:

Aangepaste modellensamenstellen