Aangepast neuraal model voor Document Intelligence

Belangrijk

• Openbare preview-versies van Document Intelligence bieden vroegtijdige toegang tot functies die actief zijn in ontwikkeling. Functies, benaderingen en processen kunnen veranderen, vóór algemene beschikbaarheid (GA), op basis van feedback van gebruikers.
• De openbare preview-versie van Document Intelligence-clientbibliotheken is standaard ingesteld op REST API-versie 2024-07-31-preview.
• Openbare preview-versie 2024-07-31-preview is momenteel alleen beschikbaar in de volgende Azure-regio's. Houd er rekening mee dat het aangepaste model voor generatieve (extractie van documentvelden) in AI Studio alleen beschikbaar is in de regio VS - noord-centraal:
  • VS - oost
  • VS - west 2
  • Europa -west
  • VS - noord-centraal

Deze inhoud is van toepassing op: v4.0 (preview) | Vorige versies: v3.1 (GA) v3.0 (GA)

Aangepaste neurale documentmodellen of neurale modellen zijn een modeltype dat indelings- en taalfuncties combineert om gelabelde velden nauwkeurig uit documenten te extraheren. Het aangepaste basisneuraal model wordt getraind op verschillende documenttypen, waardoor het geschikt is om velden te extraheren uit gestructureerde en semi-gestructureerde documenten. Aangepaste neurale modellen zijn beschikbaar in de modellen v3.0 en hoger . De onderstaande tabel bevat algemene documenttypen voor elke categorie:

Documenten	Voorbeelden
gestructureerd	enquêtes, vragenlijsten
semi-gestructureerd	facturen, inkooporders

Aangepaste neurale modellen delen dezelfde labelindeling en strategie als aangepaste sjabloonmodellen . Op dit moment ondersteunen aangepaste neurale modellen alleen een subset van de veldtypen die worden ondersteund door aangepaste sjabloonmodellen.

Modelmogelijkheden

Belangrijk

Vanaf aangepaste neurale modellen van DE API-versie 2024-02-29-preview wordt ondersteuning toegevoegd voor overlappende velden en betrouwbaarheid van tabelcellen.

Aangepaste neurale modellen ondersteunen momenteel sleutel-waardeparen en selectiemarkeringen en gestructureerde velden (tabellen).

Formuliervelden	Selectiemarkeringen	Tabellaire velden	Handtekening	Regiolabels	Overlappende velden
Ondersteund	Ondersteund	Ondersteund	Niet ondersteund	Ondersteund 1	Ondersteund 2

¹ Regiolabels in aangepaste neurale modellen gebruiken de resultaten van de indelings-API voor de opgegeven regio. Deze functie verschilt van sjabloonmodellen waarbij, als er geen waarde aanwezig is, tekst wordt gegenereerd tijdens de training.
² Overlappende velden worden ondersteund vanaf de REST API-versie 2024-02-29-preview. Overlappende velden hebben enkele limieten. Zie overlappende velden voor meer informatie.

Buildmodus

De Build bewerking ondersteunt sjabloon- en neurale aangepaste modellen. Vorige versies van de REST API en clientbibliotheken ondersteunden slechts één buildmodus die nu de sjabloonmodus wordt genoemd.

Neurale modellen ondersteunen documenten met dezelfde informatie, maar verschillende paginastructuren. Voorbeelden van deze documenten zijn Verenigde Staten W2-formulieren, die dezelfde informatie delen, maar kunnen verschillen in uiterlijk tussen bedrijven. Zie de buildmodus voor aangepaste modellen voor meer informatie.

Overlappende velden

Met de release van API-versies 2024-02-29-preview en hoger ondersteunen aangepaste neurale modellen overlappende velden:

Overlappende velden

Met de release van API-versies 2024-07-31-preview en hoger ondersteunen aangepaste neurale modellen overlappende velden:

Als u de overlappende velden wilt gebruiken, moet uw gegevensset ten minste één voorbeeld met de verwachte overlapping bevatten. Als u een overlap wilt labelen, gebruikt u regiolabels om elk van de inhoudsbereiken (met de overlapping) voor elk veld aan te wijzen. Het labelen van een overlap met veldselectie (het markeren van een waarde) mislukt in Studio omdat het labelen van regio's het enige ondersteunde hulpprogramma voor labelen is om veldover overlappingen aan te geven. Ondersteuning voor overlapping omvat:

• Volledige overlapping. Dezelfde set tokens wordt gelabeld voor twee verschillende velden.
• Gedeeltelijke overlapping. Sommige tokens behoren tot beide velden, maar er zijn tokens die slechts deel uitmaken van het ene veld of het andere.

Overlappende velden hebben enkele limieten:

• Elk token of woord kan alleen worden gelabeld als twee velden.
• overlappende velden in een tabel kunnen geen tabelrijen omvatten.
• Overlappende velden kunnen alleen worden herkend als ten minste één voorbeeld in de gegevensset overlappende labels voor deze velden bevat.

Als u overlappende velden wilt gebruiken, labelt u uw gegevensset met de overlappingen en traint u het model met de API-versie 2024-02-29-preview of hoger.

Tabellaire velden

Met de release van API-versies 2022-06-30-preview en hoger ondersteunen aangepaste neurale modellen tabellaire velden (tabellen) om tabel-, rij- en celgegevens met extra vertrouwen te analyseren:

• Modellen die zijn getraind met API-versie 2022-06-30-preview, of hoger accepteren tabellaire veldlabels.
• Documenten die worden geanalyseerd met aangepaste neurale modellen met API-versie 2022-06-30 of hoger, produceren tabellaire velden die zijn samengevoegd in de tabellen.
• De resultaten vindt u in de matrix van documents het analyzeResult object die wordt geretourneerd na een analysebewerking.

Tabellaire velden ondersteunen standaard tabellen op meerdere pagina's :

• Als u een tabel met meerdere pagina's wilt labelen, moet u elke rij van de tabel labelen op de verschillende pagina's in één tabel.
• Als best practice moet u ervoor zorgen dat uw gegevensset enkele voorbeelden van de verwachte variaties bevat. Neem bijvoorbeeld voorbeelden op waarbij de hele tabel op één pagina staat en tabellen zich uitstrekken over twee of meer pagina's.

Tabellaire velden zijn ook handig bij het extraheren van herhalende informatie in een document dat niet wordt herkend als een tabel. Een herhalende sectie met werkervaringen in een cv kan bijvoorbeeld worden gelabeld en geëxtraheerd als een tabellair veld.

Tabelvelden bieden vertrouwen in tabellen, rijen en cellen vanaf de 2024-02-29-preview API:

• Vaste of dynamische tabellen bieden betrouwbaarheidsondersteuning voor de volgende elementen:

  • Tabelvertrouwen, een meting van hoe nauwkeurig de hele tabel wordt herkend.
  • Rijvertrouwen, een meting van herkenning van een afzonderlijke rij.
  • Celvertrouwen, een meting van herkenning van een afzonderlijke cel.

• De aanbevolen benadering is om de nauwkeurigheid op een top-down-manier te controleren, te beginnen met de tabel eerst, gevolgd door de rij en vervolgens de cel. Zie betrouwbaarheids- en nauwkeurigheidsscores voor meer informatie over tabel-, rij- en celvertrouwen.

Ondersteunde talen en landinstellingen

Zie onze taalondersteuning: aangepaste modellen voor een volledige lijst met ondersteunde talen.

Ondersteunde regio’s

Vanaf 18 oktober 2022 zijn de training voor aangepaste neurale modellen voor Document Intelligence pas beschikbaar in de volgende Azure-regio's:

• Australië - oost
• Brazilië - zuid
• Canada - midden
• India - centraal
• Central US
• Azië - oost
• VS - oost
• VS - oost 2
• Frankrijk - centraal
• Japan East
• VS - zuid-centraal
• Azië - zuidoost
• Verenigd Koninkrijk Zuid
• Europa -west
• VS - west 2
• US Gov - Arizona
• VS (overheid) - Virginia

Tip

U kunt een model kopiëren dat is getraind in een van de geselecteerde regio's die worden vermeld in een andere regio en dienovereenkomstig gebruiken.

Gebruik de REST API of Document Intelligence Studio om een model naar een andere regio te kopiëren.

Vereisten voor invoer

• Geef voor de beste resultaten één duidelijke foto of een hoogwaardige scan per document op.

• Ondersteunde bestandsindelingen:

  Modelleren	PDF	Afbeelding: jpeg/jpg, png, bmp, tiffheif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx) en HTML
  Read	✔	✔	✔
  Indeling	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview of hoger)
  Algemeen document	✔	✔
  Vooraf gebouwd	✔	✔
  Aangepaste neurale	✔	✔

  ✱ Microsoft Office-bestanden worden momenteel niet ondersteund voor andere modellen of versies.

• Voor PDF en TIFF kunnen maximaal 2000 pagina's worden verwerkt (met een gratis abonnement worden alleen de eerste twee pagina's verwerkt).

• De bestandsgrootte voor het analyseren van documenten is 500 MB voor betaalde (S0) laag en 4 MB gratis (F0).

• De afmetingen van de afbeelding moeten tussen 50 x 50 pixels en 10.000 pixels x 10.000 pixels zijn.

• Als uw PDF's zijn vergrendeld met een wachtwoord, moet u de vergrendeling verwijderen voordat u ze indient.

• De minimale hoogte van de tekst die moet worden geëxtraheerd, is 12 pixels voor een afbeelding van 1024 x 768 pixels. Deze dimensie komt overeen met ongeveer 8-punttekst op 150 punten per inch.

• Voor aangepaste modeltraining is het maximum aantal pagina's voor trainingsgegevens 500 voor het aangepaste sjabloonmodel en 50.000 voor het aangepaste neurale model.

• Voor het trainen van aangepaste extractiemodellen is de totale grootte van trainingsgegevens 50 MB voor het sjabloonmodel en 1G-MB voor het neurale model.

• Voor het trainen van aangepast classificatiemodel is 1GB de totale grootte van trainingsgegevens maximaal 10.000 pagina's.

Aanbevolen procedures

Aangepaste neurale modellen verschillen op verschillende manieren van aangepaste sjabloonmodellen. De aangepaste sjabloon of het aangepaste model is afhankelijk van een consistente visuele sjabloon om de gelabelde gegevens te extraheren. Aangepaste neurale modellen ondersteunen gestructureerde en semi-gestructureerde velden om velden te extraheren. Wanneer u kiest tussen de modeltypen, begint u met een neuraal model en test u of het uw functionele behoeften ondersteunt.

• Omgaan met variaties : aangepaste neurale modellen kunnen over verschillende indelingen van één documenttype generaliseren. Maak als best practice één model voor alle variaties van een documenttype. Voeg ten minste vijf gelabelde voorbeelden toe voor elk van de verschillende variaties aan de trainingsgegevensset.
• Veldnaam : wanneer u de gegevens labelt, verbetert het labelen van het veld dat relevant is voor de waarde de nauwkeurigheid van de sleutel-waardeparen die zijn geëxtraheerd. Voor een veldwaarde met de leverancier-id kunt u bijvoorbeeld overwegen het veld een naam te geven supplier_id. Veldnamen moeten zich in de taal van het document bevinden.
• Het labelen van aaneengesloten waarden : waardetokens/woorden van één veld moeten een van de volgende zijn:
  • In een opeenvolgende volgorde in natuurlijke leesrichting, zonder interleaving met andere velden
  • In een regio die geen betrekking heeft op andere velden
• Representatieve gegevens : waarden in trainingscases moeten divers en representatief zijn. Als een veld bijvoorbeeld de naam datum heeft, moeten waarden voor dit veld een datum zijn. Synthetische waarde zoals een willekeurige tekenreeks kan invloed hebben op modelprestaties.

Huidige beperkingen

• Aangepast neuraal model herkent geen waarden die zijn gesplitst over paginagrenzen.
• Aangepaste, niet-ondersteunde veldtypen worden genegeerd als een gegevensset die is gelabeld voor aangepaste sjabloonmodellen wordt gebruikt om een aangepast neuraal model te trainen.
• Aangepaste neurale modellen zijn beperkt tot 20 buildbewerkingen per maand. Open een ondersteuningsaanvraag als u de limiet wilt verhogen. Zie Quota en limieten voor document intelligence-services voor meer informatie.

Een model trainen

Aangepaste neurale modellen zijn beschikbaar in de v3.0- en hogermodellen.

Documenttype	REST-API	SDK	Modellen labelen en testen
Aangepast document	Document Intelligence 3.1	Document Intelligence SDK	Document Intelligence Studio

De Build bewerking voor het trainen van een model ondersteunt een nieuwe buildMode eigenschap, voor het trainen van een aangepast neuraal model, stelt u het buildMode in op neural.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Billing

Vanaf versie 2024-07-31-previewkunt u uw aangepaste neurale model trainen voor langere duur dan de standaard 30 minuten. Eerdere versies zijn beperkt tot 30 minuten per trainingsexemplaren, met in totaal 20 gratis trainingsexemplaren per maand. Nu kunt 2024-07-31-previewu 10 uur gratis modeltraining ontvangen en een model trainen voor zo lang als 10 uur.

U kunt ervoor kiezen om alle tien vrije uren door te brengen aan één modelbuild met een grote set gegevens of deze te gebruiken in meerdere builds door de maximale duurwaarde voor de build bewerking aan te passen door het volgende op te maxTrainingHoursgeven:

POST https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  ...,
  "maxTrainingHours": 10
}

Belangrijk

• Als u aanvullende neurale modellen wilt trainen of modellen wilt trainen voor een langere periode die langer is dan 10 uur, zijn de factureringskosten van toepassing. Raadpleeg de pagina met prijzen voor meer informatie over de factureringskosten.
• U kunt zich aanmelden voor deze betaalde trainingsservice door het maxTrainingHours gewenste maximum aantal uren in te stellen. API-aanroepen zonder budget, maar met de maxTrainingHours set als meer dan 10 uur mislukt.
• Omdat elke build verschillende tijd in beslag neemt, afhankelijk van het type en de grootte van de trainingsgegevensset, wordt facturering berekend voor de werkelijke tijd die wordt besteed aan het trainen van het neurale model, met minimaal 30 minuten per trainingstaak.
• Met deze betaalde trainingsfunctie kunt u grotere gegevenssets trainen voor langere duur met flexibiliteit in de trainingsuren.

GET /documentModels/{myCustomModel}
{
  "modelId": "myCustomModel",
  "trainingHours": 0.23,
  "docTypes": { ... },
  ...
}

Notitie

Voor Document Intelligence-versies v3.1 (2023-07-31) en v3.0 (2022-08-31)is de betaalde training van het aangepaste neurale model niet ingeschakeld. Voor de twee oudere versies krijgt u maximaal 30 minuten trainingsduur per model. Als u meer dan 20 modelexemplaren wilt trainen, kunt u een ondersteuning voor Azure ticket maken om de trainingslimiet te verhogen.

Volgende stappen

Meer informatie over het maken en opstellen van aangepaste modellen:

Aangepaste modellensamenstellen