Delen via

Extractie van documentvelden - aangepast AI-model

  • Artikel

Belangrijk

  • Openbare preview-versies van Document Intelligence bieden vroegtijdige toegang tot functies die actief zijn in ontwikkeling. Functies, benaderingen en processen kunnen veranderen, vóór algemene beschikbaarheid (GA), op basis van feedback van gebruikers.

  • De openbare preview-versie van Document Intelligence-clientbibliotheken is standaard ingesteld op REST API-versie 2024-07-31-preview en is momenteel alleen beschikbaar in de volgende Azure-regio's.

    • VS - oost
    • VS - west 2
    • Europa -west
    • VS - noord-centraal

  • Het nieuwe aangepaste generatieve model in AI Studio is alleen beschikbaar in de regio VS - noord-centraal:

Het model voor documentveldextractie (aangepaste generatieve AI) maakt gebruik van generatieve AI om door de gebruiker opgegeven velden te extraheren uit documenten in een groot aantal visuele sjablonen. Het aangepaste ai-model combineert de kracht van documentkennis met LLM's (Large Language Models) en de rigor en het schema van aangepaste extractiemogelijkheden om een model met hoge nauwkeurigheid in minuten te maken. Met dit generatieve modeltype kunt u beginnen met één document en het proces voor het toevoegen van schema's en het maken van modellen doorlopen met minimale labels. Met het aangepaste generatieve model kunnen ontwikkelaars en ondernemingen eenvoudig werkstromen voor gegevensextractie automatiseren met een grotere nauwkeurigheid en snelheid voor elk type document. Het aangepaste generatieve AI-model excelleert in het extraheren van eenvoudige velden uit documenten zonder gelabelde voorbeelden. Als u echter enkele gelabelde voorbeelden opneemt, verbetert u de nauwkeurigheid van extractie voor complexe velden en door de gebruiker gedefinieerde velden, zoals tabellen. U kunt de REST API of clientbibliotheken gebruiken om een document te verzenden voor analyse met een modelbuild en het aangepaste generatieve proces te gebruiken.

Voordelen van aangepaste generatieve AI-modellen

  • Automatisch labelen. Gebruik grote taalmodellen (LLM) en extraheer door de gebruiker opgegeven velden voor verschillende documenttypen en visuele sjablonen.

  • Verbeterde generalisatie. Gegevens extraheren uit ongestructureerde gegevens en verschillende documentsjablonen met een hogere nauwkeurigheid.

  • Geaarde resultaten. Lokaliseer de gegevens die zijn geëxtraheerd in de documenten. Aangepaste generatieve modellen maken waar van toepassing de resultaten, zodat het antwoord wordt gegenereerd op basis van de inhoud en dat menselijke beoordelingswerkstromen mogelijk zijn.

  • Betrouwbaarheidsscores. Gebruik betrouwbaarheidsscores voor elk geëxtraheerd veld om geëxtraheerde gegevens van hoge kwaliteit te filteren, de verwerking van documenten te maximaliseren en de kosten voor menselijke beoordeling te minimaliseren.

Veelvoorkomende toepassingen

  • Levenscyclusbeheer van contracten. Bouw een generatief model en extraheer de velden, componenten en verplichtingen uit een breed scala aan contracttypen.

  • Lening en hypotheekaanvragen. Automatisering van het proces van lenings- en hypotheekaanvraag stelt banken, kredietverleners en overheidsinstanties in staat om snel leningen en hypotheekaanvraag te verwerken.

  • Financiële dienstverlening. Analyseer met het aangepaste generatieve AI-model complexe documenten zoals financiële rapporten en assetbeheerrapporten.

  • Onkostenbeheer. Ontvangstbewijzen en facturen van verschillende detailhandelaren en bedrijven moeten worden geparseerd om de kosten te valideren. Het aangepaste generatieve AI-model kan uitgaven extraheren in verschillende indelingen en documenten met verschillende sjablonen.

De trainingsgegevensset beheren

Met onze andere aangepaste modellen moet u de gegevensset onderhouden, nieuwe voorbeelden toevoegen en het model trainen voor nauwkeurigheidsverbeteringen. Met het aangepaste AI-model worden de gelabelde documenten getransformeerd, versleuteld en opgeslagen als onderdeel van het model. Dit proces zorgt ervoor dat het model voortdurend gebruik kan maken van de gelabelde steekproeven om de extractiekwaliteit te verbeteren. Net als bij andere aangepaste modellen worden modellen opgeslagen in Microsoft Storage en kunt u ze op elk gewenst moment verwijderen.

De Document Intelligence-service beheert uw gegevenssets, maar uw documenten worden versleuteld opgeslagen en worden alleen gebruikt om de modelresultaten voor uw specifieke model te verbeteren. Een servicebeheerde sleutel kan worden gebruikt voor het versleutelen van uw gegevens of kan eventueel worden versleuteld met een door de klant beheerde sleutel. De wijziging in het beheer en de levenscyclus van de gegevensset is alleen van toepassing op aangepaste generatieve modellen.

Modelmogelijkheden

Aangepast generatief model voor veldextractie ondersteunt momenteel dynamische tabellen met de 2024-07-31-preview en de volgende velden:

Formuliervelden Selectiemarkeringen Tabellaire velden Handtekening Regiolabels Overlappende velden
Ondersteund Ondersteund Ondersteund Niet ondersteund Niet ondersteund Ondersteund

Buildmodus

De build custom model bewerking ondersteunt aangepaste sjabloon-, neurale en generatieve modellen, ziede buildmodus voor aangepaste modellen. Hier volgen de verschillen in de modeltypen:

  • Aangepaste generatieve AI-modellen kunnen complexe documenten verwerken met verschillende indelingen, verschillende sjablonen en ongestructureerde gegevens.

  • Aangepaste neurale modellen ondersteunen complexe documentverwerking en ondersteunen ook meer variantie op pagina's voor gestructureerde en semi-gestructureerde documenten.

  • Aangepaste sjabloonmodellen zijn afhankelijk van consistente visuele sjablonen, zoals vragenlijsten of toepassingen, om de gelabelde gegevens te extraheren.

Ondersteuning voor talen en landinstellingen

Aangepaste generatieve modelversie 2024-07-31-preview voor veldextractie ondersteunt de landinstelling en-us . Zie Taalondersteuning - aangepaste modellen voor meer informatie over taalondersteuning.

Ondersteuning voor regio

Aangepaste generatieve modelversie 2024-07-31-preview voor veldextractie is alleen beschikbaar in North Central US.  

Vereisten voor invoer

  • Ondersteunde bestandsindelingen:

    Modelleren PDF Afbeelding:
    JPEG/JPG, PNG, BMP, , TIFFHEIF    		 Microsoft Office:
    Word (), Excel (XLSXDOCX), PowerPoint (PPTX), HTML
    Read ✔ ✔ ✔
    Indeling ✔ ✔ ✔ (2024-07-31-preview, 2024-02-29-preview, 2023-10-31-preview)
    Algemeen document ✔ ✔
    Vooraf gebouwd ✔ ✔
    Aangepaste extractie ✔ ✔
    Aangepaste classificatie ✔ ✔ ✔ (2024-07-31-preview, 2024-02-29-preview)

  • Geef voor de beste resultaten één duidelijke foto of een hoogwaardige scan per document op.

  • Voor PDF en TIFF kunnen maximaal 2000 pagina's worden verwerkt (met een gratis abonnement worden alleen de eerste twee pagina's verwerkt).

  • De bestandsgrootte voor het analyseren van documenten is 500 MB voor betaalde (S0) laag en 4 MB voor gratis (F0).

  • De afmetingen van de afbeelding moeten tussen 50 x 50 pixels en 10.000 pixels x 10.000 pixels zijn.

  • Als uw PDF's zijn vergrendeld met een wachtwoord, moet u de vergrendeling verwijderen voordat u ze indient.

  • De minimale hoogte van de tekst die moet worden geëxtraheerd, is 12 pixels voor een afbeelding van 1024 x 768 pixels. Deze dimensie komt overeen met punttekst 8 op 150 punten per inch (DPI).

  • Voor aangepaste modeltraining is het maximum aantal pagina's voor trainingsgegevens 500 voor het aangepaste sjabloonmodel en 50.000 voor het aangepaste neurale model.

    • Voor het trainen van aangepaste extractiemodellen is de totale grootte van trainingsgegevens 50 MB voor het sjabloonmodel en 1 GB voor het neurale model.

    • Voor het trainen van aangepast classificatiemodel is 1 de totale grootte van trainingsgegevens GB met maximaal 10.000 pagina's. Voor 2024-07-31-preview en hoger is 2 de totale grootte van trainingsgegevens GB met maximaal 10.000 pagina's.

Aanbevolen procedures

  • Representatieve gegevens. Gebruik representatieve documenten die gericht zijn op werkelijke gegevensdistributie en train een aangepast generatief model van hoge kwaliteit. Als het doeldocument bijvoorbeeld gedeeltelijk ingevulde tabelvelden bevat, voegt u trainingsdocumenten toe die bestaan uit gedeeltelijk gevulde tabellen. Of als het veld de naam datum heeft, moeten waarden voor dit veld een datum zijn, omdat willekeurige tekenreeksen van invloed kunnen zijn op de modelprestaties.

  • Veldnaamgeving. Kies een exacte veldnaam die de veldwaarden vertegenwoordigt. Voor een veldwaarde met de transactiedatum kunt u bijvoorbeeld het veld TransactionDate een naam geven in plaats van Date1.

  • Veldbeschrijving. Geef meer contextuele informatie op in de beschrijving om het veld te verduidelijken dat moet worden geëxtraheerd. Voorbeelden zijn locatie in het document, mogelijke veldlabels waaraan deze kan worden gekoppeld en manieren om onderscheid te maken met andere termen die dubbelzinnig kunnen zijn.

  • Variatie. Aangepaste generatieve modellen kunnen over verschillende documentsjablonen van hetzelfde documenttype generaliseren. Maak als best practice één model voor alle variaties van een documenttype. Neem in het ideale voorbeeld een visuele sjabloon op voor elk type, met name voor een sjabloon met afzonderlijke opmaak of structurele elementen, om de nauwkeurigheid en consistentie van het model bij het genereren of verwerken van documenten te verbeteren.

Servicerichtlijnen

  • Het Custom Ative Preview-model biedt momenteel geen ondersteuning voor vaste tabel- en handtekeningextractie.

  • Deductie in hetzelfde document kan enigszins verschillende resultaten opleveren voor aanroepen en is een bekende beperking van de huidige GPT modellen.

  • Betrouwbaarheidsscores voor elk veld kunnen variëren. We raden u aan om te testen met uw representatieve gegevens om de betrouwbaarheidsdrempels voor uw scenario vast te stellen.

  • Gronding, met name voor tabellaire velden, is lastig en is in sommige gevallen mogelijk niet perfect.

  • Latentie voor grote documenten is hoog en een bekende beperking in preview.

  • Samengestelde modellen bieden geen ondersteuning voor aangepaste generatieve extractie.

Een model trainen

Aangepaste generatieve modellen zijn beschikbaar met de 2024-07-31-preview versie en latere modellen.

Het build operation te trainen model ondersteunt de buildMode eigenschap, om een aangepast generatief model te trainen, het buildMode op generative.


https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "generative",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Volgende stappen