Anpassad neural modell för dokumentinformation

Viktigt!

• Versioner av den offentliga förhandsversionen av Document Intelligence ger tidig åtkomst till funktioner som är i aktiv utveckling. Funktioner, metoder och processer kan ändras, före allmän tillgänglighet (GA), baserat på användarfeedback.
• Den offentliga förhandsversionen av Dokumentinformationsklientbiblioteken är som standard REST API version 2024-07-31-preview.
• Den offentliga förhandsversionen 2024-07-31-preview är för närvarande endast tillgänglig i följande Azure-regioner. Observera att modellen för anpassad generativ (extrahering av dokumentfält) i AI Studio endast är tillgänglig i regionen USA, norra centrala:
  • USA, östra
  • USA, västra 2
  • Europa, västra
  • USA, norra centrala

Det här innehållet gäller för: v4.0 (förhandsversion) | Tidigare versioner: v3.1 (GA) v3.0 (GA)

Anpassade neurala dokumentmodeller eller neurala modeller är en djupinlärd modelltyp som kombinerar layout- och språkfunktioner för att korrekt extrahera märkta fält från dokument. Den grundläggande anpassade neurala modellen tränas på olika dokumenttyper som gör det lämpligt att tränas för att extrahera fält från strukturerade och halvstrukturerade dokument. Anpassade neurala modeller är tillgängliga i modellerna v3.0 och senare Tabellen nedan visar vanliga dokumenttyper för varje kategori:

Dokument	Exempel
Strukturerade	enkäter, enkäter
Halvstrukturerade	fakturor, inköpsorder

Anpassade neurala modeller har samma etikettformat och strategi som anpassade mallmodeller . För närvarande stöder anpassade neurala modeller endast en delmängd av de fälttyper som stöds av anpassade mallmodeller.

Modellfunktioner

Viktigt!

Från och med API-versionen 2024-02-29-preview lägger anpassade neurala modeller till stöd för överlappande fält och konfidens för tabellceller.

Anpassade neurala modeller stöder för närvarande nyckel/värde-par och markeringsmarkeringar och strukturerade fält (tabeller).

Formulärfält	Markeringsmarkeringar	Tabellfält	Signatur	Regionetiketter	Överlappande fält
Stöds	Stöds	Stöds	Stöd saknas	Stöds 1	Stöds 2

¹ Regionetiketter i anpassade neurala modeller använder resultatet från layout-API:et för angiven region. Den här funktionen skiljer sig från mallmodeller där text genereras vid träningstillfället om inget värde finns.
² Överlappande fält stöds från och med REST API-version 2024-02-29-preview. Överlappande fält har vissa gränser. Mer information finns i överlappande fält.

Byggläge

Åtgärden Build stöder mallar och neurala anpassade modeller. Tidigare versioner av REST-API:et och klientbiblioteken har endast stöd för ett enda byggläge som nu kallas mallläge .

Neurala modeller stöder dokument som har samma information, men olika sidstrukturer. Exempel på dessa dokument är W2-formulär i USA, som delar samma information, men som kan variera i utseende mellan företag. Mer information finns i Byggläge för anpassad modell.

Överlappande fält

Med lanseringen av API-versioner 2024-02-29-preview och senare stöder anpassade neurala modeller överlappande fält:

Överlappande fält

Med lanseringen av API-versionerna 2024-07-31-preview och senare stöder anpassade neurala modeller överlappande fält:

Om du vill använda de överlappande fälten måste datauppsättningen innehålla minst ett exempel med den förväntade överlappningen. Om du vill märka en överlappning använder du regionetiketter för att ange vart och ett av innehållsintervallen (med överlappningen) för varje fält. Etikettering av en överlappning med fältmarkering (markera ett värde) misslyckas i Studio eftersom regionetiketter är det enda etiketteringsverktyget som stöds för att ange överlappande fält. Stöd för överlappning omfattar:

• Fullständig överlappning. Samma uppsättning token är märkta för två olika fält.
• Partiell överlappning. Vissa token tillhör båda fälten, men det finns token som bara är en del av det ena eller det andra fältet.

Överlappande fält har vissa gränser:

• En token eller ett ord kan bara märkas som två fält.
• överlappande fält i en tabell kan inte sträcka sig över tabellrader.
• Överlappande fält kan bara identifieras om minst ett exempel i datamängden innehåller överlappande etiketter för dessa fält.

Om du vill använda överlappande fält kan du märka datauppsättningen med överlappningarna och träna modellen med API-versionen 2024-02-29-preview eller senare.

Tabellfält

Med versionen av API-versionerna 2022-06-30-preview och senare stöder anpassade neurala modeller tabellfält (tabeller) för att analysera tabell-, rad- och celldata med extra konfidens:

• Modeller som tränats med API-version 2022-06-30-preview eller senare accepterar tabellfältetiketter.
• Dokument som analyseras med anpassade neurala modeller med API version 2022-06-30-preview eller senare skapar tabellfält aggregerade över tabellerna.
• Resultaten finns i objektets analyzeResult matris som returneras documents efter en analysåtgärd.

Tabellfält har stöd för korssidestabeller som standard:

• Om du vill märka en tabell som sträcker sig över flera sidor etiketterar du varje rad i tabellen på de olika sidorna i en enda tabell.
• Vi rekommenderar att du ser till att datamängden innehåller några exempel på de förväntade variationerna. Ta till exempel exempel exempel där hela tabellen finns på en enda sida och där tabellerna sträcker sig över två eller flera sidor.

Tabellfält är också användbara när du extraherar upprepad information i ett dokument som inte känns igen som en tabell. Till exempel kan ett upprepat avsnitt av arbetsupplevelser i ett CV märkas och extraheras som ett tabellfält.

Tabellfält ger tabell-, rad- och cellförtroende som börjar med API:et 2024-02-29-preview :

• Fasta eller dynamiska tabeller ger konfidensstöd för följande element:

  • Tabellförtroende, ett mått på hur exakt hela tabellen känns igen.
  • Radförtroende, ett mått på igenkänning av en enskild rad.
  • Cellförtroende, ett mått på igenkänning av en enskild cell.

• Den rekommenderade metoden är att granska noggrannheten uppifrån och ned och börja med tabellen först, följt av raden och sedan cellen. Se konfidens- och noggrannhetspoäng för att lära dig mer om tabell-, rad- och cellförtroende.

Språk och nationella inställningar som stöds

Se vår språksupport – anpassade modeller för en fullständig lista över språk som stöds.

Regioner som stöds

Från och med den 18 oktober 2022 är dokumentinformation anpassad neural modellträning endast tillgänglig i följande Azure-regioner tills vidare:

• Australien, östra
• Brasilien, södra
• Kanada, centrala
• Indien, centrala
• Central US
• Asien, östra
• East US
• USA, östra 2
• Centrala Frankrike
• Japan, östra
• USA, södra centrala
• Sydostasien
• Storbritannien, södra
• Europa, västra
• USA, västra 2
• US Gov, Arizona
• US Gov, Virginia

Dricks

Du kan kopiera en modell som tränats i någon av de utvalda regionerna som anges till en annan region och använda den i enlighet med detta.

Använd REST API eller Document Intelligence Studio för att kopiera en modell till en annan region.

Indatakrav

• För bästa resultat anger du ett tydligt foto eller en genomsökning av hög kvalitet per dokument.

• Filformat som stöds:

  Modell	PDF	Bild: jpeg/jpg, png, bmp, tiff, heif	Microsoft kancelarija: Word (docx), Excel (xlsx), PowerPoint (pptx) och HTML
  Lästa	✔	✔	✔
  Layout	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview eller senare)
  Allmänt dokument	✔	✔
  Inbyggda	✔	✔
  Anpassad neural	✔	✔

  ✱ Microsoft kancelarija filer stöds för närvarande inte för andra modeller eller versioner.

• För PDF och TIFF kan upp till 2 000 sidor bearbetas (med en prenumeration på den kostnadsfria nivån bearbetas endast de två första sidorna).

• Filstorleken för att analysera dokument är 500 MB för den betalda nivån (S0) och 4 MB för den kostnadsfria nivån (F0).

• Bilddimensionerna måste vara mellan 50 x 50 bildpunkter och 10 000 px x 10 000 bildpunkter.

• Om dina PDF-filer är låsta med lösenord måste du ta bort låset innan du skickar filerna.

• Den minsta höjden på texten som ska extraheras är 12 bildpunkter för en bild på 1 024 x 768 bildpunkter. Den här dimensionen motsvarar ungefär 8-punkttext vid 150 punkter per tum.

• För anpassad modellträning är det maximala antalet sidor för träningsdata 500 för den anpassade mallmodellen och 50 000 för den anpassade neurala modellen.

• För anpassad extraheringsmodellträning är den totala storleken på träningsdata 50 MB för mallmodellen och 1G-MB för den neurala modellen.

• För anpassad klassificeringsmodellträning är 1GB den totala storleken på träningsdata med högst 10 000 sidor.

Bästa praxis

Anpassade neurala modeller skiljer sig från anpassade mallmodeller på några olika sätt. Den anpassade mallen eller modellen förlitar sig på en konsekvent visuell mall för att extrahera etiketterade data. Anpassade neurala modeller stöder strukturerade och halvstrukturerade för att extrahera fält. När du väljer mellan modelltyperna börjar du med en neural modell och testar om den stöder dina funktionella behov.

• Hantera variationer – Anpassade neurala modeller kan generalisera i olika format av en enda dokumenttyp. Vi rekommenderar att du skapar en enskild modell för alla varianter av en dokumenttyp. Lägg till minst fem märkta exempel för var och en av de olika variationerna i träningsdatauppsättningen.
• Fältnamngivning – När du etiketterar data, förbättrar etikettering av det fält som är relevant för värdet noggrannheten för nyckel/värde-paren som extraheras. För ett fältvärde som innehåller leverantörs-ID kan du till exempel överväga att namnge fältet supplier_id. Fältnamnen ska vara på dokumentets språk.
• Etikettering av sammanhängande värden – Värdetoken/ord i ett fält måste vara antingen:
  • I en följdsekvens i naturlig läsordning, utan att interfoliera med andra fält
  • I en region som inte täcker några andra fält
• Representativa data – Värden i utbildningsfall bör vara olika och representativa. Om ett fält till exempel heter date ska värden för det här fältet vara ett datum. Syntetiskt värde som en slumpmässig sträng kan påverka modellens prestanda.

Aktuella begränsningar

• Den anpassade neurala modellen känner inte igen värden som delas upp över sidgränser.
• Anpassade neurala fälttyper som inte stöds ignoreras om en datauppsättning som är märkt för anpassade mallmodeller används för att träna en anpassad neural modell.
• Anpassade neurala modeller är begränsade till 20 byggåtgärder per månad. Öppna en supportbegäran om du behöver öka gränsen. Mer information finns i kvoter och gränser för Document Intelligence-tjänsten.

Träna en modell

Anpassade neurala modeller är tillgängliga i modellerna v3.0 och senare.

Dokumenttyp	REST API	SDK	Etikett- och testmodeller
Anpassat dokument	Dokumentinformation 3.1	SDK för dokumentinformation	Document Intelligence Studio

Åtgärden Build för att träna modellen stöder en ny buildMode egenskap, för att träna en anpassad neural modell, anger du buildMode till neural.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Fakturering

Från och med version 2024-07-31-previewkan du träna din anpassade neurala modell under längre tid än standard 30 minuter. Tidigare versioner är begränsade till 30 minuter per träningsinstans, med totalt 20 kostnadsfria träningsinstanser per månad. Nu med 2024-07-31-previewkan du få 10 timmars kostnadsfri modellträning och träna en modell så länge som 10 timmar.

Du kan välja att spendera alla 10 lediga timmar på en enda modellversion med en stor uppsättning data eller använda dem i flera versioner genom att justera värdet för maximal varaktighet för build åtgärden genom att maxTrainingHoursange :

POST https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  ...,
  "maxTrainingHours": 10
}

Viktigt!

• Om du vill träna ytterligare neurala modeller eller träna modeller under en längre tidsperiod som överstiger 10 timmar, tillkommer faktureringsavgifter. Mer information om faktureringsavgifter finns på sidan med priser.
• Du kan välja den här betalda utbildningstjänsten genom att ange maxTrainingHours det maximala antalet timmar som önskat. API-anrop utan budget, men med uppsättningen maxTrainingHours som över 10 timmar misslyckas.
• Eftersom varje version tar olika lång tid beroende på typen och storleken på träningsdatauppsättningen beräknas faktureringen för den faktiska tid som ägnas åt träning av den neurala modellen, med minst 30 minuter per träningsjobb.
• Med den här funktionen för betald utbildning kan du träna större datamängder under längre perioder med flexibilitet under träningstimmarna.

GET /documentModels/{myCustomModel}
{
  "modelId": "myCustomModel",
  "trainingHours": 0.23,
  "docTypes": { ... },
  ...
}

Kommentar

För dokumentinformationsversioner v3.1 (2023-07-31) och v3.0 (2022-08-31)är den anpassade neurala modellens betalda utbildning inte aktiverad. För de två äldre versionerna får du högst 30 minuters träningsvaraktighet per modell. Om du vill träna fler än 20 modellinstanser kan du skapa en Azure-supportbegäran för att öka träningsgränsen.

Nästa steg

Lär dig hur du skapar och skapar anpassade modeller:

Skapa en anpassad modellSkapa anpassade modeller