Anpassad neural modell för dokumentinformation

Viktigt!

• Versioner av den offentliga förhandsversionen av Document Intelligence ger tidig åtkomst till funktioner som är i aktiv utveckling.
• Funktioner, metoder och processer kan ändras, före allmän tillgänglighet (GA), baserat på användarfeedback.
• Den offentliga förhandsversionen av Dokumentinformationsklientbiblioteken är som standard REST API version 2024-02-29-preview.
• Förhandsversion 2024-02-29-preview är för närvarande endast tillgänglig i följande Azure-regioner:
• USA, östra
• USA, västra 2
• Europa, västra

Det här innehållet gäller för:v4.0 (förhandsversion) | Tidigare versioner:v3.1 (GA)v3.0 (GA)

Anpassade neurala dokumentmodeller eller neurala modeller är en djupinlärd modelltyp som kombinerar layout- och språkfunktioner för att korrekt extrahera märkta fält från dokument. Den grundläggande anpassade neurala modellen tränas på olika dokumenttyper som gör det lämpligt att tränas för att extrahera fält från strukturerade, halvstrukturerade och ostrukturerade dokument. Anpassade neurala modeller är tillgängliga i modellerna v3.0 och senare Tabellen nedan visar vanliga dokumenttyper för varje kategori:

Dokument	Exempel
Strukturerade	enkäter, enkäter
Halvstrukturerade	fakturor, inköpsorder
Ostrukturerat	kontrakt, brev

Anpassade neurala modeller har samma etikettformat och strategi som anpassade mallmodeller . För närvarande stöder anpassade neurala modeller endast en delmängd av de fälttyper som stöds av anpassade mallmodeller.

Modellfunktioner

Viktigt!

Från och med API-versionen 2024-02-29-preview lägger anpassade neurala modeller till stöd för överlappande fält och konfidens för tabellceller.

Anpassade neurala modeller stöder för närvarande endast nyckel/värde-par och urvalsmarkeringar och strukturerade fält (tabeller), framtida versioner innehåller stöd för signaturer.

Formulärfält	Markeringsmarkeringar	Tabellfält	Signatur	Region	Överlappande fält
Stöds	Stöds	Stöds	Stöd saknas	Stöds 1	Stöds 2

¹ Regionetiketter i anpassade neurala modeller använder resultatet från layout-API:et för angiven region. Den här funktionen skiljer sig från mallmodeller där text genereras vid träningstillfället om inget värde finns. ² Överlappande fält stöds från och med REST API-version 2024-02-29-preview. Överlappande fält har vissa gränser. Mer information finns iöverlappande fält.

Byggläge

Åtgärden skapa anpassad modell stöder mallar och neurala anpassade modeller. Tidigare versioner av REST-API:et och klientbiblioteken har endast stöd för ett enda byggläge som nu kallas mallläge .

Neurala modeller stöder dokument som har samma information, men olika sidstrukturer. Exempel på dessa dokument är USA W2-formulär, som delar samma information, men kan variera i utseende mellan företag. Mer information finns iByggläge för anpassad modell.

Språk och nationella inställningar som stöds

Se sidan Språkstöd – anpassade modeller för en fullständig lista över språk som stöds.

Överlappande fält

Med lanseringen av API-versionerna 2024-02-29-preview och senare stöder anpassade neurala modeller överlappande fält:

Om du vill använda de överlappande fälten måste datauppsättningen innehålla minst ett exempel med den förväntade överlappningen. Om du vill märka en överlappning använder du regionetiketter för att ange vart och ett av innehållsintervallen (med överlappningen) för varje fält. Etikettering av en överlappning med fältmarkering (markera ett värde) misslyckas i studion eftersom regionetiketter är det enda etiketteringsverktyg som stöds för att ange fältöverlappningar. Stöd för överlappning omfattar:

• Fullständig överlappning. Samma uppsättning token är märkta för två olika fält.
• Partiell överlappning. Vissa token tillhör båda fälten, men det finns token som bara är en del av det ena eller det andra fältet.

Överlappande fält har vissa gränser:

• En token eller ett ord kan bara märkas som två fält.
• överlappande fält i en tabell kan inte sträcka sig över tabellrader.
• Överlappande fält kan bara identifieras om minst ett exempel i datamängden innehåller överlappande etiketter för dessa fält.

Om du vill använda överlappande fält kan du märka datauppsättningen med överlappningarna och träna modellen med API-versionen 2024-02-29-preview eller senare.

Tabellfält lägger till tabell-, rad- och cellförtroende

Med lanseringen av API-versionerna 2022-06-30-preview och senare stöder anpassade neurala modeller tabellfält (tabeller):

• Modeller som tränats med API-version 2022-08-31 eller senare accepterar tabellfältetiketter.
• Dokument som analyseras med anpassade neurala modeller med API version 2022-06-30-preview eller senare skapar tabellfält aggregerade över tabellerna.
• Resultaten finns i objektets analyzeResult matris som returneras documents efter en analysåtgärd.

Tabellfält har stöd för korssidestabeller som standard:

• Om du vill märka en tabell som sträcker sig över flera sidor etiketterar du varje rad i tabellen på de olika sidorna i en enda tabell.
• Vi rekommenderar att du ser till att datamängden innehåller några exempel på de förväntade variationerna. Ta till exempel exempel exempel där hela tabellen finns på en enda sida och där tabellerna sträcker sig över två eller flera sidor.

Tabellfält är också användbara när du extraherar upprepad information i ett dokument som inte känns igen som en tabell. Till exempel kan ett upprepat avsnitt av arbetsupplevelser i ett CV märkas och extraheras som ett tabellfält.

Tabellfält ger tabell-, rad- och cellförtroende som börjar med API:et 2024-02-29-preview :

• Fasta eller dynamiska tabeller ger konfidensstöd för följande element:

  • Tabellförtroende, ett mått på hur exakt hela tabellen känns igen.
  • Radförtroende, ett mått på igenkänning av en enskild rad.
  • Cellförtroende, ett mått på igenkänning av en enskild cell.

• Den rekommenderade metoden är att granska noggrannheten uppifrån och ned och börja med tabellen först, följt av raden och sedan cellen.

Se konfidens- och noggrannhetspoäng för att lära dig mer om tabell-, rad- och cellförtroende.

Regioner som stöds

Från och med den 18 oktober 2022 är dokumentinformation anpassad neural modellträning endast tillgänglig i följande Azure-regioner tills vidare:

• Australien, östra
• Brasilien, södra
• Kanada, centrala
• Indien, centrala
• Central US
• Asien, östra
• East US
• USA, östra 2
• Centrala Frankrike
• Japan, östra
• USA, södra centrala
• Sydostasien
• Storbritannien, södra
• Europa, västra
• USA, västra 2
• US Gov, Arizona
• US Gov, Virginia

Dricks

Du kan kopiera en modell som tränats i någon av de utvalda regionerna som anges till en annan region och använda den i enlighet med detta.

Använd REST API eller Document Intelligence Studio för att kopiera en modell till en annan region.

Indatakrav

• För bästa resultat anger du ett tydligt foto eller en genomsökning av hög kvalitet per dokument.

• Filformat som stöds:

  Modell	PDF	Bild: jpeg/jpg, png, bmp, tiff, heif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx) och HTML
  Läsa	✔	✔	✔
  Layout	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview eller senare)
  Allmänt dokument	✔	✔
  Inbyggda	✔	✔
  Anpassad neural	✔	✔

  ✱ Microsoft Office-filer stöds för närvarande inte för andra modeller eller versioner.

• För PDF och TIFF kan upp till 2 000 sidor bearbetas (med en prenumeration på den kostnadsfria nivån bearbetas endast de två första sidorna).

• Filstorleken för att analysera dokument är 500 MB för den betalda nivån (S0) och 4 MB för den kostnadsfria nivån (F0).

• Bilddimensionerna måste vara mellan 50 x 50 bildpunkter och 10 000 px x 10 000 bildpunkter.

• Om dina PDF-filer är låsta med lösenord måste du ta bort låset innan du skickar filerna.

• Den minsta höjden på texten som ska extraheras är 12 bildpunkter för en bild på 1 024 x 768 bildpunkter. Den här dimensionen motsvarar ungefär 8-punkttext vid 150 punkter per tum.

• För anpassad modellträning är det maximala antalet sidor för träningsdata 500 för den anpassade mallmodellen och 50 000 för den anpassade neurala modellen.

• För anpassad extraheringsmodellträning är den totala storleken på träningsdata 50 MB för mallmodellen och 1G-MB för den neurala modellen.

• För anpassad klassificeringsmodellträning är 1GB den totala storleken på träningsdata med högst 10 000 sidor.

Bästa praxis

Anpassade neurala modeller skiljer sig från anpassade mallmodeller på några olika sätt. Den anpassade mallen eller modellen förlitar sig på en konsekvent visuell mall för att extrahera etiketterade data. Anpassade neurala modeller stöder strukturerade, halvstrukturerade och ostrukturerade dokument för att extrahera fält. När du väljer mellan de två modelltyperna börjar du med en neural modell och testar om den stöder dina funktionella behov.

Hantera variationer

Anpassade neurala modeller kan generalisera över olika format av en enda dokumenttyp. Vi rekommenderar att du skapar en enskild modell för alla varianter av en dokumenttyp. Lägg till minst fem märkta exempel för var och en av de olika variationerna i träningsdatauppsättningen.

Namn på fält

När du etiketterar data förbättrar etikettering av det fält som är relevant för värdet noggrannheten för nyckel/värde-paren som extraheras. För ett fältvärde som innehåller leverantörs-ID kan du till exempel överväga att namnge fältet supplier_id. Fältnamnen ska vara på dokumentets språk.

Etikettering av sammanhängande värden

Värdetoken/ord i ett fält måste vara antingen:

• I en följdsekvens i naturlig läsordning, utan att interfoliera med andra fält
• I en region som inte täcker några andra fält

Representativa data

Värden i utbildningsfall bör vara olika och representativa. Om ett fält till exempel heter date ska värden för det här fältet vara ett datum. Syntetiskt värde som en slumpmässig sträng kan påverka modellens prestanda.

Aktuella begränsningar

• Den anpassade neurala modellen känner inte igen värden som delas upp över sidgränser.
• Anpassade neurala fälttyper som inte stöds ignoreras om en datauppsättning som är märkt för anpassade mallmodeller används för att träna en anpassad neural modell.
• Anpassade neurala modeller är begränsade till 20 byggåtgärder per månad. Öppna en supportbegäran om du behöver öka gränsen. Mer information finns i kvoter och gränser för Document Intelligence-tjänsten.

Träna en modell

Anpassade neurala modeller är tillgängliga i modellerna v3.0 och senare.

Dokumenttyp	REST API	SDK	Etikett- och testmodeller
Anpassat dokument	Dokumentinformation 3.1	SDK för dokumentinformation	Document Intelligence Studio

Byggåtgärden för att träna modellen stöder en ny buildMode egenskap, för att träna en anpassad neural modell anger du buildMode till neural.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-02-29-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Nästa steg

Lär dig hur du skapar och skapar anpassade modeller:

Skapa en anpassad modellSkapa anpassade modeller