Skapa och träna en anpassad extraheringsmodell

  • Artikel

Det här innehållet gäller för:Bockmarkeringv4.0 (förhandsversion) | Tidigare versioner:blå bockmarkeringv3.1 (GA)blå bockmarkeringv3.0 (GA)blå bockmarkeringv2.1

Dokumentinformationsmodeller kräver så få som fem träningsdokument för att komma igång. Om du har minst fem dokument kan du komma igång med att träna en anpassad modell. Du kan träna antingen en anpassad mallmodell (anpassat formulär) eller en anpassad neural modell (anpassat dokument). Träningsprocessen är identisk för båda modellerna och det här dokumentet vägleder dig genom träningsprocessen för någon av modellerna.

Krav för anpassad modellinmatning

Kontrollera först att din träningsdatauppsättning följer indatakraven för Dokumentinformation.

  • För bästa resultat anger du ett tydligt foto eller en genomsökning av hög kvalitet per dokument.

  • Filformat som stöds:

    Modell PDF Bild:
    JPEG/JPG, PNG, BMP, TIFF, HEIF    		 Microsoft Office:
    Word (DOCX), Excel (XLSX), PowerPoint (PPTX) och HTML
    Läsa ✔ ✔ ✔
    Layout ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview)
    Allmänt dokument ✔ ✔
    Inbyggda ✔ ✔
    Anpassad extrahering ✔ ✔
    Anpassad klassificering ✔ ✔ ✔ (2024-02-29-preview)

  • För PDF och TIFF kan upp till 2 000 sidor bearbetas (med en kostnadsfri nivåprenumeration bearbetas endast de två första sidorna).

  • Filstorleken för att analysera dokument är 500 MB för den betalda nivån (S0) och 4 MB för den kostnadsfria nivån (F0).

  • Bilddimensionerna måste vara mellan 50 x 50 bildpunkter och 10 000 px x 10 000 bildpunkter.

  • Om dina PDF-filer är låsta med lösenord måste du ta bort låset innan du skickar filerna.

  • Den minsta höjden på texten som ska extraheras är 12 bildpunkter för en bild på 1 024 x 768 bildpunkter. Den här dimensionen motsvarar ungefär 8-punkttext vid 150 punkter per tum (DPI).

  • För anpassad modellträning är det maximala antalet sidor för träningsdata 500 för den anpassade mallmodellen och 50 000 för den anpassade neurala modellen.

    • För anpassad extraheringsmodellträning är den totala storleken på träningsdata 50 MB för mallmodellen och 1G-MB för den neurala modellen.

    • För anpassad klassificeringsmodellträning är 1GB den totala storleken på träningsdata med högst 10 000 sidor.

Tips för träningsdata

Följ dessa tips för att ytterligare optimera din datauppsättning för träning:

  • Använd textbaserade PDF-dokument i stället för bildbaserade dokument. Skannade PDF-filer hanteras som bilder.
  • Använd exempel där alla fält har slutförts för formulär med indatafält.
  • Använd formulär med olika värden i varje fält.
  • Använd en större datamängd (10–15 bilder) om formulärbilderna har lägre kvalitet.

Ladda upp dina träningsdata

När du har samlat in en uppsättning formulär eller dokument för träning måste du ladda upp dem till en Azure Blob Storage-container. Om du inte vet hur du skapar ett Azure-lagringskonto med en container följer du azure storage-snabbstarten för Azure-portalen. Du kan använda den kostnadsfria prisnivån (F0) för att prova tjänsten och uppgradera senare till en betald nivå för produktion.

Video: Träna din anpassade modell

  • När du har samlat in och laddat upp din träningsdatauppsättning är du redo att träna din anpassade modell. I följande video skapar vi ett projekt och utforskar några av grunderna för att framgångsrikt märka och träna en modell.

Skapa ett projekt i Document Intelligence Studio

Document Intelligence Studio tillhandahåller och samordnar alla API-anrop som krävs för att slutföra din datauppsättning och träna din modell.

  1. Börja med att navigera till Document Intelligence Studio. Första gången du använder Studio måste du initiera din prenumeration, resursgrupp och resurs. Följ sedan kraven för anpassade projekt för att konfigurera Studio för åtkomst till din träningsdatauppsättning.

  2. I Studio väljer du panelen Anpassade modeller på sidan anpassade modeller och väljer knappen Skapa ett projekt .

    Skärmbild av Skapa ett projekt i Document Intelligence Studio.

    1. I dialogrutan Skapa projekt anger du ett namn för projektet, eventuellt en beskrivning och väljer Fortsätt.

    2. I nästa steg i arbetsflödet väljer eller skapar du en dokumentinformationsresurs innan du väljer Fortsätt.

    Viktigt!

    Anpassade neurala modeller är bara tillgängliga i ett fåtal regioner. Om du planerar att träna en neural modell väljer eller skapar du en resurs i någon av dessa regioner som stöds.

    Skärmbild av Välj resursen Dokumentinformation.

  3. Välj sedan det lagringskonto som du använde för att ladda upp din anpassade modellträningsdatauppsättning. Mappsökvägen bör vara tom om träningsdokumenten finns i containerns rot. Om dokumenten finns i en undermapp anger du den relativa sökvägen från containerroten i fältet Mappsökväg . När lagringskontot har konfigurerats väljer du Fortsätt.

    Skärmbild av Välj lagringskonto.

  4. Granska slutligen projektinställningarna och välj Skapa projekt för att skapa ett nytt projekt. Du bör nu vara i etikettfönstret och se filerna i datauppsättningen i listan.

Märka dina data

I projektet är din första uppgift att märka datamängden med de fält som du vill extrahera.

Filerna som du laddade upp till lagring visas till vänster på skärmen, med den första filen redo att märkas.

  1. Börja märka datauppsättningen och skapa ditt första fält genom att välja plusknappen (➕) längst upp till höger på skärmen.

    Skärmbild av Skapa en etikett.

  2. Ange ett namn för fältet.

  3. Tilldela ett värde till fältet genom att välja ett ord eller ord i dokumentet. Välj fältet i listrutan eller i fältlistan i det högra navigeringsfältet. Det märkta värdet ligger under fältnamnet i listan med fält.

  4. Upprepa processen för alla fält som du vill märka för datauppsättningen.

  5. Märk de återstående dokumenten i datauppsättningen genom att välja varje dokument och välja den text som ska märkas.

Nu har du alla dokument i datauppsättningen märkta. Filerna .labels.json och .ocr.json motsvarar varje dokument i din träningsdatauppsättning och en ny fields.json fil. Den här träningsdatauppsättningen skickas för att träna modellen.

Träna din modell

Med din datauppsättning märkt är du nu redo att träna din modell. Välj knappen Träna i det övre högra hörnet.

  1. I dialogrutan träningsmodell anger du ett unikt modell-ID och, om du vill, en beskrivning. Modell-ID:t accepterar en strängdatatyp.

  2. För byggläget väljer du den typ av modell som du vill träna. Läs mer om modelltyper och funktioner.

    Skärmbild av dialogrutan Träna modell.

  3. Välj Träna för att starta träningsprocessen.

  4. Mallmodeller tränar på några minuter. Neurala modeller kan ta upp till 30 minuter att träna.

  5. Gå till menyn Modeller för att visa status för tågåtgärden.

Testa modellen

När modellträningen är klar kan du testa din modell genom att välja modellen på sidan modelllista.

  1. Välj modellen och välj på knappen Testa .

  2. + Add Välj knappen för att välja en fil för att testa modellen.

  3. När du har valt en fil väljer du knappen Analysera för att testa modellen.

  4. Modellresultatet visas i huvudfönstret och de fält som extraheras visas i det högra navigeringsfältet.

  5. Verifiera din modell genom att utvärdera resultatet för varje fält.

  6. Det högra navigeringsfältet har också exempelkoden för att anropa din modell och JSON-resultatet från API:et.

Grattis, du lärde dig att träna en anpassad modell i Document Intelligence Studio! Din modell är redo att användas med REST-API:et eller SDK:n för att analysera dokument.

Gäller för:Bockmarkering för Dokumentinformation v2.1v2.1. Andra versioner:v3.0

När du använder den anpassade modellen Dokumentinformation anger du dina egna träningsdata till åtgärden Träna anpassad modell så att modellen kan träna till dina branschspecifika formulär. Följ den här guiden om du vill lära dig hur du samlar in och förbereder data för att träna modellen effektivt.

Du behöver minst fem ifyllda formulär av samma typ.

Om du vill använda manuellt märkta träningsdata måste du börja med minst fem slutförda formulär av samma typ. Du kan fortfarande använda omärkta formulär utöver den datamängd som krävs.

Krav för anpassad modellinmatning

Kontrollera först att din träningsdatauppsättning följer indatakraven för Dokumentinformation.

  • För bästa resultat anger du ett tydligt foto eller en genomsökning av hög kvalitet per dokument.

  • Filformat som stöds:

    Modell PDF Bild:
    JPEG/JPG, PNG, BMP, TIFF, HEIF    		 Microsoft Office:
    Word (DOCX), Excel (XLSX), PowerPoint (PPTX) och HTML
    Läsa ✔ ✔ ✔
    Layout ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview)
    Allmänt dokument ✔ ✔
    Inbyggda ✔ ✔
    Anpassad extrahering ✔ ✔
    Anpassad klassificering ✔ ✔ ✔ (2024-02-29-preview)

  • För PDF och TIFF kan upp till 2 000 sidor bearbetas (med en kostnadsfri nivåprenumeration bearbetas endast de två första sidorna).

  • Filstorleken för att analysera dokument är 500 MB för den betalda nivån (S0) och 4 MB för den kostnadsfria nivån (F0).

  • Bilddimensionerna måste vara mellan 50 x 50 bildpunkter och 10 000 px x 10 000 bildpunkter.

  • Om dina PDF-filer är låsta med lösenord måste du ta bort låset innan du skickar filerna.

  • Den minsta höjden på texten som ska extraheras är 12 bildpunkter för en bild på 1 024 x 768 bildpunkter. Den här dimensionen motsvarar ungefär 8-punkttext vid 150 punkter per tum (DPI).

  • För anpassad modellträning är det maximala antalet sidor för träningsdata 500 för den anpassade mallmodellen och 50 000 för den anpassade neurala modellen.

    • För anpassad extraheringsmodellträning är den totala storleken på träningsdata 50 MB för mallmodellen och 1G-MB för den neurala modellen.

    • För anpassad klassificeringsmodellträning är 1GB den totala storleken på träningsdata med högst 10 000 sidor.

Tips för träningsdata

Följ dessa tips för att ytterligare optimera din datamängd för träning.

  • Använd textbaserade PDF-dokument i stället för bildbaserade dokument. Skannade PDF-filer hanteras som bilder.
  • Använd exempel som har alla fält ifyllda för ifyllda formulär.
  • Använd formulär med olika värden i varje fält.
  • Använd en större datamängd (10–15 bilder) för slutförda formulär.

Ladda upp dina träningsdata

När du har samlat in uppsättningen dokument för träning måste du ladda upp den till en Azure Blob Storage-container. Om du inte vet hur du skapar ett Azure Storage-konto med en container följer du azure storage-snabbstarten för Azure-portalen. Använd standardprestandanivån.

Om du vill använda manuellt märkta data laddar du upp .labels.json och .ocr.json filer som motsvarar dina träningsdokument. Du kan använda verktyget Exempeletiketter (eller ditt eget användargränssnitt) för att generera dessa filer.

Organisera dina data i undermappar (valfritt)

Som standard använder API:et Träna anpassad modell endast dokument som finns i roten för din lagringscontainer. Du kan dock träna med data i undermappar om du anger dem i API-anropet. Normalt har brödtexten i anropet Träna anpassad modell följande format, där <SAS URL> är url:en för signaturen för delad åtkomst för containern:

{
  "source":"<SAS URL>"
}

Om du lägger till följande innehåll i begärandetexten tränar API:et med dokument som finns i undermappar. Fältet "prefix" är valfritt och begränsar träningsdatauppsättningen till filer vars sökvägar börjar med den angivna strängen. Så ett värde på "Test", till exempel, gör att API:et bara tittar på de filer eller mappar som börjar med ordet Test.

{
  "source": "<SAS URL>",
  "sourceFilter": {
    "prefix": "<prefix string>",
    "includeSubFolders": true
  },
  "useLabelFile": false
}

Nästa steg

Nu när du har lärt dig hur du skapar en träningsdatauppsättning följer du en snabbstart för att träna en anpassad dokumentinformationsmodell och börja använda den i dina formulär.

Se även