Document Intelligence egyéni neurális modell

Fontos

• A Document Intelligence nyilvános előzetes verziójú kiadásai korai hozzáférést biztosítanak az aktív fejlesztés alatt lévő funkciókhoz. A funkciók, a megközelítések és a folyamatok az általános rendelkezésre állás (GA) előtt változhatnak a felhasználói visszajelzések alapján.
• A Document Intelligence ügyfélkódtárak nyilvános előzetes verziója alapértelmezés szerint a REST API 2024-07-31-preview verziója.
• A nyilvános előzetes verzió 2024-07-31 előzetes verziója jelenleg csak a következő Azure-régiókban érhető el. Vegye figyelembe, hogy az AI Studio egyéni generatív (dokumentummező-kinyerési) modellje csak az USA északi középső régiójában érhető el:
  • USA keleti régiója
  • USA2 nyugati régiója
  • Nyugat-Európa
  • USA északi középső régiója

Ez a tartalom a következőre vonatkozik: v4.0 (előzetes verzió) | Korábbi verziók: v3.1 (GA) v3.0 (GA)

Az egyéni neurális dokumentummodellek vagy neurális modellek olyan mélyen tanult modelltípusok, amelyek az elrendezési és nyelvi funkciókat kombinálva pontosan kinyerik a címkézett mezőket a dokumentumokból. Az alap egyéni neurális modell különböző dokumentumtípusokra van betanolva, így alkalmas a mezők strukturált és félig strukturált dokumentumokból való kinyerésére. Az egyéni neurális modellek a 3.0-s és újabb verziókban érhetők el. Az alábbi táblázat felsorolja az egyes kategóriák gyakori dokumentumtípusát:

Dokumentumok	Példák
Strukturált	felmérések, kérdőívek
Részben strukturált	számlák, beszerzési rendelések

Az egyéni neurális modellek címkézési formátuma és stratégiája megegyezik az egyéni sablonmodellekkel. Az egyéni neurális modellek jelenleg csak az egyéni sablonmodellek által támogatott mezőtípusok egy részét támogatják.

Modell képességei

Fontos

Az API-verziótól 2024-02-29-preview kezdve az egyéni neurális modellek támogatják az átfedésben lévő mezőket és a táblázatcellák megbízhatóságát.

Az egyéni neurális modellek jelenleg a kulcs-érték párokat, a kijelölési jeleket és a strukturált mezőket (táblákat) támogatják.

Űrlapmezők	Kijelölési jelek	Táblázatos mezők	Aláírás	Régiócímkézés	Átfedésben lévő mezők
Támogatott	Támogatott	Támogatott	Támogatott	Támogatott 1	Támogatott 2

¹ Az egyéni neurális modellek régiócímkéi az Layout API adott régióhoz tartozó eredményeit használják. Ez a funkció eltér a sablonmodellektől, ahol ha nincs érték, a betanításkor szöveg jön létre.
² Az átfedésben lévő mezők a REST API-verziótól 2024-02-29-previewkezdve támogatottak. Az átfedésben lévő mezőknek vannak korlátai. További információ: átfedésben lévő mezők.

Összeállítási mód

A Build művelet támogatja a sablon - és neurális egyéni modelleket. A REST API és az ügyfélkódtárak korábbi verziói csak egyetlen buildelési módot támogattak, amelyet most sablon módnak neveznek.

A neurális modellek olyan dokumentumokat támogatnak, amelyek ugyanazokat az információkat, de különböző lapstruktúrákat tartalmaznak. Ilyen dokumentumok például a Egyesült Államok W2-űrlapok, amelyek ugyanazokat az információkat tartalmazzák, de megjelenésük vállalatonként eltérő lehet. További információ: Egyéni modell összeállítási módja.

Átfedésben lévő mezők

Az API-verziók és újabb verziók 2024-02-29-preview kiadásával az egyéni neurális modellek támogatják az átfedésben lévő mezőket:

Átfedésben lévő mezők

Az API 2024-07-31 előzetes és újabb verzióinak kiadásával az egyéni neurális modellek támogatják az átfedésben lévő mezőket:

Az átfedésben lévő mezők használatához az adatkészletnek tartalmaznia kell legalább egy, a várt átfedéssel rendelkező mintát. Átfedés címkézéséhez használjon régiócímkézést az egyes mezők tartalomtartományainak kijelöléséhez (átfedéssel). A mezőkijelöléssel (egy érték kiemelésével) való átfedés címkézése meghiúsul a Studióban, mivel a régiócímkézés az egyetlen támogatott címkézési eszköz a mezők átfedésének jelzéséhez. Az átfedéses támogatás a következőket tartalmazza:

• Teljes átfedés. Ugyanezek a jogkivonatok két különböző mezőhöz vannak címkézve.
• Részleges átfedés. Egyes jogkivonatok mindkét mezőhöz tartoznak, de vannak olyan jogkivonatok, amelyek csak az egyik vagy a másik mező részei.

Az átfedésben lévő mezőknek vannak korlátai:

• Bármely jogkivonat vagy szó csak két mezőként címkézhető.
• A táblázat egymást átfedő mezői nem fedhetik át a táblázat sorait.
• Egymást átfedő mezők csak akkor ismerhetők fel, ha az adathalmaz legalább egy mintája átfedésben lévő címkéket tartalmaz ezekhez a mezőkhöz.

Átfedésben lévő mezők használatához címkézze fel az adathalmazt az átfedésekre, és tanítsa be a modellt az API-verzióval vagy újabb verzióval 2024-02-29-preview .

Táblázatos mezők

Az API 2022-06-30 előzetes és újabb verzióinak kiadásával az egyéni neurális modellek táblázatos mezőket (táblákat) támogatnak a táblázat-, sor- és cellaadatok további megbízhatósággal történő elemzéséhez:

• Az API 2022-06-30-preview vagy újabb verziójával betanított modellek táblázatos mezőfeliratokat fogadnak el.
• A 2022-06-30-as vagy újabb API-verziót használó egyéni neurális modellekkel elemzett dokumentumok táblázatos mezőket hoznak létre a táblákban összesítve.
• Az eredmények az analyzeResult objektum tömbjében documents találhatók, amelyet egy elemzési művelet után adnak vissza.

A táblázatos mezők alapértelmezés szerint támogatják a többoldalas táblázatokat :

• Ha több oldalra kiterjedő táblázatot szeretne címkézni, címkézze fel a táblázat minden sorát egyetlen táblázat különböző oldalain.
• Ajánlott eljárásként győződjön meg arról, hogy az adathalmaz néhány mintát tartalmaz a várt változatokról. Például olyan példákat is felvehet, amelyekben a teljes táblázat egyetlen oldalon található, és ahol a táblázatok két vagy több oldalt foglalnak magukban.

A táblázatos mezők akkor is hasznosak, ha ismétlődő információkat nyernek ki egy olyan dokumentumon belül, amely nem ismerhető fel táblaként. Az önéletrajzok munkatapasztalatainak ismétlődő szakasza például táblázatos mezőként címkézhető és kinyerhető.

A táblázatos mezők táblázatos, sor- és cellabizonyságot biztosítanak az 2024-02-29-preview API-tól kezdve:

• A rögzített vagy dinamikus táblák megbízhatósági támogatást nyújtanak a következő elemekhez:

  • A tábla megbízhatósága, a teljes tábla felismerésének pontos mértéke.
  • Sor megbízhatósága, az egyes sorok felismerésének mértéke.
  • Cella megbízhatósága, az egyes cellák felismerésének mértéke.

• Az ajánlott módszer a pontosság felülről lefelé történő áttekintése a táblázattól kezdve, majd a sor, majd a cella. A megbízhatósági és pontossági pontszámok további információt a táblázat, a sor és a cella megbízhatóságáról.

Támogatott nyelvek és területi beállítások

A támogatott nyelvek teljes listájáért tekintse meg a Nyelvi támogatás egyéni modelljeit.

Támogatott régiók

2022. október 18-ától a Document Intelligence egyéni neurális modell betanítása további értesítésig csak a következő Azure-régiókban lesz elérhető:

• Kelet-Ausztrália
• Dél-Brazília
• Közép-Kanada
• Közép-India
• Az USA középső régiója
• Kelet-Ázsia
• USA keleti régiója
• USA 2. keleti régiója
• Közép-Franciaország
• Kelet-Japán
• USA déli középső régiója
• Délkelet-Ázsia
• Az Egyesült Királyság déli régiója
• Nyugat-Európa
• USA 2. nyugati régiója
• USA-beli államigazgatás – Arizona
• USA-beli államigazgatás – Virginia

Tipp.

Az egyik kiválasztott régióban betanított modellt bármely más régióba másolhatja, és ennek megfelelően használhatja.

A REST API-val vagy a Document Intelligence Studióval másolhat egy modellt egy másik régióba.

Bemeneti követelmények

• A legjobb eredmény érdekében dokumentumonként egy tiszta fényképet vagy kiváló minőségű vizsgálatot biztosít.

• Támogatott fájlformátumok:

  Modell	PDF	Kép: jpeg/jpg, png, bmp, tiffheif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx) és HTML
  Olvasás	✔	✔	✔
  Elrendezés	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview vagy újabb)
  Általános dokumentum	✔	✔
  Előre összeállított	✔	✔
  Egyéni neurális	✔	✔

  ✱ A Microsoft Office-fájlok jelenleg nem támogatottak más modellekhez vagy verziókhoz.

• PDF és TIFF esetén legfeljebb 2000 oldal dolgozható fel (ingyenes szintű előfizetéssel csak az első két oldal dolgozható fel).

• A dokumentumok elemzéséhez használt fájlméret 500 MB a fizetős (S0) és 4 MB az ingyenes (F0) szint esetén.

• A képméreteknek 50 x 50 képpont és 10 000 képpont x 10 000 képpont között kell lenniük.

• Ha a PDF-eket jelszó védi, akkor beküldés előtt el kell távolítania a védelmet.

• A kinyerni kívánt szöveg minimális magassága 12 képpont egy 1024 x 768 képpontos képhez. Ez a dimenzió körülbelül 8150 pont/hüvelyk méretű pont szövegnek felel meg.

• Egyéni modell betanítása esetén a betanítási adatok oldalainak maximális száma az egyéni sablonmodell esetében 500, az egyéni neurális modell esetében pedig 50 000.

• Egyéni extrakciós modell betanítása esetén a betanítási adatok teljes mérete sablonmodell esetén 50 MB, a neurális modell esetében pedig 1G-MB.

• Egyéni besorolási modell betanítása esetén a betanítási adatok 1GB teljes mérete legfeljebb 10 000 oldal lehet.

Ajánlott eljárások

Az egyéni neurális modellek néhány különböző módon különböznek az egyéni sablonmodellektől. Az egyéni sablon vagy modell egy konzisztens vizualizációs sablonra támaszkodik a címkézett adatok kinyeréséhez. Az egyéni neurális modellek támogatják a strukturált és félig strukturált mezők kinyeréséhez. Amikor a modelltípusok közötti választást választja, kezdje egy neurális modellel, és tesztelje, hogy támogatja-e a funkcionális igényeket.

• Variációk kezelése – Az egyéni neurális modellek általánosíthatják az egyetlen dokumentumtípus különböző formátumait. Ajánlott eljárásként hozzon létre egyetlen modellt egy dokumentumtípus minden változatához. Adjon hozzá legalább öt címkézett mintát a betanítási adatkészlet mindegyik változatához.
• Mezőelnevezés – Az adatok címkézésekor az érték szempontjából releváns mező címkézése javítja a kinyert kulcs-érték párok pontosságát. A szállítóazonosítót tartalmazó mezőértékek esetében például fontolja meg a mező supplier_id elnevezését. A mezőneveknek a dokumentum nyelvén kell lenniük.
• Folytonos értékek címkézése – Az egyik mező érték jogkivonatainak/szavainak a következőknek kell lenniük:
  • Egymást követő sorrendben, természetes olvasási sorrendben, más mezőkkel való összekapcsolás nélkül
  • Olyan régióban, amely nem fed le más mezőket
• Reprezentatív adatok – A betanítási esetekben az értékeknek változatosnak és reprezentatívnak kell lenniük. Ha például egy mező neve dátum, a mező értékének dátumnak kell lennie. A szintetikus érték, mint egy véletlenszerű sztring, befolyásolhatja a modell teljesítményét.

Aktuális korlátozások

• Az egyéni neurális modell nem ismeri fel az oldalhatárok között felosztott értékeket.
• Az egyéni neurális nem támogatott mezőtípusok figyelmen kívül lesznek hagyva, ha egyéni sablonmodellekhez címkézett adatkészletet használnak egy egyéni neurális modell betanítására.
• Az egyéni neurális modellek havonta legfeljebb 20 buildelési műveletre korlátozódnak. Ha növelni szeretné a korlátot, nyisson meg egy támogatási kérést. További információ: Dokumentumintelligencia szolgáltatás kvótái és korlátai.

Modell betanítása

Az egyéni neurális modellek a 3.0-s és újabb verziókban érhetők el.

Dokumentumtípus	REST API	SDK	Címkék és tesztelési modellek
Egyéni dokumentum	Dokumentumintelligencia 3.1	Dokumentumintelligencia SDK	Document Intelligence Studio

A Build modell betanítási művelete egy új buildMode tulajdonságot támogat, egy egyéni neurális modell betanításához állítsa be a buildMode következőt neural: .

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Számlázás

A verziótól 2024-07-31-previewkezdve az egyéni neurális modellt a szokásos 30 percnél hosszabb ideig taníthatja be. A korábbi verziók legfeljebb 30 percet használhatnak betanítási példányonként, havonta összesen 20 ingyenes képzési példánysal. 2024-07-31-previewMost már 10 órányi ingyenes modellbetanítást kaphat, és akár 10 óráig betaníthat egy modellt.

Dönthet úgy, hogy az összes 10 szabad órát egy nagy adatkészlettel rendelkező modell buildjén tölti, vagy több buildben is felhasználhatja a művelet maxTrainingHoursmaximális időtartamértékének build beállításával:

POST https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  ...,
  "maxTrainingHours": 10
}

Fontos

• Ha további neurális modelleket szeretne betanítani, vagy 10 órát meghaladó hosszabb időre szeretné betanítani a modelleket, a számlázási díjak érvényesek. A számlázási díjakkal kapcsolatos részletekért tekintse meg a díjszabási oldalt.
• Ezt a fizetős képzési szolgáltatást úgy választhatja ki, hogy a maxTrainingHours kívánt maximális óraszámot állítja be. A költségvetés nélküli, de több mint 10 órás beállítással rendelkező maxTrainingHours API-hívások sikertelenek lesznek.
• Mivel az egyes buildek a betanítási adathalmaz típusától és méretétől függően eltérő időt vesznek igénybe, a rendszer a számlázást a neurális modell betanításával töltött tényleges idő alapján számítja ki, és a betanítási feladatonként legalább 30 percet vesz igénybe.
• Ez a fizetős betanítási funkció lehetővé teszi nagyobb adatkészletek betanítását hosszabb ideig, rugalmasan a betanítási órákban.

GET /documentModels/{myCustomModel}
{
  "modelId": "myCustomModel",
  "trainingHours": 0.23,
  "docTypes": { ... },
  ...
}

Feljegyzés

A Dokumentumintelligencia-verziók v3.1 (2023-07-31) és v3.0 (2022-08-31)az egyéni neurális modell fizetős betanítása nem engedélyezett. A két régebbi verzió esetében modellenként legfeljebb 30 perces betanítási időtartamot kap. Ha több mint 20 modellpéldányt szeretne betaníteni, létrehozhat egy Azure-támogatás jegyet a betanítási korlát növeléséhez.

Következő lépések

Ismerje meg, hogyan hozhat létre és írhat egyéni modelleket:

Egyéni modellösszeállítása Egyéni modellek összeállítása