Document Intelligence egyéni neurális modell

Fontos

• A Document Intelligence nyilvános előzetes verziójú kiadásai korai hozzáférést biztosítanak az aktív fejlesztés alatt lévő funkciókhoz.
• A funkciók, a megközelítések és a folyamatok az általános rendelkezésre állás (GA) előtt változhatnak a felhasználói visszajelzések alapján.
• A Document Intelligence ügyfélkódtárak nyilvános előzetes verziója alapértelmezés szerint a REST API 2024-02-29-preview verziója.
• A nyilvános előzetes verzió 2024-02-29 előzetes verziója jelenleg csak a következő Azure-régiókban érhető el:
• USA keleti régiója
• USA2 nyugati régiója
• Nyugat-Európa

Ez a tartalom a következőre vonatkozik::v4.0 (előzetes verzió) | Korábbi verziók:v3.1 (GA)v3.0 (GA)

Az egyéni neurális dokumentummodellek vagy neurális modellek olyan mélyen tanult modelltípusok, amelyek az elrendezési és nyelvi funkciókat kombinálva pontosan kinyerik a címkézett mezőket a dokumentumokból. Az alap egyéni neurális modell különböző dokumentumtípusokra van betanolva, így alkalmas a mezők strukturált, félig strukturált és strukturálatlan dokumentumokból való kinyerésére. Az egyéni neurális modellek a 3.0-s és újabb verziókban érhetők el. Az alábbi táblázat felsorolja az egyes kategóriák gyakori dokumentumtípusát:

Dokumentumok	Példák
Strukturált	felmérések, kérdőívek
Részben strukturált	számlák, beszerzési rendelések
Strukturálatlan	szerződések, levelek

Az egyéni neurális modellek címkézési formátuma és stratégiája megegyezik az egyéni sablonmodellekkel. Az egyéni neurális modellek jelenleg csak az egyéni sablonmodellek által támogatott mezőtípusok egy részét támogatják.

Modell képességei

Fontos

Az API-verziótól 2024-02-29-preview kezdve az egyéni neurális modellek támogatják az átfedésben lévő mezőket és a táblázatcellák megbízhatóságát.

Az egyéni neurális modellek jelenleg csak a kulcs-érték párokat, a kijelölési jeleket és a strukturált mezőket (táblákat) támogatják, a jövőbeli kiadások az aláírások támogatását is tartalmazzák.

Űrlapmezők	Kijelölési jelek	Táblázatos mezők	Aláírás	Régió	Átfedésben lévő mezők
Támogatott	Támogatott	Támogatott	Támogatott	Támogatott 1	Támogatott 2

¹ Az egyéni neurális modellek régiócímkéi az Layout API adott régióhoz tartozó eredményeit használják. Ez a funkció eltér a sablonmodellektől, ahol ha nincs érték, a betanításkor szöveg jön létre. ² Az átfedésben lévő mezők a REST API-verziótól 2024-02-29-previewkezdve támogatottak. Az átfedésben lévő mezőknek vannak korlátai. További információ: átfedésben lévő mezők.

Összeállítási mód

Az egyéni modell összeállítása művelet támogatja a sablon - és neurális egyéni modelleket. A REST API és az ügyfélkódtárak korábbi verziói csak egyetlen buildelési módot támogattak, amelyet most sablon módnak neveznek.

A neurális modellek olyan dokumentumokat támogatnak, amelyek ugyanazokat az információkat, de különböző lapstruktúrákat tartalmaznak. Ilyen dokumentumok például a Egyesült Államok W2-űrlapok, amelyek ugyanazokat az információkat tartalmazzák, de megjelenésük vállalatonként eltérő lehet. További információ: Egyéni modell összeállítási módja.

Támogatott nyelvek és területi beállítások

A támogatott nyelvek teljes listáját a Nyelvi támogatás – egyéni modellek oldalon találja.

Átfedésben lévő mezők

Az API 2024-02-29 előzetes és újabb verzióinak kiadásával az egyéni neurális modellek támogatják az átfedésben lévő mezőket:

Az átfedésben lévő mezők használatához az adatkészletnek tartalmaznia kell legalább egy, a várt átfedéssel rendelkező mintát. Átfedés címkézéséhez használjon régiócímkézést az egyes mezők tartalomtartományainak kijelöléséhez (átfedéssel). A mezőkijelöléssel (egy érték kiemelésével) való átfedés címkézése sikertelen lesz a studióban, mivel a régiócímkézés az egyetlen támogatott címkézési eszköz a mezők átfedésének jelzéséhez. Az átfedéses támogatás a következőket tartalmazza:

• Teljes átfedés. Ugyanezek a jogkivonatok két különböző mezőhöz vannak címkézve.
• Részleges átfedés. Egyes jogkivonatok mindkét mezőhöz tartoznak, de vannak olyan jogkivonatok, amelyek csak az egyik vagy a másik mező részei.

Az átfedésben lévő mezőknek vannak korlátai:

• Bármely jogkivonat vagy szó csak két mezőként címkézhető.
• A táblázat egymást átfedő mezői nem fedhetik át a táblázat sorait.
• Egymást átfedő mezők csak akkor ismerhetők fel, ha az adathalmaz legalább egy mintája átfedésben lévő címkéket tartalmaz ezekhez a mezőkhöz.

Átfedésben lévő mezők használatához címkézze fel az adathalmazt az átfedésekre, és tanítsa be a modellt az API-verzióval vagy újabb verzióval 2024-02-29-preview .

A táblázatos mezők táblázatos, sor- és cellabizonyságot adnak hozzá

Az API 2022-06-30 előzetes és újabb verzióinak kiadásával az egyéni neurális modellek támogatják a táblázatos mezőket (táblákat):

• Az API 2022-08-31-es vagy újabb verziójával betanított modellek táblázatos mezőfeliratokat fogadnak el.
• A 2022-06-30-as vagy újabb API-verziót használó egyéni neurális modellekkel elemzett dokumentumok táblázatos mezőket hoznak létre a táblákban összesítve.
• Az eredmények az analyzeResult objektum tömbjében documents találhatók, amelyet egy elemzési művelet után adnak vissza.

A táblázatos mezők alapértelmezés szerint támogatják a többoldalas táblázatokat :

• Ha több oldalra kiterjedő táblázatot szeretne címkézni, címkézze fel a táblázat minden sorát egyetlen táblázat különböző oldalain.
• Ajánlott eljárásként győződjön meg arról, hogy az adathalmaz néhány mintát tartalmaz a várt változatokról. Például olyan példákat is felvehet, amelyekben a teljes táblázat egyetlen oldalon található, és ahol a táblázatok két vagy több oldalt foglalnak magukban.

A táblázatos mezők akkor is hasznosak, ha ismétlődő információkat nyernek ki egy olyan dokumentumon belül, amely nem ismerhető fel táblaként. Az önéletrajzok munkatapasztalatainak ismétlődő szakasza például táblázatos mezőként címkézhető és kinyerhető.

A táblázatos mezők táblázatos, sor- és cellabizonyságot biztosítanak az 2024-02-29-preview API-tól kezdve:

• A rögzített vagy dinamikus táblák megbízhatósági támogatást nyújtanak a következő elemekhez:

  • A tábla megbízhatósága, a teljes tábla felismerésének pontos mértéke.
  • Sor megbízhatósága, az egyes sorok felismerésének mértéke.
  • Cella megbízhatósága, az egyes cellák felismerésének mértéke.

• Az ajánlott módszer a pontosság felülről lefelé történő áttekintése a táblázattól kezdve, majd a sor, majd a cella.

A megbízhatósági és pontossági pontszámok további információt a táblázat, a sor és a cella megbízhatóságáról.

Támogatott régiók

2022. október 18-ától a Document Intelligence egyéni neurális modell betanítása további értesítésig csak a következő Azure-régiókban lesz elérhető:

• Kelet-Ausztrália
• Dél-Brazília
• Közép-Kanada
• Közép-India
• Az USA középső régiója
• Kelet-Ázsia
• USA keleti régiója
• USA 2. keleti régiója
• Közép-Franciaország
• Kelet-Japán
• USA déli középső régiója
• Délkelet-Ázsia
• Az Egyesült Királyság déli régiója
• Nyugat-Európa
• USA 2. nyugati régiója
• USA-beli államigazgatás – Arizona
• USA-beli államigazgatás – Virginia

Tipp.

Az egyik kiválasztott régióban betanított modellt bármely más régióbamásolhatja, és ennek megfelelően használhatja.

A REST API-val vagy a Document Intelligence Studióval másolhat egy modellt egy másik régióba.

Bemeneti követelmények

• A legjobb eredmény érdekében dokumentumonként egy tiszta fényképet vagy kiváló minőségű vizsgálatot biztosít.

• Támogatott fájlformátumok:

  Modell	PDF	Kép: jpeg/jpg, png, bmp, tiff, heif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx) és HTML
  Olvasás	✔	✔	✔
  Elrendezés	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview vagy újabb)
  Általános dokumentum	✔	✔
  Előre összeállított	✔	✔
  Egyéni neurális	✔	✔

  ✱ A Microsoft Office-fájlok jelenleg nem támogatottak más modellekhez vagy verziókhoz.

• PDF és TIFF esetén legfeljebb 2000 oldal dolgozható fel (ingyenes szintű előfizetéssel csak az első két oldal dolgozható fel).

• A dokumentumok elemzéséhez használt fájlméret 500 MB a fizetős (S0) és 4 MB az ingyenes (F0) szint esetén.

• A képméreteknek 50 x 50 képpont és 10 000 képpont x 10 000 képpont között kell lenniük.

• Ha a PDF-eket jelszó védi, akkor beküldés előtt el kell távolítania a védelmet.

• A kinyerni kívánt szöveg minimális magassága 12 képpont egy 1024 x 768 képpontos képhez. Ez a dimenzió körülbelül 8150 pont/hüvelyk méretű pont szövegnek felel meg.

• Egyéni modell betanítása esetén a betanítási adatok oldalainak maximális száma az egyéni sablonmodell esetében 500, az egyéni neurális modell esetében pedig 50 000.

• Egyéni extrakciós modell betanítása esetén a betanítási adatok teljes mérete sablonmodell esetén 50 MB, a neurális modell esetében pedig 1G-MB.

• Egyéni besorolási modell betanítása esetén a betanítási adatok 1GB teljes mérete legfeljebb 10 000 oldal lehet.

Ajánlott eljárások

Az egyéni neurális modellek néhány különböző módon különböznek az egyéni sablonmodellektől. Az egyéni sablon vagy modell egy konzisztens vizualizációs sablonra támaszkodik a címkézett adatok kinyeréséhez. Az egyéni neurális modellek támogatják a strukturált, félig strukturált és strukturálatlan dokumentumokat a mezők kinyeréséhez. Amikor a két modelltípus közül választ, kezdje egy neurális modellel, és tesztelje, hogy támogatja-e a funkcionális igényeket.

Változatok kezelése

Az egyéni neurális modellek általánosíthatják az egyetlen dokumentumtípus különböző formátumait. Ajánlott eljárásként hozzon létre egyetlen modellt egy dokumentumtípus minden változatához. Adjon hozzá legalább öt címkézett mintát a betanítási adatkészlet mindegyik változatához.

Mezőelnevezés

Az adatok címkézésekor az érték szempontjából releváns mező címkézése javítja a kinyert kulcs-érték párok pontosságát. A szállítóazonosítót tartalmazó mezőértékek esetében például fontolja meg a mező supplier_id elnevezését. A mezőneveknek a dokumentum nyelvén kell lenniük.

Folytonos értékek címkézése

Egy mező értékjogkivonatainak/szavainak a következőknek kell lenniük:

• Egymást követő sorrendben, természetes olvasási sorrendben, más mezőkkel való összekapcsolás nélkül
• Olyan régióban, amely nem fed le más mezőket

Reprezentatív adatok

A képzési esetekben az értékeknek változatosnak és reprezentatívnak kell lenniük. Ha például egy mező neve dátum, a mező értékének dátumnak kell lennie. A szintetikus érték, mint egy véletlenszerű sztring, befolyásolhatja a modell teljesítményét.

Aktuális korlátozások

• Az egyéni neurális modell nem ismeri fel az oldalhatárok között felosztott értékeket.
• Az egyéni neurális nem támogatott mezőtípusok figyelmen kívül lesznek hagyva, ha egyéni sablonmodellekhez címkézett adatkészletet használnak egy egyéni neurális modell betanítására.
• Az egyéni neurális modellek havonta legfeljebb 20 buildelési műveletre korlátozódnak. Ha növelni szeretné a korlátot, nyisson meg egy támogatási kérést. További információ: Dokumentumintelligencia szolgáltatás kvótái és korlátai.

Modell betanítása

Az egyéni neurális modellek a 3.0-s és újabb verziókban érhetők el.

Dokumentumtípus	REST API	SDK	Címkék és tesztelési modellek
Egyéni dokumentum	Dokumentumintelligencia 3.1	Dokumentumintelligencia SDK	Document Intelligence Studio

A modell betanítására irányuló buildelési művelet egy új buildMode tulajdonságot támogat, egy egyéni neurális modell betanításához állítsa be a buildMode következőt neural: .

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-02-29-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Következő lépések

Ismerje meg, hogyan hozhat létre és írhat egyéni modelleket:

Egyéni modellösszeállítása Egyéni modellek összeállítása