Megosztás a következőn keresztül:

Dokumentummező kinyerése – egyéni generatív AI-modell

  • Cikk

Fontos

  • A Document Intelligence nyilvános előzetes verziójú kiadásai korai hozzáférést biztosítanak az aktív fejlesztés alatt lévő funkciókhoz. A funkciók, a megközelítések és a folyamatok az általános rendelkezésre állás (GA) előtt változhatnak a felhasználói visszajelzések alapján.
  • A Document Intelligence-ügyfélkódtárak nyilvános előzetes verziója alapértelmezés szerint a REST API 2024-07-31 előzetes verziója, és jelenleg csak az alábbi Azure-régiókban érhető el.
    • USA keleti régiója
    • USA északi középső régiója

A dokumentummező-kinyerési (egyéni generatív AI-) modell generatív AI használatával nyeri ki a felhasználó által megadott mezőket a dokumentumokból számos különféle vizuális sablonban. Az egyéni generatív AI-modell egyesíti a dokumentumértés erejét a nagy nyelvi modellekkel (LLM-ekkel), valamint az egyéni kinyerési képességek szigorával és sémájával, hogy percek alatt nagy pontosságú modellt hozzon létre. Ezzel a generatív modelltípussal egyetlen dokumentummal kezdhet, és minimális címkézéssel végighaladhat a séma hozzáadásán és a modell létrehozásának folyamatán. Az egyéni generatív modell lehetővé teszi, hogy a fejlesztők és a vállalatok egyszerűen automatizálják az adatkinyerési munkafolyamatokat, nagyobb pontossággal és sebességgel bármilyen típusú dokumentumhoz. Az egyéni generatív AI-modell kiválóan képes egyszerű mezőket kinyerni a dokumentumokból címkézett minták nélkül. Néhány címkével ellátott minta azonban javítja az összetett mezők és a felhasználó által definiált mezők, például a táblák kinyerési pontosságát. A REST API-val vagy ügyfélkódtárakkal elemzésre küldhet dokumentumokat egy modell buildelésével, és használhatja az egyéni generatív folyamatot.

Egyéni generatív AI-modell előnyei

  • Automatikus címkézés. Nagy nyelvi modellek (LLM) használata és felhasználó által megadott mezők kinyerése különböző dokumentumtípusokhoz és vizualizációsablonokhoz.

  • Továbbfejlesztett általánosítás. Adatok kinyerése strukturálatlan adatokból és eltérő dokumentumsablonokból, nagyobb pontossággal.

  • Alapozott eredmények. Honosítsa a dokumentumokban kinyert adatokat. Az egyéni generatív modellek adott esetben megalapozják az eredményeket, biztosítva a válasz létrejöttét a tartalomból, és lehetővé teszik az emberi felülvizsgálati munkafolyamatokat.

  • Megbízhatósági pontszámok. Használjon megbízhatósági pontszámokat minden kinyert mezőhöz, szűrje a kiváló minőségű kinyert adatokat, maximalizálja a dokumentumok feldolgozását, és minimalizálja az emberi felülvizsgálati költségeket.

Gyakori alkalmazási helyzetek

  • Szerződés életciklusának kezelése. Hozzon létre egy generatív modellt, és nyerje ki a mezőket, záradékokat és kötelezettségeket a szerződéstípusok széles skálájából.

  • Hitel > Jelzálogkérelmek. A hitel- és jelzálogigénylési folyamat automatizálása lehetővé teszi a bankok, a hitelezők és a kormányzati szervek számára, hogy gyorsan feldolgozzák a hitel- és jelzálogkérelmeket.

  • Pénzügyi szolgáltatások. Az egyéni generatív AI-modellel elemezheti az olyan összetett dokumentumokat, mint a pénzügyi jelentések és az eszközkezelési jelentések.

  • Költségkezelés. A különböző kiskereskedőktől és vállalkozásoktól származó nyugtákat és számlákat elemezni kell a költségek érvényesítéséhez. Az egyéni generatív AI-modell különböző formátumokban és különböző sablonokkal rendelkező dokumentumokban fejtheti ki a költségeket.

A betanítási adatkészlet kezelése

A többi egyéni modellünkkel meg kell őriznie az adathalmazt, új mintákat kell hozzáadnia, és be kell tanítania a modellt a pontosság javítása érdekében. Az egyéni generatív AI-modellben a címkézett dokumentumok a modell részeként lesznek átalakítva, titkosítva és tárolva. Ez a folyamat biztosítja, hogy a modell folyamatosan használja a címkézett mintákat a kinyerési minőség javítása érdekében. A többi egyéni modellhez hasonlóan a modellek a Microsoft Storage-ban vannak tárolva, és bármikor törölheti őket.

A Dokumentumintelligencia szolgáltatás kezeli az adathalmazokat, de a dokumentumok titkosítva vannak tárolva, és csak az adott modell modelleredményeinek javítására szolgálnak. A szolgáltatás által kezelt kulcsok használhatók az adatok titkosítására, vagy opcionálisan egy ügyfél által felügyelt kulccsal is titkosíthatók. Az adathalmaz kezelésének és életciklusának módosítása csak az egyéni generatív modellekre vonatkozik.

Modell képességei

A mezőkinyerési egyéni generatív modell jelenleg a dinamikus táblát támogatja a 2024-07-31-preview következő mezőkkel:

Űrlapmezők Kijelölési jelek Táblázatos mezők Aláírás Régiócímkézés Átfedésben lévő mezők
Támogatott Támogatott Támogatott Nem támogatott Nem támogatott Támogatott

Összeállítási mód

A build custom model művelet támogatja az egyéni sablonokat, neurális és generatív modelleket, lásd:Egyéni modell buildelési módja. A modelltípusok különbségei a következők:

  • Az egyéni generatív AI-modellek összetett dokumentumokat dolgozhatnak fel különböző formátumokkal, változatos sablonokkal és strukturálatlan adatokkal.

  • Az egyéni neurális modellek támogatják az összetett dokumentumfeldolgozást, valamint támogatják a strukturált és félig strukturált dokumentumok lapjainak nagyobb varianciáját.

  • Az egyéni sablonmodellek konzisztens vizuális sablonokra, például kérdőívekre vagy alkalmazásokra támaszkodnak a címkézett adatok kinyeréséhez.

Nyelvek és területi beállítások támogatása

A mezőkinyerés egyéni generatív modellverziója 2024-07-31-preview támogatja az en-us területi beállításokat. A nyelvi támogatásról további információt a Nyelvi támogatás – egyéni modellek című témakörben talál.

Régiós támogatás

A mezőkinyerés egyéni generatív modellverziója 2024-07-31-preview csak az USA keleti régiójában és North Central USa .  

Bemeneti követelmények

  • Támogatott fájlformátumok:

    Modell PDF Kép:
    JPEG/JPG, PNG, BMP, TIFFHEIF    		 Microsoft Office:
    Word (DOCX), Excel (XLSX), PowerPoint (PPTX), HTML
    Olvasás ✔ ✔ ✔
    Elrendezés ✔ ✔ ✔ (2024-07-31-preview, 2024-02-29-preview, 2023-10-31-preview)
    Általános dokumentum ✔ ✔
    Előre összeállított ✔ ✔
    Egyéni kinyerés ✔ ✔
    Egyéni besorolás ✔ ✔ ✔ (2024-07-31-preview, 2024-02-29-preview)

  • A legjobb eredmény érdekében dokumentumonként egy tiszta fényképet vagy kiváló minőségű vizsgálatot biztosít.

  • PDF és TIFF esetén legfeljebb 2000 oldal dolgozható fel (ingyenes szintű előfizetéssel csak az első két oldal dolgozható fel).

  • A dokumentumok elemzéséhez használt fájlméret 500 MB a fizetős (S0) szint, az 4 ingyenes (F0) szint esetén pedig MB.

  • A képméreteknek 50 képpont x 50 képpont és 10 000 képpont x 10 000 képpont között kell lenniük.

  • Ha a PDF-eket jelszó védi, akkor beküldés előtt el kell távolítania a védelmet.

  • A kinyerni kívánt szöveg minimális magassága 12 képpont egy 1024 x 768 képpontos képhez. Ez a dimenzió körülbelül 8 150 pont/hüvelyk (DPI) pontszövegnek felel meg.

  • Egyéni modell betanítása esetén a betanítási adatok oldalainak maximális száma az egyéni sablonmodell esetében 500, az egyéni neurális modell esetében pedig 50 000.

    • Egyéni extrakciós modell betanítása esetén a betanítási adatok teljes mérete 50 MB a sablonmodellhez, a neurális modellhez pedig 1 GB.

    • Egyéni besorolási modell betanítása esetén a betanítási adatok 1 teljes mérete GB, legfeljebb 10 000 oldal. A 2024-07-31-es és újabb verziókban a betanítási adatok 2 teljes mérete GB, legfeljebb 10 000 oldal.

Ajánlott eljárások

  • Reprezentatív adatok. Használjon olyan reprezentatív dokumentumokat, amelyek a tényleges adatterjesztést célják, és betanít egy kiváló minőségű egyéni generatív modellt. Ha például a céldokumentum részben kitöltött táblázatos mezőket tartalmaz, adjon hozzá részben kitöltött táblákból álló betanítási dokumentumokat. Vagy ha a mező neve dátum, a mező értékeinek dátumnak kell lenniük, mivel a véletlenszerű sztringek befolyásolhatják a modell teljesítményét.

  • Mezőelnevezés. Adjon meg egy pontos mezőnevet, amely a mezőértékeket jelöli. A Tranzakciódátumot tartalmazó mezőértékek esetében például fontolja meg a TransactionDate mező elnevezésétDate1.

  • Mező leírása. Adjon meg további környezetfüggő információkat a leírásban a kinyerni kívánt mező tisztázásához. Ilyenek például a dokumentum helye, a lehetséges mezőfeliratok, amelyekhez társítható, valamint a más, nem egyértelmű kifejezések megkülönböztetésének módjai.

  • Változat. Az egyéni generatív modellek általánosíthatják az azonos dokumentumtípusú különböző dokumentumsablonokat. Ajánlott eljárásként hozzon létre egyetlen modellt egy dokumentumtípus minden változatához. A modell pontosságának és konzisztenciájának növelése a dokumentumkészítésben vagy -feldolgozásban, minden típushoz tartalmazzon vizualizációs sablont, különösen azokat, amelyek speciális formázást és/vagy szerkezeti elemeket igényelnek.

Szolgáltatásra vonatkozó útmutató

  • Az egyéni Generatív mintamodell jelenleg nem támogatja a rögzített táblák és aláírások kinyerésének támogatását.

  • Az ugyanazon dokumentumra vonatkozó következtetés némileg eltérő eredményeket eredményezhet a hívások során, és az aktuális GPT modellek ismert korlátozása.

  • Az egyes mezők megbízhatósági pontszámai eltérőek lehetnek. Javasoljuk, hogy a reprezentatív adatokkal tesztelje a forgatókönyv megbízhatósági küszöbértékeit.

  • A földelés, különösen a táblázatos mezők esetében, kihívást jelent, és bizonyos esetekben nem tökéletes.

  • A nagy méretű dokumentumok késése magas, és az előzetes verzióban ismert korlátozás.

  • A komponált modellek nem támogatják az egyéni generatív kinyeréseket.

Modell betanítása

Az egyéni generatív modellek a verzióval és a 2024-07-31-preview későbbi modellekkel érhetők el.

A build operation betanítandó modell támogatja a buildMode tulajdonságot, egy egyéni generatív modell betanításához állítsa be a buildMode következőt generative: .


https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "generative",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Következő lépések