Ismerkedés a dokumentumintelligencia-mintacímkéző eszközzel

Ez a tartalom a következőre vonatkozik: v2.1Document Intelligence v2.1 checkmark.

Tipp.

  • A továbbfejlesztett felhasználói élmény és a fejlett modellminőség érdekében próbálja ki a Document Intelligence v3.0 Studiót.
  • A v3.0 Studio támogatja a v2.1 címkével ellátott adatokkal betanított modelleket.
  • A 2.1-es verzióról a 3.0-s verzióra való migrálással kapcsolatos részletes információkért tekintse meg az API migrálási útmutatójában.
  • A 3.0-s verzió használatának megkezdéséhez tekintse meg a REST API- vagy C#-, Java-, JavaScript- vagy Python SDK-gyorsútmutatókat.

Az Azure AI-dokumentumintelligencia-mintacímkéző eszköz egy nyílt forráskód eszköz, amely lehetővé teszi a dokumentumintelligencia- és optikai karakterfelismerési (OCR-) szolgáltatások legújabb funkcióinak tesztelését:

  • Dokumentumok elemzése az Layout API-val. Próbálja ki az Layout API-t szöveg, táblázatok, kijelölési jelek és struktúra dokumentumokból való kinyeréséhez.

  • Dokumentumok elemzése előre összeállított modellel. Kezdje egy előre összeállított modellel, amely adatokat nyer ki számlákból, nyugtákból, identitásdokumentumokból vagy névjegykártyákból.

  • Egyéni űrlap betanítása és elemzése. Egyéni modell használatával adatokat nyerhet ki a különböző üzleti adatokra és használati esetekre jellemző dokumentumokból.

Előfeltételek

Az első lépésekhez a következőkre lesz szüksége:

  • Azure-előfizetés – ingyenesen létrehozhat egyet

  • Azure AI-szolgáltatások vagy Dokumentumintelligencia-erőforrás. Miután megkapta az Azure-előfizetését, hozzon létre egy egyszolgáltatásos vagy többszolgáltatásos dokumentumintelligencia-erőforrást az Azure Portalon a kulcs és a végpont lekéréséhez. Az ingyenes tarifacsomag (F0) használatával kipróbálhatja a szolgáltatást, és később frissíthet egy fizetős szintre az éles környezetben.

    Tipp.

    Azure AI-szolgáltatási erőforrás létrehozása, ha több Azure AI-szolgáltatást szeretne elérni egyetlen végpont/kulcs alatt. Csak dokumentumintelligencia-hozzáféréshez hozzon létre egy dokumentumintelligencia-erőforrást. Vegye figyelembe, hogy a Microsoft Entra-hitelesítés használatához egy egyszolgáltatásos erőforrásra lesz szüksége.

Dokumentumintelligencia-erőforrás létrehozása

Lépjen az Azure Portalra, és hozzon létre egy új Dokumentumintelligencia-erőforrást . A Létrehozás panelen adja meg a következő információkat:

Projekt részletei Leírás
Subscription Válassza ki a hozzáférést biztosító Azure-előfizetést.
Erőforráscsoport Az erőforrást tartalmazó Azure-erőforráscsoport. Létrehozhat egy új csoportot, vagy hozzáadhatja egy már meglévő csoporthoz.
Region Az Azure AI-szolgáltatások erőforrásának helye. A különböző helyek késést okozhatnak, de nincs hatással az erőforrás futásidejű rendelkezésre állására.
Név Az erőforrás leíró neve. Azt javasoljuk, hogy használjon leíró nevet, például MyNameFormRecognizert.
Tarifacsomag Az erőforrás költsége a választott tarifacsomagtól és a használattól függ. További információkért tekintse meg az API díjszabásának részleteit.
Áttekintés + létrehozás Az erőforrás Azure Portalon való üzembe helyezéséhez válassza a Véleményezés + létrehozás gombot.

A kulcs és a végpont lekérése

Amikor a Dokumentumintelligencia-erőforrás üzembe helyezése befejeződött, keresse meg és válassza ki a portál Összes erőforrás listájából. A kulcs és a végpont az erőforrás Kulcs és végpont lapján, az Erőforrás-kezelés területen található. A folytatás előtt mentse mindkettőt egy ideiglenes helyre.

Screenshot of keys and endpoint location in the Azure portal.

Elemzés előre összeállított modell használatával

A Document Intelligence számos előre összeállított modellt kínál. Minden modell saját támogatott mezőkészlettel rendelkezik. Az elemzési művelethez használandó modell az elemezni kívánt dokumentum típusától függ. A Document Intelligence szolgáltatás jelenleg az alábbi előre összeállított modelleket támogatja:

  • Számla: a számlákból kinyeri a szöveget, a kijelölési jeleket, a táblákat, a kulcs-érték párokat és a kulcsadatokat.
  • Nyugta: szöveges és kulcsinformációkat nyer ki a nyugtákból.
  • Személyazonosító okmány: a vezetői engedélyekből és a nemzetközi útlevelekből kinyeri a szöveget és a kulcsadatokat.
  • Névjegykártya: kinyeri a névjegykártyák szövegét és kulcsadatait.
  1. Lépjen a dokumentumintelligencia-mintaeszközre.

  2. A mintaeszköz kezdőlapján válassza az Előre összeállított modell használata lehetőséget az adatcsempék lekéréséhez.

    Screenshot of the layout model analyze results operation.

  3. Válassza ki az elemezni kívánt űrlaptípust a legördülő menüből.

  4. Válassza ki az elemezni kívánt fájl URL-címét az alábbi lehetőségek közül:

  5. A Forrás mezőben válassza az URL-címet a legördülő menüből, illessze be a kijelölt URL-címet, és válassza a Beolvasás gombot.

    Screenshot of source location dropdown menu.

  6. A Dokumentumintelligencia szolgáltatás végpont mezőjébe illessze be a Dokumentumintelligencia-előfizetéssel beszerzett végpontot.

  7. A kulcsmezőbe illessze be a Dokumentumintelligencia-erőforrásból beszerzett kulcsot.

    Screenshot of the 'select-form-type' dropdown menu.

  8. Válassza a Futtatás elemzése lehetőséget. A dokumentumintelligencia-mintacímkézési eszköz meghívja az Elemzés előre összeállított API-t, és elemzi a dokumentumot.

  9. Az eredmények megtekintése – megtekintheti a kinyert kulcs-érték párokat, a sorelemeket, a kibontott kiemelt szöveget és a táblákat.

    Analyze Results of Document Intelligence invoice model

  10. Töltse le a JSON kimeneti fájlt a részletes eredmények megtekintéséhez.

    • A "readResults" csomópont minden olyan szövegsort tartalmaz, amelyen a megfelelő határolókeret található az oldalon.
    • A "selectionMarks" csomópont megjeleníti az összes kijelölési jelet (jelölőnégyzet, választójel), valamint azt, hogy az állapota "ki van jelölve" vagy "nincs kijelölve".
    • A "pageResults" szakasz tartalmazza a kinyert táblákat. Minden táblázathoz ki lesz nyerve a szöveg, a sor és az oszlopindex, a sor- és oszlopfedés, a határolókeret és egyebek.
    • A "documentResults" mező a dokumentum legrelevánsabb részeire vonatkozó kulcs-/értékpár-információkat és sorelemek adatait tartalmazza.

Elrendezés elemzése

Az Azure The Document Intelligence Layout API szöveget, táblázatokat, kijelölési jeleket és szerkezeti információkat nyer ki dokumentumokból (PDF, TIFF) és képekből (JPG, PNG, BMP).

  1. Lépjen a dokumentumintelligencia-mintaeszközre.

  2. A mintaeszköz kezdőlapján válassza az Elrendezés használata lehetőséget a szöveg, a táblázatok és a kijelölési jelek lekéréséhez.

    Connection settings for Layout Document Intelligence tool.

  3. A Dokumentumintelligencia szolgáltatás végpont mezőjébe illessze be a Dokumentumintelligencia-előfizetéssel beszerzett végpontot.

  4. A kulcsmezőbe illessze be a Dokumentumintelligencia-erőforrásból beszerzett kulcsot.

  5. A Forrás mezőben válassza az URL-címet a legördülő menüből, illessze be a következő URL-címethttps://raw.githubusercontent.com/Azure-Samples/cognitive-services-REST-api-samples/master/curl/form-recognizer/layout-page-001.jpg, és válassza a Beolvasás gombot.

  6. Válassza a Futtatás elrendezése lehetőséget. A dokumentumintelligencia-mintacímkézési eszköz meghívja az Analyze Layout API-t, és elemzi a dokumentumot.

    Screenshot of Layout dropdown menu.

  7. Az eredmények megtekintése – tekintse meg a kibontott kiemelt szöveget, az észlelt kijelölési jeleket és a táblákat.

    Connection settings for Document Intelligence tool.

  8. Töltse le a JSON kimeneti fájlt a részletes elrendezési eredmények megtekintéséhez.

    • A readResults csomópont minden olyan szövegsort tartalmaz, amelynek a megfelelő határolókerete az oldalon van elhelyezve.
    • A selectionMarks csomópont minden kijelölési jelet (jelölőnégyzetet, választójelet) és annak állapotát selectedunselectedvagy állapotát jeleníti meg.
    • A pageResults szakasz tartalmazza a kinyert táblákat. Minden táblázathoz ki lesz nyerve a szöveg, a sor és az oszlopindex, a sor- és oszlopfedés, a határolókeret és egyebek.

Egyéni űrlapmodell betanítása

Egyéni modell betanítása a vállalatra jellemző űrlapok és dokumentumok adatainak elemzéséhez és kinyeréséhez. Az API egy gépi tanulási program, amely betanított a különböző tartalmak űrlapmezőinek felismerésére, valamint kulcs-érték párok és táblaadatok kinyerésére. Az első lépésekhez legalább öt, azonos típusú példára lesz szüksége, és az egyéni modell címkézett adatkészletekkel vagy anélkül is betanítható.

Egyéni űrlapmodell betanításának előfeltételei

  • Betanítási adatokat tartalmazó Azure Storage-blobtároló. Győződjön meg arról, hogy az összes betanítási dokumentum azonos formátumú. Ha űrlapjai többféle formátumban vannak, rendezze őket almappákba formátum szerint. Ehhez a projekthez használhatja a mintaadatkészletet.

  • Ha nem tudja, hogyan hozhat létre Azure Storage-fiókot egy tárolóval, kövesse az Azure Portal Azure Storage rövid útmutatóját.

  • A CORS konfigurálása

    A CORS-t (forrásközi erőforrásmegosztást) az Azure Storage-fiókban kell konfigurálni ahhoz, hogy elérhető legyen a Document Intelligence Studióból. A CORS Azure Portalon való konfigurálásához hozzá kell férnie a tárfiók CORS lapjához.

    1. Válassza a tárfiók CORS fülét.

      Screenshot of the CORS setting menu in the Azure portal.

    2. Először hozzon létre egy új CORS-bejegyzést a Blob szolgáltatásban.

    3. Állítsa be az engedélyezett forrást a következőre https://fott-2-1.azurewebsites.net: .

      Screenshot that shows CORS configuration for a storage account.

      Tipp.

      A "*" helyettesítő karaktert használhatja a megadott tartomány helyett, hogy az összes forrástartomány kéréseket küldjön a CORS-on keresztül.

    4. Válassza ki az engedélyezett metódusok összes rendelkezésre álló 8 lehetőségét.

    5. Hagyja jóvá az összes engedélyezett fejlécet és a közzétett fejléceket úgy, hogy minden mezőben egy *-t ad meg.

    6. Állítsa be a maximális életkort 120 másodpercre vagy bármilyen elfogadható értékre.

    7. A módosítások mentéséhez kattintson a lap tetején található Mentés gombra.

A Mintacímke eszköz használata

  1. Lépjen a dokumentumintelligencia-mintaeszközre.

  2. A mintaeszköz kezdőlapján válassza az Egyéni űrlap használata lehetőséget egy modell címkékkel való betanítása és kulcs-érték párok lekéréséhez.

    Train a custom model.

  3. Új projekt kiválasztása

    Screenshot of select a new project prompt.

Új projekt létrehozása

Konfigurálja a Project Gépház mezőket a következő értékekkel:

  1. Megjelenítendő név. Nevezze el a projektet.

  2. Biztonsági jogkivonat. Minden projekt automatikusan létrehoz egy biztonsági jogkivonatot, amely a bizalmas projektbeállítások titkosítására/visszafejtésére használható. A biztonsági jogkivonatokat az Alkalmazás Gépház a bal oldali navigációs sáv alján található fogaskerék ikonra kattintva találhatja meg.

  3. Forráskapcsolat. A Mintacímkézés eszköz egy forráshoz (az eredeti feltöltött űrlapokhoz) és egy célhoz (létrehozott címkékhez és kimeneti adatokhoz) csatlakozik. Csatlakozás projekteken belül beállíthatók és megoszthatók. Bővíthető szolgáltatói modellt használnak, így könnyen felvehet új forrás-/célszolgáltatókat.

    • Hozzon létre egy új kapcsolatot, és válassza a Csatlakozás ion hozzáadása gombot. Töltse ki a mezőket a következő értékekkel:
    • Megjelenítendő név. Nevezze el a kapcsolatot.
    • Leírás. Adjon meg egy rövid leírást.
    • SAS URL-cím. Illessze be az Azure Blob Storage-tároló közös hozzáférésű jogosultságkódjának (SAS) URL-címét.
    • Az egyéni modell betanítási adataihoz tartozó SAS-URL-cím lekéréséhez nyissa meg a tárolóerőforrást az Azure Portalon, és válassza a Storage Explorer lapot. Lépjen a tárolóra, kattintson a jobb gombbal, és válassza a Közös hozzáférésű jogosultságkód lekérése lehetőséget. Fontos, hogy a tároló sasát szerezze be, ne magát a tárfiókot. Győződjön meg arról, hogy az Olvasás, Írás, Törlés és Lista engedélyek be vannak jelölve, és válassza a Létrehozás lehetőséget. Ezután másolja az URL-szakaszban lévő értéket egy ideiglenes helyre. A következő formátumban kell lennie: https://<storage account>.blob.core.windows.net/<container name>?<SAS value>.

      SAS location.

  4. Mappa elérési útja (nem kötelező). Ha a forrásűrlapok a blobtároló egyik mappájában találhatók, adja meg a mappa nevét.

  5. Document Intelligence Service Uri – A dokumentumintelligencia-végpont URL-címe.

  6. Kulcs. A dokumentumintelligencia-kulcs.

  7. API-verzió. Tartsa meg a v2.1 (alapértelmezett) értéket.

  8. Leírás (nem kötelező). Írja le a projektet.

    Connection settings

Űrlapok címkézése

New project page

Projekt létrehozásakor vagy megnyitásakor megnyílik a fő címkeszerkesztő ablaka. A címkeszerkesztő három részből áll:

  • Átméretezhető előnézeti panel, amely a forráskapcsolatból származó űrlapok görgethető listáját tartalmazza.
  • A főszerkesztő panel, amely lehetővé teszi a címkék alkalmazását.
  • A címkék szerkesztőpanelje, amellyel a felhasználók módosíthatják, zárolhatják, átrendezhetik és törölhetik a címkéket.
Szöveg és táblázatok azonosítása

A bal oldali panelen válassza a Nem felügyelt dokumentumok elrendezésének futtatása lehetőséget az egyes dokumentumok szöveg- és táblázatelrendezési adatainak lekéréséhez. A címkézési eszköz határolókereteket rajzol az egyes szövegelemek köré.

A címkézési eszköz azt is megjeleníti, hogy mely táblák lettek automatikusan kinyerve. A kibontott táblázat megtekintéséhez válassza a dokumentum bal oldalán található táblázat/rács ikont. Mivel a rendszer automatikusan kinyeri a táblázat tartalmát, nem címkézzük fel a táblázat tartalmát, hanem az automatikus kinyerésre támaszkodunk.

Table visualization in Sample Labeling tool.

Címkék alkalmazása szövegre

Ezután címkéket (címkéket) fog létrehozni, és alkalmazza őket azokra a szövegelemekre, amelyeket elemezni szeretne a modellben. Vegye figyelembe, hogy a Mintacímke adatkészlet már címkézett mezőket tartalmaz; Hozzáadunk egy másik mezőt.

A címkék szerkesztőpaneljén hozzon létre egy új címkét, amelyet azonosítani szeretne:

  1. Új címke létrehozásához válassza a + pluszjelet.

  2. Adja meg az "Összeg" címkét.

  3. A címke mentéséhez válassza az Enter billentyűt .

  4. A főszerkesztőben válassza ki a kiemelt szövegelemek teljes értékét.

  5. Válassza ki az értékre alkalmazni kívánt Total címkét, vagy nyomja le a megfelelő billentyűzetbillentyűt. A számkulcsok az első 10 címke gyorsbillentyűiként vannak hozzárendelve. A címkék átrendezhetők a címkeszerkesztő panel fel- és le nyílikonjaival. A mintaadatkészlet mind az öt űrlapjának címkézéséhez kövesse az alábbi lépéseket:

    Tipp.

    Az űrlapok címkézésekor tartsa szem előtt az alábbi tippeket:

    • Minden kijelölt szövegelemre csak egy címke alkalmazható.

    • Minden címke csak oldalanként egyszer alkalmazható. Ha egy érték többször is megjelenik ugyanazon az űrlapon, hozzon létre különböző címkéket minden példányhoz. Például: "invoice# 1", "invoice# 2" stb.

    • A címkék nem adhatók át a lapok között.

    • Az űrlapon megjelenő értékek címkézése; ne próbáljon meg felosztani egy értéket két részre két különböző címkével. Egy címmezőt például egyetlen címkével kell megjelölni, még akkor is, ha több sorra terjed ki.

    • A címkézett mezőkben ne szerepeltesse a kulcsokat – csak az értékeket.

    • A táblaadatokat automatikusan észlelni kell, és a végleges kimeneti JSON-fájlban lesznek elérhetők a pageResults szakaszban. Ha azonban a modell nem észleli az összes táblaadatot, címkézhet és betanított egy modellt a táblák észlelésére, lásd : Egyéni modell betanítása | Űrlapok címkézése

    • A címkék kereséséhez, átnevezéséhez, átrendezéséhez és törléséhez használja a + jobb oldali gombokat.

    • Ha a címke törlése nélkül szeretne eltávolítani egy alkalmazott címkét, jelölje ki a címkézett téglalapot a dokumentumnézetben, és nyomja le a törlési kulcsot.

Label the samples.

Egyéni modell betanítása

A Betanítás lap megnyitásához válassza a bal oldali panel Betanítás ikonját. Ezután kattintson a Betanítás gombra a modell betanításának megkezdéséhez. A betanítási folyamat befejeződése után a következő információk fognak megjelenni:

  • Modellazonosító – A létrehozott és betanított modell azonosítója. Minden betanítási hívás létrehoz egy új modellt saját azonosítójával. Másolja ezt a sztringet egy biztonságos helyre; Szüksége lesz rá, ha előrejelzési hívásokat szeretne végrehajtani a REST API-on vagy az ügyfélkódtáron keresztül.

  • Átlagos pontosság – A modell átlagos pontossága. A modell pontosságát úgy javíthatja, hogy további űrlapokat címkéz, és áttanítást készít egy új modell létrehozásához. Javasoljuk, hogy először címkézzen fel öt űrlapot az eredmények elemzésével és tesztelésével, majd szükség esetén szükség szerint további űrlapok hozzáadásával.

  • A címkék listája és a címkénkénti becsült pontosság. További információ: Pontosság és megbízhatóság értelmezése és javítása.

    Training view tool.

Egyéni űrlap elemzése

  1. A modell teszteléséhez válassza az Elemzés ikont a navigációs sávon.

  2. Válassza ki a helyi forrásfájlt, és keresse meg a tesztmappában kibontott mintaadatkészletből kiválasztandó fájlt.

  3. Az Elemzés futtatása gombra kattintva lekérheti az űrlap kulcs-/értékpárjait, szöveg- és táblázat-előrejelzéseit. Az eszköz címkéket alkalmaz a határolókeretekben, és az egyes címkék megbízhatóságát jelenti.

    Training view.

Ennyi az egész! Megtanulta, hogyan használhatja a Dokumentumintelligencia mintaeszközt az előre összeállított dokumentumintelligencia-, elrendezés- és egyéni modellekhez. Azt is megtanulta, hogyan elemezhet egy egyéni űrlapot manuálisan címkézett adatokkal.

Következő lépések