Dokumentumintelligencia egyéni besorolási modellje

Fontos

• A Document Intelligence nyilvános előzetes verziójú kiadásai korai hozzáférést biztosítanak az aktív fejlesztés alatt lévő funkciókhoz.
• A funkciók, a megközelítések és a folyamatok az általános rendelkezésre állás (GA) előtt változhatnak a felhasználói visszajelzések alapján.
• A Document Intelligence ügyfélkódtárak nyilvános előzetes verziója alapértelmezés szerint a REST API 2024-02-29-preview verziója.
• A nyilvános előzetes verzió 2024-02-29 előzetes verziója jelenleg csak a következő Azure-régiókban érhető el:
• USA keleti régiója
• USA2 nyugati régiója
• Nyugat-Európa

Ez a tartalom a következőre vonatkozik::v4.0 (előzetes verzió) | Korábbi verzió:v3.1 (GA)

Fontos

• Az 2024-02-29-preview API, az egyéni besorolási modell alapértelmezés szerint nem osztja fel a dokumentumokat az elemzési folyamat során.
• A tulajdonságot explicit módon automatikusra kell állítania splitMode , hogy megőrizze a korábbi kiadások viselkedését. Az alapértelmezett érték a splitMode következő none: .
• Ha a bemeneti fájl több dokumentumot tartalmaz, engedélyeznie kell a felosztást a splitModeautokövetkező beállítással: .

Az Azure AI Document Intelligence egy felhőalapú Azure AI-szolgáltatás, amely lehetővé teszi intelligens dokumentumfeldolgozási megoldások létrehozását. A Dokumentumintelligencia API-k képeket, PDF-eket és más dokumentumfájlokat elemeznek a különböző tartalmak, elrendezések, stílusok és szemantikai elemek kinyeréséhez és észleléséhez.

Az egyéni besorolási modellek olyan mélytanulási modelltípusok, amelyek az elrendezést és a nyelvi funkciókat kombinálva pontosan észlelik és azonosítják az alkalmazásban feldolgozott dokumentumokat. Az egyéni besorolási modellek egyszerre egy oldalon végzik a bemeneti fájlok besorolását, hogy azonosítsák a bennük lévő dokumentumokat, és egy bemeneti fájlon belül több dokumentumot vagy több példányt is azonosíthatnak.

Modell képességei

Feljegyzés

• Az API-tól kezdve az 2024-02-29-preview egyéni clasification modellek támogatják a növekményes betanítást. Hozzáadhat új mintákat a meglévő osztályokhoz, vagy új osztályokat is hozzáadhat egy meglévő osztályozóra való hivatkozással.

Az egyéni besorolási modellek elemezhetnek egy- vagy többfájlos dokumentumokat annak megállapításához, hogy a betanított dokumentumtípusok bármelyike egy bemeneti fájlban található-e. A jelenleg támogatott forgatókönyvek a következők:

• Egyetlen dokumentumot tartalmazó fájl. Például egy hiteligénylési űrlap.

• Egyetlen fájl, amely több dokumentumot tartalmaz. Például egy hiteligénylési űrlapot, fizetési feltételeket és bankszámlakivonatot tartalmazó hiteligénylési csomag.

• Egyetlen fájl, amely ugyanazon dokumentum több példányát tartalmazza. Például a beolvasott számlák gyűjteménye.

✔️ Az egyéni osztályozók betanításához five legalább two különböző osztályokra és osztályonként legalább dokumentummintákra van szükség. A modell válasza az egyes azonosított dokumentumosztályok oldaltartományait tartalmazza.

✔️ Az osztályok maximális engedélyezett száma .500 Az osztályonkénti dokumentumminták maximális száma .100

A modell a bemeneti dokumentum minden oldalát a címkézett adathalmaz egyik osztályára sorolja. Az alkalmazás küszöbértékének beállításához használja a válasz megbízhatósági pontszámát.

Növekményes betanítás

Az egyéni modellek esetében meg kell őriznie a betanítási adatkészlethez való hozzáférést, hogy egy meglévő osztály új mintáival frissítse az osztályozót, vagy új osztályokat vegyen fel. Az osztályozó modellek mostantól támogatják a növekményes betanítást, ahol hivatkozhat egy meglévő osztályozóra, és új mintákat fűzhet hozzá egy meglévő osztályhoz, vagy új osztályokat vehet fel mintákkal. A növekményes betanítás olyan forgatókönyveket tesz lehetővé, ahol az adatmegőrzés kihívást jelent, és az osztályozót frissíteni kell a változó üzleti igényeknek megfelelően. A növekményes betanítást az API-verzióval és újabb verzióval 2024-02-29-preview betanított modellek támogatják.

Fontos

A növekményes betanítást csak ugyanazzal az API-verzióval betanított modellek támogatják. Ha egy modellt próbál kibővíteni, használja azt az API-verziót, amellyel az eredeti modell be lett tanítva a modell kibővítéséhez. A növekményes betanítás csak az API 2024-02-29-preview vagy újabb verziójával támogatott.

A növekményes betanításhoz meg kell adnia az eredeti modellazonosítót.baseClassifierId További információ a növekményes betanítás használatáról.

Office-dokumentumtípus támogatása

Az osztályozók mostantól különböző formátumú dokumentumtípusok felismerésére taníthatók be, például PDF, képek, Word, PowerPoint és Excel formátumban. A betanítási adatkészlet összeállításakor bármilyen támogatott típusú dokumentumot hozzáadhat. Az osztályozó nem követeli meg, hogy explicit módon címkézzen fel bizonyos típusokat. Ajánlott eljárásként győződjön meg arról, hogy a betanítási adatkészlet minden formátumból legalább egy mintával rendelkezik a modell általános pontosságának javítása érdekében.

Egyéni besorolás és összeállított modellek összehasonlítása

Az egyéni besorolási modellek bizonyos helyzetekben lecserélhetnek egy komponált modellt , de néhány különbséget figyelembe kell venni:

Funkció	Egyéni osztályozó folyamata	A modell összeállítása
Elemezze a kinyerési modell feldolgozására betanított egyik típushoz tartozó ismeretlen típusú egyetlen dokumentumot.	● Több hívást igényel. ● Hívja meg a besorolási modellt a dokumentumosztály alapján. Ez a lépés lehetővé teszi a megbízhatósági alapú ellenőrzést a kinyerési modell elemzésének meghívása előtt. ● Hívja meg a kinyerési modellt.	● Egyetlen hívást igényel a bemeneti dokumentum típusának megfelelő modellt tartalmazó, összeállított modellhez.
Elemezzen egyetlen ismeretlen típusú dokumentumot, amely több, a kinyerési modell feldolgozására betanított típushoz tartozik.	●Több hívást igényel. ● Hívja meg az osztályozót, amely figyelmen kívül hagyja a kijelölt típusnak nem megfelelő dokumentumokat a kinyeréshez. ● Hívja meg a kinyerési modellt.	● Egyetlen hívást igényel egy komponált modellhez. A szolgáltatás a legmagasabb egyezésű egyéni modellt választja ki a komponált modellen belül. ● A komponált modellek nem hagyhatják figyelmen kívül a dokumentumokat.
Elemezze a kinyerési modell feldolgozására betanított egyik típushoz tartozó több ismert vagy ismeretlen típusú dokumentumot tartalmazó fájlt.	● Több hívást igényel. ● Hívja meg a kinyerési modellt a bemeneti fájl minden azonosított dokumentumához. ● Hívja meg a kinyerési modellt.	● Egyetlen hívást igényel egy komponált modellhez. ● A komponált modell egyszer hívja meg az összetevőmodellt a dokumentum első példányán. ●A rendszer figyelmen kívül hagyja a többi dokumentumot.

Nyelvi támogatás

A besorolási modellek mostantól különböző nyelvű dokumentumokon taníthatók be. A teljes listát a támogatott nyelvek között találja.

Bemeneti követelmények

Támogatott fájlformátumok:

Modell	PDF	Képek: jpeg/jpg, png, bmp, tiff, heif	Microsoft Office: Word (docx), Excel (xlxs), PowerPoint (pptx)
Olvasás	✔	✔	✔
Elrendezés	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview és újabb)
Általános dokumentum	✔	✔
Előre összeállított	✔	✔
Egyéni kinyerés	✔	✔
Egyéni besorolás	✔	✔	✔

• A legjobb eredmény érdekében dokumentumtípusonként öt tiszta fényképet vagy kiváló minőségű vizsgálatot biztosít.

• PDF és TIFF esetén legfeljebb 2000 oldal dolgozható fel (ingyenes szintű előfizetéssel csak az első két oldal dolgozható fel).

• A dokumentumok elemzéséhez használt fájlméret 500 MB a fizetős (S0) és 4 MB az ingyenes (F0) szint esetén.

• A képméreteknek 50 x 50 képpont és 10 000 képpont x 10 000 képpont között kell lenniük.

• Ha a PDF-eket jelszó védi, akkor beküldés előtt el kell távolítania a védelmet.

• A kinyerni kívánt szöveg minimális magassága 12 képpont egy 1024 x 768 képpontos képhez. Ez a dimenzió körülbelül 8-pont szövegnek felel meg 150 pont/hüvelyk (DPI).

• Egyéni modell betanítása esetén a betanítási adatok oldalainak maximális száma az egyéni sablonmodell esetében 500, az egyéni neurális modell esetében pedig 50 000.

• Egyéni extrakciós modell betanítása esetén a betanítási adatok teljes mérete sablonmodell esetén 50 MB, a neurális modell esetében pedig 1G-MB.

• Egyéni besorolási modell betanítása esetén a betanítási adatok teljes mérete 1 GB, legfeljebb 10 000 oldal.

Dokumentum felosztása

Ha egy fájlban több dokumentum található, az osztályozó azonosíthatja a bemeneti fájlban található különböző dokumentumtípusokat. Az osztályozó válasz tartalmazza a fájlban található összes azonosított dokumentumtípus oldaltartományait. Ez a válasz több, azonos dokumentumtípusú példányt is tartalmazhat.

Az elemzési művelet mostantól tartalmaz egy splitMode tulajdonságot, amely részletes vezérlést biztosít a felosztási viselkedés felett.

• Ha a teljes bemeneti fájlt egyetlen dokumentumként szeretné kezelni a besoroláshoz, állítsa a splitMode értéket a következőre none: . Ha így tesz, a szolgáltatás csak egy osztályt ad vissza a teljes bemeneti fájlhoz.
• A bemeneti fájl minden oldalának besorolásához állítsa a splitMode értéket a következőre perPage: . A szolgáltatás minden lapot egyéni dokumentumként próbál besorolni.
• Állítsa be a splitMode értéket, auto és a szolgáltatás azonosítja a dokumentumokat és a kapcsolódó oldaltartományokat.

Ajánlott eljárások

Az egyéni besorolási modellek betanítása osztályonként legalább öt mintát igényel. Ha az osztályok hasonlóak, a további betanítási minták hozzáadása javítja a modell pontosságát.

Az osztályozó megkísérli hozzárendelni az egyes dokumentumokat az egyik osztályhoz, ha azt várja, hogy a modell nem a betanítási adathalmaz részét képező osztályokban látja a dokumentumtípusokat, érdemes a besorolási pontszám küszöbértékét beállítani, vagy néhány reprezentatív dokumentumtípus-mintát hozzáadni egy "other" osztályhoz. Az osztály hozzáadása "other" biztosítja, hogy a szükségtelen dokumentumok ne befolyásolják az osztályozó minőségét.

Modell betanítása

Az egyéni besorolási modelleket a 4.0:2024-02-29-preview és a 3.1:2023-07-31 (GA) API-k támogatják. A Document Intelligence Studio kód nélküli felhasználói felületet biztosít az egyéni osztályozók interaktív betanítása érdekében. Az első lépésekhez kövesse az útmutatót .

A REST API használatakor, ha mappák szerint rendezi a dokumentumokat, a azureBlobSource kérelem tulajdonságával betanított egy besorolási modellt.

https://{endpoint}/documentintelligence/documentClassifiers:build?api-version=2024-02-29-preview

{
  "classifierId": "demo2.1",
  "description": "",
  "docTypes": {
    "car-maint": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/car-maint/"
            }
    },
    "cc-auth": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/cc-auth/"
            }
    },
    "deed-of-trust": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/deed-of-trust/"
            }
    }
  }
}

Másik lehetőségként, ha egy egyszerű fájllistával rendelkezik, vagy csak az egyes mappákban lévő néhány fájl kiválasztását tervezi a modell betanítása érdekében, a azureBlobFileListSource tulajdonsággal betanítsa a modellt. Ehhez a lépéshez JSON-sorok formátumra van szükség file list. Minden osztályhoz adjon hozzá egy új fájlt a betanításhoz elküldendő fájlok listájával.

{
  "classifierId": "demo2",
  "description": "",
  "docTypes": {
    "car-maint": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/car-maint.jsonl"
      }
    },
    "cc-auth": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/cc-auth.jsonl"
      }
    },
    "deed-of-trust": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/deed-of-trust.jsonl"
      }
    }
  }
}

A fájllista car-maint.jsonl például a következő fájlokat tartalmazza.

{"file":"classifier/car-maint/Commercial Motor Vehicle - Adatum.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Fincher.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Lamna.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Liberty.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Trey.pdf"}

Modell válasza

Bemeneti fájl elemzése a dokumentumbesorolási modellel.

https://{endpoint}/documentintelligence/documentClassifiers/{classifier}:analyze?api-version=2024-02-29-preview

A válasz tartalmazza a válasz dokumentumok szakaszában található társított oldaltartományokkal rendelkező azonosított dokumentumokat.

{
  ...

    "documents": [
      {
        "docType": "formA",
        "boundingRegions": [
          { "pageNumber": 1, "polygon": [...] },
          { "pageNumber": 2, "polygon": [...] }
        ],
        "confidence": 0.97,
        "spans": []
      },
      {
        "docType": "formB",
        "boundingRegions": [
          { "pageNumber": 3, "polygon": [...] }
        ],
        "confidence": 0.97,
        "spans": []
      }, ...
    ]
  }

Következő lépések

Ismerje meg, hogyan hozhat létre egyéni besorolási modelleket:

Egyéni besorolási modelllétrehozása – Egyéni modellek áttekintése