Model klasifikasi kustom Kecerdasan Dokumen

Artikel
10/16/2024

Penting

Rilis pratinjau publik Kecerdasan Dokumen menyediakan akses awal ke fitur yang sedang dalam pengembangan aktif. Fitur, pendekatan, dan proses dapat berubah, sebelum Ketersediaan Umum (GA), berdasarkan umpan balik pengguna.
Versi pratinjau publik pustaka klien Kecerdasan Dokumen default ke REST API versi 2024-07-31-preview.
Pratinjau publik versi 2024-07-31-preview saat ini hanya tersedia di wilayah Azure berikut. Perhatikan bahwa model generatif kustom (ekstraksi bidang dokumen) di AI Studio hanya tersedia di wilayah US Tengah Utara:
- US Timur
- US Barat2
- Eropa Barat
- US Tengah Utara

Konten ini berlaku untuk: v4.0 (pratinjau) | Versi sebelumnya: v3.1 (GA)

Konten ini berlaku untuk: v3.1 (GA) | Versi terbaru: v4.0 (pratinjau)

Penting

2024-07-31-preview API, model klasifikasi kustom tidak akan membagi dokumen secara default selama proses analisis.
Anda perlu secara eksplisit mengatur splitMode properti ke otomatis untuk mempertahankan perilaku dari rilis sebelumnya. Default untuk splitMode adalah none.
Jika file input Anda berisi beberapa dokumen, Anda perlu mengaktifkan pemisahan dengan mengatur ke splitMode auto.

Azure AI Document Intelligence adalah layanan Azure AI berbasis cloud yang memungkinkan Anda membangun solusi pemrosesan dokumen cerdas. API Kecerdasan Dokumen menganalisis gambar, PDF, dan file dokumen lainnya untuk mengekstrak dan mendeteksi berbagai konten, tata letak, gaya, dan elemen semantik.

Model klasifikasi kustom adalah jenis model pembelajaran mendalam yang menggabungkan fitur tata letak dan bahasa untuk mendeteksi dan mengidentifikasi dokumen yang Anda proses dalam aplikasi Anda secara akurat. Model klasifikasi kustom melakukan klasifikasi file input satu halaman sekaligus untuk mengidentifikasi dokumen di dalamnya dan juga dapat mengidentifikasi beberapa dokumen atau beberapa instans satu dokumen dalam file input.

Kemampuan model

Catatan

Dimulai dengan 2024-02-29-preview API, model klarifikasi kustom mendukung pelatihan inkremental. Anda dapat menambahkan sampel baru ke kelas yang sudah ada atau menambahkan kelas baru dengan mereferensikan pengklasifikasi yang ada.

Model klasifikasi kustom dapat menganalisis dokumen satu atau beberapa file untuk mengidentifikasi apakah salah satu jenis dokumen terlatih terkandung dalam file input. Berikut adalah skenario yang saat ini didukung:

Satu file yang berisi satu jenis dokumen, seperti formulir aplikasi pinjaman.
Satu file yang berisi beberapa jenis dokumen. Misalnya, paket aplikasi pinjaman yang berisi formulir aplikasi pinjaman, payslip, dan rekening koran bank.
Satu file yang berisi beberapa instans dari dokumen yang sama. Misalnya, kumpulan faktur yang dipindai.

✔️ Melatih pengklasifikasi kustom memerlukan setidaknya two kelas yang berbeda dan minimal five sampel dokumen per kelas. Respons model berisi rentang halaman untuk setiap kelas dokumen yang diidentifikasi.

✔️ Jumlah maksimum kelas yang diizinkan adalah 500. Jumlah maksimum sampel dokumen yang diizinkan per kelas adalah 100.

Model mengklasifikasikan setiap halaman dokumen input, kecuali ditentukan, ke salah satu kelas dalam himpunan data berlabel. Anda juga dapat menentukan nomor halaman untuk dianalisis dalam dokumen input. Untuk mengatur ambang batas untuk aplikasi Anda, gunakan skor keyakinan dari respons.

Pelatihan inkremental

Dengan model kustom, Anda perlu mempertahankan akses ke himpunan data pelatihan untuk memperbarui pengklasifikasi Anda dengan sampel baru untuk kelas yang sudah ada, atau menambahkan kelas baru. Model pengklasifikasi sekarang mendukung pelatihan inkremental di mana Anda dapat mereferensikan pengklasifikasi yang ada dan menambahkan sampel baru untuk kelas yang sudah ada atau menambahkan kelas baru dengan sampel. Pelatihan inkremental memungkinkan skenario di mana retensi data adalah tantangan dan pengklasifikasi perlu diperbarui untuk selaras dengan perubahan kebutuhan bisnis. Pelatihan inkremental didukung dengan model yang dilatih dengan versi API dan yang lebih 2024-02-29-preview baru.

Penting

Pelatihan inkremental hanya didukung dengan model yang dilatih dengan versi API yang sama. Jika Anda mencoba memperluas model, gunakan versi API, model asli dilatih untuk memperluas model. Pelatihan inkremental hanya didukung dengan API versi 2024-07-31-preview atau yang lebih baru.

Pelatihan inkremental mengharuskan Anda memberikan ID model asli sebagai baseClassifierId. Lihat pelatihan inkremental untuk mempelajari selengkapnya tentang cara menggunakan pelatihan inkremental.

Dukungan jenis dokumen Office

Anda sekarang dapat melatih pengklasifikasi untuk mengenali jenis dokumen dalam berbagai format termasuk PDF, gambar, Word, PowerPoint, dan Excel. Saat merakit himpunan data pelatihan, Anda dapat menambahkan dokumen dari salah satu jenis yang didukung. Pengklasifikasi tidak mengharuskan Anda untuk secara eksplisit memberi label jenis tertentu. Sebagai praktik terbaik, pastikan himpunan data pelatihan Anda memiliki setidaknya satu sampel dari setiap format untuk meningkatkan akurasi model secara keseluruhan.

Membandingkan klasifikasi kustom dan model yang disusun

Model klasifikasi kustom dapat menggantikan model yang terdiri dalam beberapa skenario tetapi ada beberapa perbedaan yang perlu diperhatikan:

Kemampuan	Proses pengklasifikasi kustom	Proses model yang terdiri
Analisis satu dokumen jenis yang tidak diketahui milik salah satu jenis yang dilatih untuk pemrosesan model ekstraksi.	● Membutuhkan beberapa panggilan. ● Panggil model klasifikasi berdasarkan kelas dokumen. Langkah ini memungkinkan pemeriksaan berbasis keyakinan sebelum memanggil analisis model ekstraksi. ● Panggil model ekstraksi.	● Memerlukan satu panggilan ke model yang terdiri yang berisi model yang sesuai dengan jenis dokumen input.
Analisis satu dokumen jenis yang tidak diketahui milik beberapa jenis yang dilatih untuk pemrosesan model ekstraksi.	●Memerlukan beberapa panggilan. ● Lakukan panggilan ke pengklasifikasi yang mengabaikan dokumen yang tidak cocok dengan jenis yang ditunjuk untuk ekstraksi. ● Panggil model ekstraksi.	● Memerlukan satu panggilan ke model yang terdiri. Layanan memilih model kustom dalam model yang terdiri dengan kecocokan tertinggi. ● Model yang terdiri tidak dapat mengabaikan dokumen.
Analisis file yang berisi beberapa dokumen jenis yang diketahui atau tidak dikenal milik salah satu jenis yang dilatih untuk pemrosesan model ekstraksi.	● Membutuhkan beberapa panggilan. ● Panggil model ekstraksi untuk setiap dokumen yang diidentifikasi dalam file input. ● Panggil model ekstraksi.	● Memerlukan satu panggilan ke model yang terdiri. ● Model yang dibuat memanggil model komponen sekali pada instans pertama dokumen. ●Dokumen yang tersisa diabaikan.

Dukungan bahasa

Model klasifikasi saat ini hanya mendukung dokumen bahasa Inggris.

Model klasifikasi sekarang dapat dilatih pada dokumen dari berbagai bahasa. Lihat bahasa yang didukung untuk daftar lengkap.

Persyaratan input

Format file yang didukung:

Model	PDF	Gambar: `jpeg/jpg`, , `pngbmp`, , `tiff`,`heif`	Microsoft Office: Word (docx), Excel (xlxs), PowerPoint (pptx)
Read	✔	✔	✔
Tata letak	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview, dan yang lebih baru)
Dokumen Umum	✔	✔
Bawaan	✔	✔
Ekstraksi kustom	✔	✔
Klasifikasi kustom	✔	✔	✔

Untuk hasil terbaik, berikan lima foto yang jelas atau pemindaian berkualitas tinggi per jenis dokumen.
Untuk PDF dan TIFF, hingga 2.000 halaman dapat diproses (dengan langganan tingkat gratis, hanya dua halaman pertama yang diproses).
Ukuran file untuk menganalisis dokumen adalah 500 MB untuk tingkat berbayar (S0) dan 4 MB secara gratis (F0).
Dimensi gambar harus antara 50 x 50 piksel dan 10.000 piksel x 10.000 piksel.
Jika PDF Anda dikunci dengan kata sandi, Anda harus menghapus kunci sebelum pengiriman.
Tinggi minimum teks yang akan diekstrak adalah 12 piksel untuk gambar piksel 1024 x 768. Dimensi ini sesuai dengan teks sekitar 8-point pada 150 titik per inci (DPI).
Untuk pelatihan model kustom, jumlah maksimum halaman untuk data pelatihan adalah 500 untuk model template kustom dan 50.000 untuk model neural kustom.
Untuk pelatihan model ekstraksi kustom, ukuran total data pelatihan adalah 50 MB untuk model templat dan 1G-MB untuk model neural.
Untuk pelatihan model klasifikasi kustom, ukuran total data pelatihan adalah 1 GB dengan maksimum 10.000 halaman.

Pemisahan dokumen

Saat Anda memiliki lebih dari satu dokumen dalam file, pengklasifikasi dapat mengidentifikasi berbagai jenis dokumen yang terkandung dalam file input. Respons pengklasifikasi berisi rentang halaman untuk setiap jenis dokumen yang diidentifikasi yang terkandung dalam file. Respons ini dapat mencakup beberapa instans dengan jenis dokumen yang sama.

analyze Operasi sekarang mencakup splitMode properti yang memberi Anda kontrol terperinci atas perilaku pemisahan.

Untuk memperlakukan seluruh file input sebagai satu dokumen untuk klasifikasi, atur splitMode ke none. Ketika Anda melakukannya, layanan hanya mengembalikan satu kelas untuk seluruh file input.
Untuk mengklasifikasikan setiap halaman file input, atur splitMode ke perPage. Layanan ini mencoba mengklasifikasikan setiap halaman sebagai dokumen individual.
Atur splitMode ke auto dan layanan mengidentifikasi dokumen dan rentang halaman terkait.

Praktik terbaik

Model klasifikasi kustom memerlukan minimal lima sampel per kelas untuk dilatih. Jika kelas serupa, menambahkan sampel pelatihan tambahan akan meningkatkan akurasi model.

Pengklasifikasi mencoba menetapkan setiap dokumen ke salah satu kelas, jika Anda mengharapkan model untuk melihat jenis dokumen yang bukan di kelas yang merupakan bagian dari himpunan data pelatihan, Anda harus berencana untuk mengatur ambang batas pada skor klasifikasi atau menambahkan beberapa sampel representatif dari jenis dokumen ke "other" kelas. "other" Menambahkan kelas memastikan bahwa dokumen yang tidak diperlukan tidak memengaruhi kualitas pengklasifikasi Anda.

Melatih model

Model klasifikasi kustom didukung oleh v4.0: 2024-02-29-preview, 2024-07-31-preview dan v3.1: 2023-07-31 (GA) API. Document Intelligence Studio menyediakan antarmuka pengguna tanpa kode untuk melatih pengklasifikasi kustom secara interaktif. Ikuti panduan cara memulai.

Saat menggunakan REST API, jika Anda mengatur dokumen menurut folder, Anda dapat menggunakan azureBlobSource properti permintaan untuk melatih model klasifikasi.


https://{endpoint}/documentintelligence/documentClassifiers:build?api-version=2024-02-29-preview

{
  "classifierId": "demo2.1",
  "description": "",
  "docTypes": {
    "car-maint": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/car-maint/"
            }
    },
    "cc-auth": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/cc-auth/"
            }
    },
    "deed-of-trust": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "sample1/deed-of-trust/"
            }
    }
  }
}

https://{endpoint}/formrecognizer/documentClassifiers:build?api-version=2023-07-31

{
  "classifierId": "demo2.1",
  "description": "",
  "docTypes": {
    "car-maint": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "{path to dataset root}/car-maint/"
            }
    },
    "cc-auth": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "{path to dataset root}/cc-auth/"
            }
    },
    "deed-of-trust": {
        "azureBlobSource": {
            "containerUrl": "SAS URL to container",
            "prefix": "{path to dataset root}/deed-of-trust/"
            }
    }
  }
}

Atau, jika Anda memiliki daftar datar file atau hanya berencana untuk menggunakan beberapa file tertentu dalam setiap folder untuk melatih model, Anda dapat menggunakan azureBlobFileListSource properti untuk melatih model. Langkah ini memerlukan file list dalam format Baris JSON. Untuk setiap kelas, tambahkan file baru dengan daftar file yang akan dikirimkan untuk pelatihan.

{
  "classifierId": "demo2",
  "description": "",
  "docTypes": {
    "car-maint": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/car-maint.jsonl"
      }
    },
    "cc-auth": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/cc-auth.jsonl"
      }
    },
    "deed-of-trust": {
      "azureBlobFileListSource": {
        "containerUrl": "SAS URL to container",
        "fileList": "{path to dataset root}/deed-of-trust.jsonl"
      }
    }
  }
}

Sebagai contoh, daftar car-maint.jsonl file berisi file berikut.

{"file":"classifier/car-maint/Commercial Motor Vehicle - Adatum.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Fincher.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Lamna.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Liberty.pdf"}
{"file":"classifier/car-maint/Commercial Motor Vehicle - Trey.pdf"}

Menimpa model

Catatan

Dimulai dengan 2024-07-31-preview API, model klasifikasi kustom mendukung penimpaan model di tempat.

Anda sekarang dapat memperbarui klasifikasi kustom di tempat. Menimpa model secara langsung akan kehilangan kemampuan Anda untuk membandingkan kualitas model sebelum memutuskan untuk mengganti model yang ada. Penimpaan model diperbolehkan ketika allowOverwrite properti ditentukan secara eksplisit dalam isi permintaan. Tidak mungkin untuk memulihkan model asli yang ditimpa setelah tindakan ini dilakukan.



{
  "classifierId": "existingClassifierName",
  "allowOverwrite": true,  // Default=false
  ...
}

Menyalin model

Catatan

Dimulai dengan 2024-07-31-preview API, model klasifikasi kustom mendukung penyalinan model ke dan dari salah satu wilayah berikut:

US Timur
US Barat2
Eropa Barat

Gunakan REST API atau Document Intelligence Studio untuk menyalin model ke wilayah lain.

Membuat permintaan otorisasi Salin

Permintaan HTTP berikut ini mendapatkan otorisasi salinan dari sumber daya target Anda. Anda perlu memasukkan titik akhir dan kunci sumber daya target Anda sebagai header.

POST https://myendpoint.cognitiveservices.azure.com/documentintelligence/documentClassifiers:authorizeCopy?api-version=2024-07-31-preview
Ocp-Apim-Subscription-Key: {<your-key>}

Isi permintaan

{
  "classifierId": "targetClassifier",
  "description": "Target classifier description"
}

Anda menerima 200 kode respons dengan isi respons yang berisi payload JSON yang diperlukan untuk memulai salinan.

{
  "targetResourceId": "/subscriptions/targetSub/resourceGroups/targetRG/providers/Microsoft.CognitiveServices/accounts/targetService",
  "targetResourceRegion": "targetResourceRegion",
  "targetClassifierId": "targetClassifier",
  "targetClassifierLocation": "https://targetEndpoint.cognitiveservices.azure.com/documentintelligence/documentClassifiers/targetClassifier",
  "accessToken": "accessToken",
  "expirationDateTime": "timestamp"
}

Mulai operasi Salin

Permintaan HTTP berikut memulai operasi penyalinan pada sumber daya sumber. Anda perlu memasukkan titik akhir dan kunci sumber daya sumber Anda sebagai url dan header. Perhatikan bahwa URL permintaan berisi ID pengklasifikasi pengklasifikasi pengklasifikasi sumber yang ingin Anda salin.

POST {endpoint}/documentintelligence/documentClassifiers/{classifierId}:copyTo?api-version=2024-07-31-preview
Ocp-Apim-Subscription-Key: {<your-key>}

Isi permintaan Anda adalah respons dari langkah sebelumnya.

{
  "targetResourceId": "/subscriptions/targetSub/resourceGroups/targetRG/providers/Microsoft.CognitiveServices/accounts/targetService",
  "targetResourceRegion": "targetResourceRegion",
  "targetClassifierId": "targetClassifier",
  "targetClassifierLocation": "https://targetEndpoint.cognitiveservices.azure.com/documentintelligence/documentClassifiers/targetClassifier",
  "accessToken": "accessToken",
  "expirationDateTime": "timestamp"
}

Respons model

Analisis file input dengan model klasifikasi dokumen.

https://{endpoint}/documentintelligence/documentClassifiers/{classifier}:analyze?api-version=2024-02-29-preview

Dimulai dengan 2024-07-31-preview API, Anda dapat menentukan halaman untuk dianalisis dari dokumen input menggunakan pages parameter kueri dalam permintaan.

https://{service-endpoint}/formrecognizer/documentClassifiers/{classifier}:analyze?api-version=2023-07-31

Respons berisi dokumen yang diidentifikasi dengan rentang halaman terkait di bagian dokumen respons.

{
  ...

    "documents": [
      {
        "docType": "formA",
        "boundingRegions": [
          { "pageNumber": 1, "polygon": [...] },
          { "pageNumber": 2, "polygon": [...] }
        ],
        "confidence": 0.97,
        "spans": []
      },
      {
        "docType": "formB",
        "boundingRegions": [
          { "pageNumber": 3, "polygon": [...] }
        ],
        "confidence": 0.97,
        "spans": []
      }, ...
    ]
  }

Langkah berikutnya

Pelajari cara membuat model klasifikasi kustom:

Membuat gambaran umum modelklasifikasi kustom Model kustom

Bagikan melalui

Model klasifikasi kustom Kecerdasan Dokumen

Kemampuan model

Pelatihan inkremental

Dukungan jenis dokumen Office

Membandingkan klasifikasi kustom dan model yang disusun

Dukungan bahasa

Persyaratan input

Pemisahan dokumen

Praktik terbaik

Melatih model

Menimpa model

Menyalin model

Membuat permintaan otorisasi Salin

Mulai operasi Salin

Respons model

Langkah berikutnya

Saran dan Komentar

Sumber Daya Tambahan: