Model saraf khusus Kecerdasan Dokumen

Konten ini berlaku untuk:🟩v4.0 (GA) | Versi sebelumnya:🟦v3.1 (GA)🟦v3.0 (GA)

Konten ini berlaku untuk:🟩v3.1 (GA) | Versi terbaru:🟪v4.0 (GA) | Versi sebelumnya:🟦v3.0

Konten ini berlaku untuk:🟩v3.0 (GA) | Versi terbaru:🟪v4.0 (GA)🟪v3.1 (GA)

Model dokumen neural kustom atau model neural adalah jenis model yang dibangun menggunakan pembelajaran mendalam yang menggabungkan fitur tata letak dan fitur bahasa guna mengekstrak bidang berlabel secara akurat dari dokumen. Model neural kustom dasar dilatih pada berbagai jenis dokumen yang membuatnya cocok untuk dilatih untuk mengekstrak bidang dari dokumen terstruktur dan semi terstruktur. Model neural kustom tersedia dalam model v3.0 dan yang lebih baru Dengan V4.0, model neural kustom sekarang mendukung deteksi tanda tangan. Tabel di bawah ini mencantumkan tipe dokumen umum untuk setiap kategori:

Dokumen Contoh
Terstruktur survei, kuesioner
Setengah terstruktur faktur, pesanan pembelian

Model neural kustom memiliki format dan strategi pelabelan yang sama dengan model template kustom. Saat ini model neural kustom hanya mendukung subset dari jenis bidang yang didukung oleh model templat kustom.

Kemampuan model

Penting

Model neural kustom v4.0 2024-11-30 (GA) mendukung deteksi tanda tangan, akurasi sel tabel, dan bidang yang tumpang tindih.

Model neural kustom saat ini mendukung pasangan kunci-nilai dan tanda pilihan dan bidang terstruktur (tabel).

Bidang formulir Tanda pilihan Bidang tabular Tanda Tangan Pelabelan wilayah Bidang yang tumpang tindih
Didukung Didukung Didukung Didukung Didukung 1 Didukung 2

1 Label wilayah dalam model neural kustom menggunakan hasil dari API Tata Letak untuk wilayah yang ditentukan. Fitur ini berbeda dari model templat di mana, jika tidak ada nilai, teks dihasilkan pada waktu pelatihan.
2 Bidang tumpang tindih didukung dengan REST API versi 2024-11-30 (GA). Bidang yang tumpang tindih memiliki beberapa batasan. Untuk informasi selengkapnya, lihatbidang tumpang tindih.

Mode pembangunan

Operasi ini mendukung Build dan neural. Versi REST API dan pustaka klien sebelumnya hanya mendukung mode build tunggal yang sekarang dikenal sebagai mode templat .

Model neural mendukung dokumen yang memiliki informasi yang sama, tetapi struktur halaman yang berbeda. Contoh dokumen-dokumen ini termasuk formulir Amerika Serikat W2, yang berbagi informasi yang sama, tetapi dapat bervariasi dalam penampilan di seluruh perusahaan. Untuk informasi selengkapnya, lihatmode pembuatan model kustom.

Deteksi tanda tangan

Model neural kustom v4.0 2024-11-30 (GA) mendukung deteksi tanda tangan. Untuk memberi label tanda tangan, gunakan jenis bidang Tanda Tangan dan tentukan wilayah untuk tanda tangan. Bidang tanda tangan hanya mendukung satu wilayah gambar per bidang. Untuk melatih model neural kustom dengan deteksi tanda tangan, Anda perlu menggunakan setidaknya lima sampel dengan tanda tangan berlabel bersama dengan variasi untuk mendapatkan hasil yang paling akurat.

Bidang tabular

Model neural kustom v4.0 2024-11-30 (GA) mendukung bidang tabular (tabel) untuk menganalisis data tabel, baris, dan sel dengan keyakinan tambahan:

  • Model-model yang dilatih dengan API versi pratinjau 2022-06-30 atau yang lebih baru akan menerima label-label bidang tabel.
  • Dokumen yang dianalisis dengan model neural kustom menggunakan API versi 2022-06-30-preview atau yang lebih baru akan menghasilkan bidang tabular yang diolah secara agregat dari semua tabel.
  • Hasilnya dapat ditemukan di array analyzeResult objek documents yang dikembalikan setelah operasi analisis.

Bidang tabular mendukung tabel lintas halaman secara default:

  • Untuk melabeli tabel yang mencakup beberapa halaman, beri label pada setiap baris tabel di seluruh halaman yang berbeda dalam satu tabel.
  • Sebagai praktik terbaik, pastikan himpunan data Anda berisi beberapa sampel variasi yang diharapkan. Misalnya, sertakan sampel di mana seluruh tabel berada pada satu halaman dan di mana tabel mencakup dua halaman atau lebih.

Bidang tabular juga berguna saat mengekstrak informasi berulang dalam dokumen yang tidak dikenali sebagai tabel. Misalnya, bagian berulang dari pengalaman kerja dalam resume dapat diberi label dan diekstraksi sebagai bidang bertabel.

Bidang tabular menyediakan keyakinan tabel, baris, dan sel dengan 2024-11-30 (GA) API:

  • Tabel tetap atau dinamis menambahkan dukungan keyakinan untuk elemen berikut:

    • Tingkat keyakinan tabel, ukuran seberapa akurat seluruh tabel diakui.
    • Keyakinan baris, ukuran pengenalan baris individual.
    • Keyakinan sel, ukuran pengenalan sel individu.
  • Pendekatan yang disarankan adalah meninjau akurasi dengan cara top-down yang dimulai dengan tabel terlebih dahulu, diikuti oleh baris lalu sel. Lihat skor keyakinan dan akurasi untuk mempelajari lebih lanjut tentang keyakinan tabel, baris, dan sel.

Bidang yang tumpang tindih

Model neural kustom v4.0 2024-11-30 (GA) mendukung bidang yang tumpang tindih:

Untuk menggunakan bidang yang tumpang tindih, himpunan data Anda harus berisi setidaknya satu sampel dengan tumpang tindih yang diharapkan. Untuk memberi label tumpang tindih, gunakan pelabelan wilayah untuk menunjuk setiap rentang konten (dengan tumpang tindih) untuk setiap bidang. Menandai tumpang tindih dengan memilih bidang (menyoroti nilai) gagal di Studio karena pelabelan wilayah merupakan satu-satunya alat pelabelan yang didukung untuk mengidentifikasi tumpang tindih bidang. Dukungan tumpang tindih meliputi:

  • Tumpang tindih sepenuhnya. Sekumpulan token yang sama diberi label untuk dua bidang yang berbeda.
  • Tumpang tindih parsial. Beberapa token milik kedua bidang, tetapi ada token yang hanya merupakan bagian dari satu bidang atau yang lain.

Bidang yang tumpang tindih memiliki beberapa batasan:

  • Token atau kata apa pun hanya dapat diberi label sebagai dua bidang.
  • bidang yang tumpang tindih dalam tabel tidak dapat menjangkau baris tabel.
  • Bidang yang tumpang tindih hanya dapat dikenali jika setidaknya satu sampel dalam himpunan data berisi label yang tumpang tindih untuk bidang tersebut.

Untuk menggunakan bidang yang tumpang tindih, beri label pada himpunan data Anda yang memiliki bidang tersebut dan latih model dengan versi API **2024-11-30 (GA)**.

Bahasa dan lokal yang didukung

Lihat Dukungan Bahasa kami —model kustom untuk daftar lengkap bahasa yang didukung.

Wilayah yang didukung

Mulai 18 Oktober 2022, pelatihan model neural kustom Kecerdasan Dokumen hanya tersedia di wilayah Azure berikut:

  • Australia Timur
  • Brasil Selatan
  • Kanada Tengah
  • India Tengah
  • US Tengah
  • Asia Timur
  • US Timur
  • US Timur2
  • Prancis Tengah
  • Jepang Timur
  • US Tengah Selatan
  • Asia Tenggara
  • UK Selatan
  • Eropa Barat
  • Wilayah Barat US2
  • US Gov Arizona
  • US Gov Virginia

Petunjuk

Anda dapat menyalin model yang telah dilatih di salah satu wilayah tertentu yang tercantum ke wilayah lain mana pun dan menggunakannya sesuai.

Gunakan REST API atau Document Intelligence Studio untuk menyalin model ke wilayah lain.

Petunjuk

Anda dapat menyalin model yang telah dilatih di salah satu wilayah tertentu yang tercantum ke wilayah lain mana pun dan menggunakannya sesuai.

Gunakan REST API atau Document Intelligence Studio untuk menyalin model ke wilayah lain.

Petunjuk

Anda dapat menyalin model yang telah dilatih di salah satu wilayah tertentu yang tercantum ke wilayah lain mana pun dan menggunakannya sesuai.

Gunakan REST API atau Document Intelligence Studio untuk menyalin model ke wilayah lain.

Persyaratan input

  • Untuk hasil terbaik, berikan satu foto yang jelas atau pemindaian berkualitas tinggi per dokumen.

  • Format file yang didukung:

    Model PDF Gambar:
    jpeg/jpg, png, bmp, tiff, heif
    Microsoft Office:
    Word (docx), Excel (xlsx), PowerPoint (pptx), dan HTML
    Baca ✔ ✔ ✔
    Tata letak ✔ ✔ ✔
    Dokumen Umum ✔ ✔
    Bawaan ✔ ✔
    Neural kustom ✔ ✔

    ✱ file Microsoft Office saat ini tidak didukung untuk model atau versi lain.

  • Untuk PDF dan TIFF, hingga 2.000 halaman dapat diproses (dengan langganan tingkat gratis, hanya dua halaman pertama yang diproses).

  • Ukuran file untuk menganalisis dokumen adalah 500 MB untuk tingkat berbayar (S0) dan 4 MB secara gratis (F0).

  • Dimensi gambar harus antara 50 x 50 piksel dan 10.000 piksel x 10.000 piksel.

  • Jika PDF Anda dikunci dengan kata sandi, Anda harus menghapus kunci sebelum pengiriman.

  • Tinggi minimum teks yang akan diekstrak adalah 12 piksel untuk gambar piksel 1024 x 768. Dimensi ini sesuai dengan teks sekitar 8-point pada 150 titik per inci.

  • Untuk pelatihan model kustom, jumlah maksimum halaman untuk data pelatihan adalah 500 untuk model template kustom dan 50.000 untuk model neural kustom.

  • Untuk pelatihan model ekstraksi kustom, ukuran total data pelatihan adalah 50 MB untuk model templat dan 1G-MB untuk model neural.

  • Untuk pelatihan model klasifikasi kustom, ukuran total data pelatihan adalah 1GB dengan maksimum 10.000 halaman.

Praktik terbaik

Model neural kustom berbeda dari model templat kustom dalam beberapa cara berbeda. Template kustom atau model bergantung pada template visual yang konsisten untuk mengekstrak data berlabel. Model neural kustom mendukung terstruktur, dan semi-terstruktur untuk mengekstrak bidang. Saat Anda memilih antara jenis model, mulailah dengan model neural, dan uji untuk menentukan apakah model mendukung kebutuhan fungsi anda.

  • Berurusan dengan variasi - Model neural kustom dapat menggeneralisasi di berbagai format dari satu jenis dokumen. Sebagai praktik terbaik, buat satu model untuk semua variasi jenis dokumen. Tambahkan setidaknya lima sampel berlabel untuk masing-masing variasi yang berbeda ke himpunan data pelatihan.
  • Penamaan bidang - Saat Anda memberi label data, pelabelan bidang yang relevan dengan nilai meningkatkan akurasi pasangan kunci-nilai yang diekstrak. Misalnya, untuk nilai bidang yang berisi ID pemasok, pertimbangkan untuk memberi nama bidang supplier_id. Nama bidang harus dalam bahasa dokumen.
  • Pelabelan nilai yang berdekatan - Token/kata nilai dari satu bidang harus:
    • Dalam urutan berurutan dalam urutan bacaan alami, tanpa menyelingi dengan bidang lain
    • Di wilayah yang tidak mencakup bidang lain
  • Data yang representatif - Nilai dalam kasus pelatihan harus beragam dan mencerminkan keseluruhan populasi. Misalnya, jika bidang diberi nama tanggal, nilai untuk bidang ini harus berupa tanggal. Nilai sintetis seperti string acak dapat memengaruhi performa model.

Keterbatasan Saat Ini

  • Model neural kustom tidak mengenali nilai yang dibagi di seluruh batas halaman.
  • Jenis bidang neural kustom yang tidak didukung diabaikan jika himpunan data berlabel untuk model templat kustom digunakan untuk melatih model neural kustom.
  • Model neural kustom dibatasi hingga 20 operasi build per bulan untuk versi 3.x. Buka permintaan dukungan jika Anda ingin batasnya meningkat. Untuk informasi selengkapnya, lihat Kuota dan batas layanan Kecerdasan Dokumen.

Melatih model

Model neural kustom tersedia dalam model v3.0 dan yang lebih baru.

Jenis dokumen REST API SDK Melabeli dan Menguji Model
Dokumen khusus Kecerdasan Dokumentasi 3.1 SDK Kecerdasan Dokumen Studio Kecerdasan Dokumen

Operasi Build untuk melatih model kini mendukung properti barubuildMode. Untuk melatih model neural kustom, atur buildMode ke neural.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-11-30

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}
https://{endpoint}/formrecognizer/documentModels:build?api-version=v3.1:2023-07-31

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}
https://{endpoint}/formrecognizer/documentModels/{modelId}:copyTo?api-version=2022-08-31

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Penagihan

Dengan versi v4.0 2024-11-30 (GA), Anda dapat melatih model neural kustom Anda untuk durasi yang lebih lama dari standar 30 menit. Versi sebelumnya dibatasi hingga 30 menit per instans pelatihan, dengan total 20 instans pelatihan gratis per bulan. Dengan versi v4.0 2024-11-30 (GA), Anda dapat menerima pelatihan model gratis selama 10 jam, dan melatih model selama 10 jam.

Anda dapat memilih untuk mengalokasikan seluruh 10 jam gratis pada satu proses pembuatan model yang menggunakan sekumpulan data besar, atau memanfaatkannya di beberapa proses pembuatan model dengan menyesuaikan batas waktu maksimum untuk operasi build dengan menentukan maxTrainingHours.

POST https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-11-30

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  ...,
  "maxTrainingHours": 10
}

Penting

  • Jika Anda ingin melatih lebih banyak model neural atau melatih model untuk jangka waktu yang lebih lama yang melebihi 10 jam, biaya penagihan berlaku. Untuk detail tentang biaya penagihan, lihat halaman harga.
  • Anda dapat ikut serta dalam layanan pelatihan berbayar ini dengan mengatur maxTrainingHours ke jumlah jam maksimum yang diinginkan. Panggilan API tanpa anggaran tetapi dengan maxTrainingHours diatur ke lebih dari 10 jam gagal.
  • Setiap build membutuhkan waktu yang berbeda tergantung pada jenis dan ukuran himpunan data pelatihan. Penagihan dihitung untuk waktu yang sebenarnya dihabiskan untuk melatih model neural dengan waktu minimum 30 menit untuk setiap pekerjaan pelatihan.
  • Fitur pelatihan berbayar ini memungkinkan Anda melatih himpunan data yang lebih besar untuk durasi yang lebih lama dengan fleksibilitas dalam jam pelatihan.

GET /documentModels/{myCustomModel}
{
  "modelId": "myCustomModel",
  "trainingHours": 0.23,
  "docTypes": { ... },
  ...
}

Catatan

Untuk versi v3.1 (2023-07-31) dan v3.0 (2022-08-31) Kecerdasan Dokumen, pelatihan berbayar untuk model neural kustom tidak diaktifkan. Untuk dua versi lama, ada durasi pelatihan maksimum 30 menit per model. Jika Anda ingin melatih lebih dari 20 instans model, Anda dapat membuat tiket dukungan Azure untuk meminta peningkatan batas pelatihan.

Penagihan

Untuk versi v3.1 (2023-07-31) and v3.0 (2022-08-31) Kecerdasan Dokumen, Anda menerima maksimum durasi pelatihan 30 menit per model, dan maksimum 20 pelatihan secara gratis per bulan. Jika Anda ingin melatih lebih dari 20 instans model, Anda dapat membuat tiket dukungan Azure untuk meminta peningkatan batas pelatihan. Untuk tiket dukungan Azure, masukkan di bidang summary: Increase Document Intelligence custom neural training (TPS) limit.

Penting

  • Ketika Anda meningkatkan batas pelatihan, dua sesi pelatihan model neural kustom dianggap sebagai satu jam pelatihan. Untuk informasi selengkapnya tentang harga untuk meningkatkan jumlah sesi pelatihan, lihat* halaman harga.
  • Tiket dukungan Azure untuk kenaikan batas pelatihan hanya dapat berlaku pada tingkat resource, bukan tingkat langganan. Anda dapat meminta peningkatan batas pelatihan untuk satu sumber daya Kecerdasan Dokumen dengan menentukan ID sumber daya dan wilayah Anda di tiket dukungan.

Jika Anda ingin melatih model untuk durasi yang lebih lama dari 30 menit, kami mendukung pelatihan berbayar dengan versi v4.0 2024-11-30 (GA). Dengan menggunakan versi terbaru, Anda dapat melatih model anda untuk durasi yang lebih lama untuk memproses dokumen yang lebih besar. Untuk informasi selengkapnya tentang pelatihan berbayar, lihatTagihan v4.0.

Penagihan

Untuk versi v3.1 (2023-07-31) and v3.0 (2022-08-31) Kecerdasan Dokumen, Anda menerima maksimum durasi pelatihan 30 menit per model, dan maksimum 20 pelatihan secara gratis per bulan. Jika Anda ingin melatih lebih dari 20 instans model, Anda dapat membuat tiket dukungan Azure untuk meminta peningkatan batas pelatihan. Untuk tiket dukungan Azure, masukkan di bidang summary: Increase Document Intelligence custom neural training (TPS) limit.

Penting

  • Ketika Anda meningkatkan batas pelatihan, dua sesi pelatihan model neural kustom dianggap sebagai satu jam pelatihan. Untuk informasi selengkapnya tentang harga untuk meningkatkan jumlah sesi pelatihan, lihathalaman harga.
  • Tiket dukungan Azure untuk kenaikan batas pelatihan hanya dapat berlaku pada tingkat resource, bukan tingkat langganan. Anda dapat meminta peningkatan batas pelatihan untuk satu sumber daya Kecerdasan Dokumen dengan menentukan ID sumber daya dan wilayah Anda di tiket dukungan.

Jika Anda ingin melatih model untuk durasi yang lebih lama dari 30 menit, kami mendukung pelatihan berbayar dengan versi terbaru kami, v4.0 (2024-11-30). Dengan menggunakan versi terbaru, Anda dapat melatih model anda untuk durasi yang lebih lama untuk memproses dokumen yang lebih besar. Untuk informasi selengkapnya tentang pelatihan berbayar, lihatTagihan v4.0.

Langkah berikutnya

Pelajari cara membuat dan menyusun model kustom: