Model neural kustom Kecerdasan Dokumen

Penting

• Rilis pratinjau publik Kecerdasan Dokumen menyediakan akses awal ke fitur yang sedang dalam pengembangan aktif.
• Fitur, pendekatan, dan proses dapat berubah, sebelum Ketersediaan Umum (GA), berdasarkan umpan balik pengguna.
• Versi pratinjau publik pustaka klien Kecerdasan Dokumen default ke REST API versi 2024-02-29-preview.
• Pratinjau publik versi 2024-02-29-preview saat ini hanya tersedia di wilayah Azure berikut:
• US Timur
• US Barat2
• Eropa Barat

Konten ini berlaku untuk:v4.0 (pratinjau) | Versi sebelumnya:v3.1 (GA)v3.0 (GA)

Model dokumen neural kustom atau model neural adalah jenis model yang dipelajari secara mendalam yang menggabungkan fitur tata letak dan bahasa untuk mengekstrak bidang berlabel secara akurat dari dokumen. Model neural kustom dasar dilatih pada berbagai jenis dokumen yang membuatnya cocok untuk dilatih untuk mengekstrak bidang dari dokumen terstruktur, semi terstruktur, dan tidak terstruktur. Model neural kustom tersedia dalam model v3.0 dan yang lebih baru Tabel di bawah ini mencantumkan jenis dokumen umum untuk setiap kategori:

Dokumen	Contoh
Terstruktur	survei, kuesioner
Semi-terstruktur	faktur, pesanan pembelian
Tidak terstruktur	kontrak, surat

Model neural kustom memiliki format dan strategi pelabelan yang sama dengan model template kustom. Saat ini model neural kustom hanya mendukung subset dari jenis bidang yang didukung oleh model templat kustom.

Kemampuan model

Penting

Dimulai dengan model neural kustom versi 2024-02-29-preview API menambahkan dukungan untuk bidang yang tumpang tindih dan keyakinan sel tabel.

Model neural kustom saat ini hanya mendukung pasangan kunci-nilai dan tanda pilihan dan bidang terstruktur (tabel), rilis mendatang termasuk dukungan untuk tanda tangan.

Bidang formulir	Tanda pilihan	Bidang tabular	Tanda Tangan	Wilayah	Bidang yang tumpang tindih
Didukung	Didukung	Didukung	Tidak didukung	Didukung 1	Didukung 2

¹ Label wilayah dalam model neural kustom menggunakan hasil dari API Tata Letak untuk wilayah yang ditentukan. Fitur ini berbeda dari model templat di mana, jika tidak ada nilai, teks dihasilkan pada waktu pelatihan. ² Bidang tumpang tindih didukung dimulai dengan versi 2024-02-29-previewREST API . Bidang yang tumpang tindih memiliki beberapa batasan. Untuk informasi selengkapnya, lihatbidang yang tumpang tindih.

Mode build

Operasi model kustom build mendukung model kustom templat dan neural . Versi REST API dan pustaka klien sebelumnya hanya mendukung mode build tunggal yang sekarang dikenal sebagai mode templat .

Model neural mendukung dokumen yang memiliki informasi yang sama, tetapi struktur halaman yang berbeda. Contoh dokumen-dokumen ini termasuk formulir W2 Amerika Serikat, yang berbagi informasi yang sama, tetapi dapat bervariasi dalam penampilan di seluruh perusahaan. Untuk informasi selengkapnya, lihatMode build model kustom.

Bahasa dan lokal yang didukung

Lihat halaman Dukungan Bahasa—model kustom untuk daftar lengkap bahasa yang didukung.

Bidang yang tumpang tindih

Dengan rilis api versi 2024-02-29-preview dan yang lebih baru, model neural kustom akan mendukung bidang yang tumpang tindih:

Untuk menggunakan bidang yang tumpang tindih, himpunan data Anda harus berisi setidaknya satu sampel dengan tumpang tindih yang diharapkan. Untuk memberi label tumpang tindih, gunakan pelabelan wilayah untuk menunjuk setiap rentang konten (dengan tumpang tindih) untuk setiap bidang. Pelabelan tumpang tindih dengan pemilihan bidang (menyoroti nilai) akan gagal di studio karena pelabelan wilayah adalah satu-satunya alat pelabelan yang didukung untuk menunjukkan tumpang tindih bidang. Dukungan tumpang tindih meliputi:

• Tumpang tindih lengkap. Sekumpulan token yang sama diberi label untuk dua bidang yang berbeda.
• Tumpang tindih parsial. Beberapa token milik kedua bidang, tetapi ada token yang hanya merupakan bagian dari satu bidang atau yang lain.

Bidang yang tumpang tindih memiliki beberapa batasan:

• Token atau kata apa pun hanya dapat diberi label sebagai dua bidang.
• bidang yang tumpang tindih dalam tabel tidak dapat menjangkau baris tabel.
• Bidang yang tumpang tindih hanya dapat dikenali jika setidaknya satu sampel dalam himpunan data berisi label yang tumpang tindih untuk bidang tersebut.

Untuk menggunakan bidang yang tumpang tindih, beri label himpunan data Anda dengan tumpang tindih dan latih model dengan versi API atau yang lebih 2024-02-29-preview baru.

Bidang tabular menambahkan tabel, baris, dan keyakinan sel

Dengan rilisnya API versi 2022-06-30-preview dan yang lebih baru, model neural kustom akan mendukung bidang tabular (tabel):

• Model yang dilatih dengan API versi 2022-08-31 atau yang lebih baru akan menerima label bidang tabular.
• Dokumen yang dianalisis dengan model neural kustom menggunakan API versi pratinjau 2022-06-30 atau yang lebih baru akan menghasilkan bidang tabular yang dikumpulkan di seluruh tabel.
• Hasilnya dapat ditemukan di array documents objek analyzeResult yang dikembalikan setelah operasi analisis.

Bidang tabular mendukung tabel lintas halaman secara default:

• Untuk melabeli tabel yang mencakup beberapa halaman, beri label pada setiap baris tabel di seluruh halaman yang berbeda dalam satu tabel.
• Sebagai praktik terbaik, pastikan himpunan data Anda berisi beberapa sampel variasi yang diharapkan. Misalnya, sertakan sampel di mana seluruh tabel berada pada satu halaman dan di mana tabel mencakup dua halaman atau lebih.

Bidang tabular juga berguna saat mengekstrak informasi berulang dalam dokumen yang tidak dikenali sebagai tabel. Misalnya, bagian berulang dari pengalaman kerja dalam resume dapat diberi label dan diekstraksi sebagai bidang bertabel.

Bidang tabular menyediakan keyakinan tabel, baris, dan sel yang 2024-02-29-preview dimulai dengan API:

• Tabel tetap atau dinamis menambahkan dukungan keyakinan untuk elemen berikut:

  • Keyakinan tabel, ukuran seberapa akurat seluruh tabel dikenali.
  • Keyakinan baris, ukuran pengenalan baris individual.
  • Keyakinan sel, ukuran pengenalan sel individu.

• Pendekatan yang disarankan adalah meninjau akurasi dengan cara top-down yang dimulai dengan tabel terlebih dahulu, diikuti oleh baris lalu sel.

Lihat skor keyakinan dan akurasi untuk mempelajari selengkapnya tentang keyakinan tabel, baris, dan sel.

Wilayah yang didukung

Mulai 18 Oktober 2022, pelatihan model neural kustom Kecerdasan Dokumen hanya akan tersedia di wilayah Azure berikut hingga pemberitahuan lebih lanjut:

• Australia Timur
• Brasil Selatan
• Kanada Tengah
• India Tengah
• US Tengah
• Asia Timur
• AS Timur
• US Timur2
• Prancis Tengah
• Jepang Timur
• US Tengah Selatan
• Asia Tenggara
• UK Selatan
• Eropa Barat
• West US2
• US Gov Arizona
• US Gov Virginia

Tip

Anda dapat menyalin model yang dilatih di salah satu wilayah tertentu yang tercantum ke wilayah lain dan menggunakannya.

Gunakan REST API atau Document Intelligence Studio untuk menyalin model ke wilayah lain.

Persyaratan input

• Untuk hasil terbaik, berikan satu foto yang jelas atau pemindaian berkualitas tinggi per dokumen.

• Format file yang didukung:

  Model	PDF	Gambar: jpeg/jpg, png, bmp, tiff, heif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx), dan HTML
  Read	✔	✔	✔
  Tata letak	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview, atau yang lebih baru)
  Dokumen Umum	✔	✔
  Bawaan	✔	✔
  Neural kustom	✔	✔

  ✱ File Microsoft Office saat ini tidak didukung untuk model atau versi lain.

• Untuk PDF dan TIFF, hingga 2.000 halaman dapat diproses (dengan langganan tingkat gratis, hanya dua halaman pertama yang diproses).

• Ukuran file untuk menganalisis dokumen adalah 500 MB untuk tingkat berbayar (S0) dan 4 MB secara gratis (F0).

• Dimensi gambar harus antara 50 x 50 piksel dan 10.000 piksel x 10.000 piksel.

• Jika PDF Anda dikunci dengan kata sandi, Anda harus menghapus kunci sebelum pengiriman.

• Tinggi minimum teks yang akan diekstrak adalah 12 piksel untuk gambar piksel 1024 x 768. Dimensi ini sesuai dengan teks sekitar 8-point pada 150 titik per inci.

• Untuk pelatihan model kustom, jumlah maksimum halaman untuk data pelatihan adalah 500 untuk model template kustom dan 50.000 untuk model neural kustom.

• Untuk pelatihan model ekstraksi kustom, ukuran total data pelatihan adalah 50 MB untuk model templat dan 1G-MB untuk model neural.

• Untuk pelatihan model klasifikasi kustom, ukuran total data pelatihan adalah 1GB dengan maksimum 10.000 halaman.

Praktik terbaik

Model neural kustom berbeda dari model templat kustom dalam beberapa cara berbeda. Template kustom atau model bergantung pada template visual yang konsisten untuk mengekstrak data berlabel. Model neural kustom mendukung dokumen terstruktur, semi-terstruktur, dan tidak terstruktur untuk mengekstrak bidang. Saat memilih di antara dua jenis model, mulailah dengan model neural, dan uji untuk menentukan apakah model tersebut mendukung kebutuhan fungsional Anda.

Berurusan dengan variasi

Model neural kustom dapat menggeneralisasi berbagai format dari satu jenis dokumen. Sebagai praktik terbaik, buat satu model untuk semua variasi jenis dokumen. Tambahkan setidaknya lima sampel berlabel untuk masing-masing variasi yang berbeda ke himpunan data pelatihan.

Penamaan bidang

Saat Anda memberi label data, pelabelan bidang yang relevan dengan nilai meningkatkan akurasi pasangan kunci-nilai yang diekstrak. Misalnya, untuk nilai bidang yang berisi ID pemasok, pertimbangkan untuk memberi nama bidang supplier_id. Nama bidang harus dalam bahasa dokumen.

Pelabelan nilai yang berdekatan

Token/kata nilai dari satu bidang harus:

• Dalam urutan berturut-turut dalam urutan bacaan alami, tanpa menginterogasi dengan bidang lain
• Di wilayah yang tidak mencakup bidang lain

Data perwakilan

Nilai-nilai dalam kasus pelatihan harus beragam dan representatif. Misalnya, jika bidang diberi nama tanggal, nilai untuk bidang ini harus berupa tanggal. Nilai sintetis seperti string acak dapat memengaruhi performa model.

Keterbatasan Saat Ini

• Model neural kustom tidak mengenali nilai yang dibagi di seluruh batas halaman.
• Jenis bidang neural kustom yang tidak didukung diabaikan jika himpunan data berlabel untuk model templat kustom digunakan untuk melatih model neural kustom.
• Model neural kustom dibatasi hingga 20 operasi build per bulan. Buka permintaan dukungan jika Anda ingin batasnya meningkat. Untuk informasi selengkapnya, lihat Kuota dan batas layanan Kecerdasan Dokumen.

Melatih model

Model neural kustom tersedia dalam model v3.0 dan yang lebih baru.

Jenis dokumen	REST API	SDK	Model Label dan Uji
Dokumen kustom	Kecerdasan Dokumen 3.1	SDK Kecerdasan Dokumen	Studio Kecerdasan Dokumen

Operasi build untuk melatih model mendukung properti baru buildMode, untuk melatih model saraf khusus, mengatur ke buildModeneural.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-02-29-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Langkah berikutnya

Pelajari cara membuat dan menyusun model kustom:

Membuat modelkustom Buat model kustom