Model neural kustom Kecerdasan Dokumen

Penting

• Rilis pratinjau publik Kecerdasan Dokumen menyediakan akses awal ke fitur yang sedang dalam pengembangan aktif. Fitur, pendekatan, dan proses dapat berubah, sebelum Ketersediaan Umum (GA), berdasarkan umpan balik pengguna.
• Versi pratinjau publik pustaka klien Kecerdasan Dokumen default ke REST API versi 2024-07-31-preview.
• Pratinjau publik versi 2024-07-31-preview saat ini hanya tersedia di wilayah Azure berikut. Perhatikan bahwa model generatif kustom (ekstraksi bidang dokumen) di AI Studio hanya tersedia di wilayah US Tengah Utara:
  • US Timur
  • US Barat2
  • Eropa Barat
  • US Tengah Utara

Konten ini berlaku untuk: v4.0 (pratinjau) | Versi sebelumnya: v3.1 (GA) v3.0 (GA)

Model dokumen neural kustom atau model neural adalah jenis model yang dipelajari secara mendalam yang menggabungkan fitur tata letak dan bahasa untuk mengekstrak bidang berlabel secara akurat dari dokumen. Model neural kustom dasar dilatih pada berbagai jenis dokumen yang membuatnya cocok untuk dilatih untuk mengekstrak bidang dari dokumen terstruktur dan semi terstruktur. Model neural kustom tersedia dalam model v3.0 dan yang lebih baru Tabel di bawah ini mencantumkan jenis dokumen umum untuk setiap kategori:

Dokumen	Contoh
Terstruktur	survei, kuesioner
Semi-terstruktur	faktur, pesanan pembelian

Model neural kustom memiliki format dan strategi pelabelan yang sama dengan model template kustom. Saat ini model neural kustom hanya mendukung subset dari jenis bidang yang didukung oleh model templat kustom.

Kemampuan model

Penting

Dimulai dengan model neural kustom versi 2024-02-29-preview API menambahkan dukungan untuk bidang yang tumpang tindih dan keyakinan sel tabel.

Model neural kustom saat ini mendukung pasangan kunci-nilai dan tanda pilihan dan bidang terstruktur (tabel).

Bidang formulir	Tanda pilihan	Bidang tabular	Tanda Tangan	Pelabelan wilayah	Bidang yang tumpang tindih
Didukung	Didukung	Didukung	Tidak didukung	Didukung 1	Didukung 2

¹ Label wilayah dalam model neural kustom menggunakan hasil dari API Tata Letak untuk wilayah yang ditentukan. Fitur ini berbeda dari model templat di mana, jika tidak ada nilai, teks dihasilkan pada waktu pelatihan.
² Bidang tumpang tindih didukung dimulai dengan versi 2024-02-29-previewREST API . Bidang yang tumpang tindih memiliki beberapa batasan. Untuk informasi selengkapnya, lihat bidang yang tumpang tindih.

Mode build

Operasi ini Build mendukung templat dan model kustom neural . Versi REST API dan pustaka klien sebelumnya hanya mendukung mode build tunggal yang sekarang dikenal sebagai mode templat .

Model neural mendukung dokumen yang memiliki informasi yang sama, tetapi struktur halaman yang berbeda. Contoh dokumen-dokumen ini termasuk formulir W2 Amerika Serikat, yang berbagi informasi yang sama, tetapi dapat bervariasi dalam penampilan di seluruh perusahaan. Untuk informasi selengkapnya, lihat Mode build model kustom.

Bidang yang tumpang tindih

Dengan rilis 2024-02-29-preview versi API dan yang lebih baru, model neural kustom mendukung bidang yang tumpang tindih:

Bidang yang tumpang tindih

Dengan rilis api versi 2024-07-31-preview dan yang lebih baru, model neural kustom akan mendukung bidang yang tumpang tindih:

Untuk menggunakan bidang yang tumpang tindih, himpunan data Anda harus berisi setidaknya satu sampel dengan tumpang tindih yang diharapkan. Untuk memberi label tumpang tindih, gunakan pelabelan wilayah untuk menunjuk setiap rentang konten (dengan tumpang tindih) untuk setiap bidang. Pelabelan tumpang tindih dengan pemilihan bidang (menyoroti nilai) gagal di Studio karena pelabelan wilayah adalah satu-satunya alat pelabelan yang didukung untuk menunjukkan tumpang tindih bidang. Dukungan tumpang tindih meliputi:

• Tumpang tindih lengkap. Sekumpulan token yang sama diberi label untuk dua bidang yang berbeda.
• Tumpang tindih parsial. Beberapa token milik kedua bidang, tetapi ada token yang hanya merupakan bagian dari satu bidang atau yang lain.

Bidang yang tumpang tindih memiliki beberapa batasan:

• Token atau kata apa pun hanya dapat diberi label sebagai dua bidang.
• bidang yang tumpang tindih dalam tabel tidak dapat menjangkau baris tabel.
• Bidang yang tumpang tindih hanya dapat dikenali jika setidaknya satu sampel dalam himpunan data berisi label yang tumpang tindih untuk bidang tersebut.

Untuk menggunakan bidang yang tumpang tindih, beri label himpunan data Anda dengan tumpang tindih dan latih model dengan versi API atau yang lebih 2024-02-29-preview baru.

Bidang tabular

Dengan rilis api versi 2022-06-30-preview dan yang lebih baru, model neural kustom mendukung bidang tabular (tabel) untuk menganalisis data tabel, baris, dan sel dengan keyakinan tambahan:

• Model yang dilatih dengan pratinjau API versi 2022-06-30, atau yang lebih baru akan menerima label bidang tabular.
• Dokumen yang dianalisis dengan model neural kustom menggunakan API versi pratinjau 2022-06-30 atau yang lebih baru akan menghasilkan bidang tabular yang dikumpulkan di seluruh tabel.
• Hasilnya dapat ditemukan di array documents objek analyzeResult yang dikembalikan setelah operasi analisis.

Bidang tabular mendukung tabel lintas halaman secara default:

• Untuk melabeli tabel yang mencakup beberapa halaman, beri label pada setiap baris tabel di seluruh halaman yang berbeda dalam satu tabel.
• Sebagai praktik terbaik, pastikan himpunan data Anda berisi beberapa sampel variasi yang diharapkan. Misalnya, sertakan sampel di mana seluruh tabel berada pada satu halaman dan di mana tabel mencakup dua halaman atau lebih.

Bidang tabular juga berguna saat mengekstrak informasi berulang dalam dokumen yang tidak dikenali sebagai tabel. Misalnya, bagian berulang dari pengalaman kerja dalam resume dapat diberi label dan diekstraksi sebagai bidang bertabel.

Bidang tabular menyediakan keyakinan tabel, baris, dan sel yang 2024-02-29-preview dimulai dengan API:

• Tabel tetap atau dinamis menambahkan dukungan keyakinan untuk elemen berikut:

  • Keyakinan tabel, ukuran seberapa akurat seluruh tabel dikenali.
  • Keyakinan baris, ukuran pengenalan baris individual.
  • Keyakinan sel, ukuran pengenalan sel individu.

• Pendekatan yang disarankan adalah meninjau akurasi dengan cara top-down yang dimulai dengan tabel terlebih dahulu, diikuti oleh baris lalu sel. Lihat skor keyakinan dan akurasi untuk mempelajari selengkapnya tentang keyakinan tabel, baris, dan sel.

Bahasa dan lokal yang didukung

Lihat Dukungan Bahasa kami —model kustom untuk daftar lengkap bahasa yang didukung.

Wilayah yang didukung

Mulai 18 Oktober 2022, pelatihan model neural kustom Kecerdasan Dokumen hanya akan tersedia di wilayah Azure berikut hingga pemberitahuan lebih lanjut:

• Australia Timur
• Brasil Selatan
• Kanada Tengah
• India Tengah
• US Tengah
• Asia Timur
• AS Timur
• US Timur2
• Prancis Tengah
• Jepang Timur
• US Tengah Selatan
• Asia Tenggara
• UK Selatan
• Eropa Barat
• West US2
• US Gov Arizona
• US Gov Virginia

Tip

Anda dapat menyalin model yang dilatih di salah satu wilayah tertentu yang tercantum ke wilayah lain dan menggunakannya.

Gunakan REST API atau Document Intelligence Studio untuk menyalin model ke wilayah lain.

Persyaratan input

• Untuk hasil terbaik, berikan satu foto yang jelas atau pemindaian berkualitas tinggi per dokumen.

• Format file yang didukung:

  Model	PDF	Gambar: jpeg/jpg, png, bmp, tiff, heif	Microsoft Office: Word (docx), Excel (xlsx), PowerPoint (pptx), dan HTML
  Read	✔	✔	✔
  Tata letak	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview, atau yang lebih baru)
  Dokumen Umum	✔	✔
  Bawaan	✔	✔
  Neural kustom	✔	✔

  ✱ File Microsoft Office saat ini tidak didukung untuk model atau versi lain.

• Untuk PDF dan TIFF, hingga 2.000 halaman dapat diproses (dengan langganan tingkat gratis, hanya dua halaman pertama yang diproses).

• Ukuran file untuk menganalisis dokumen adalah 500 MB untuk tingkat berbayar (S0) dan 4 MB secara gratis (F0).

• Dimensi gambar harus antara 50 x 50 piksel dan 10.000 piksel x 10.000 piksel.

• Jika PDF Anda dikunci dengan kata sandi, Anda harus menghapus kunci sebelum pengiriman.

• Tinggi minimum teks yang akan diekstrak adalah 12 piksel untuk gambar piksel 1024 x 768. Dimensi ini sesuai dengan teks sekitar 8-point pada 150 titik per inci.

• Untuk pelatihan model kustom, jumlah maksimum halaman untuk data pelatihan adalah 500 untuk model template kustom dan 50.000 untuk model neural kustom.

• Untuk pelatihan model ekstraksi kustom, ukuran total data pelatihan adalah 50 MB untuk model templat dan 1G-MB untuk model neural.

• Untuk pelatihan model klasifikasi kustom, ukuran total data pelatihan adalah 1GB dengan maksimum 10.000 halaman.

Praktik terbaik

Model neural kustom berbeda dari model templat kustom dalam beberapa cara berbeda. Template kustom atau model bergantung pada template visual yang konsisten untuk mengekstrak data berlabel. Model neural kustom mendukung terstruktur, dan semi-terstruktur untuk mengekstrak bidang. Saat Anda memilih antara jenis model, mulailah dengan model neural, dan uji untuk menentukan apakah model mendukung kebutuhan fungsi anda.

• Berurusan dengan variasi - Model neural kustom dapat menggeneralisasi di berbagai format dari satu jenis dokumen. Sebagai praktik terbaik, buat satu model untuk semua variasi jenis dokumen. Tambahkan setidaknya lima sampel berlabel untuk masing-masing variasi yang berbeda ke himpunan data pelatihan.
• Penamaan bidang - Saat Anda memberi label data, pelabelan bidang yang relevan dengan nilai meningkatkan akurasi pasangan kunci-nilai yang diekstrak. Misalnya, untuk nilai bidang yang berisi ID pemasok, pertimbangkan untuk memberi nama bidang supplier_id. Nama bidang harus dalam bahasa dokumen.
• Pelabelan nilai yang berdekatan - Token/kata nilai dari satu bidang harus:
  • Dalam urutan berturut-turut dalam urutan bacaan alami, tanpa menginterogasi dengan bidang lain
  • Di wilayah yang tidak mencakup bidang lain
• Data perwakilan - Nilai dalam kasus pelatihan harus beragam dan representatif. Misalnya, jika bidang diberi nama tanggal, nilai untuk bidang ini harus berupa tanggal. Nilai sintetis seperti string acak dapat memengaruhi performa model.

Keterbatasan Saat Ini

• Model neural kustom tidak mengenali nilai yang dibagi di seluruh batas halaman.
• Jenis bidang neural kustom yang tidak didukung diabaikan jika himpunan data berlabel untuk model templat kustom digunakan untuk melatih model neural kustom.
• Model neural kustom dibatasi hingga 20 operasi build per bulan. Buka permintaan dukungan jika Anda ingin batasnya meningkat. Untuk informasi selengkapnya, lihat Kuota dan batas layanan Kecerdasan Dokumen.

Melatih model

Model neural kustom tersedia dalam model v3.0 dan yang lebih baru.

Jenis dokumen	REST API	SDK	Model Label dan Uji
Dokumen kustom	Kecerdasan Dokumen 3.1	SDK Kecerdasan Dokumen	Studio Kecerdasan Dokumen

Build Operasi untuk melatih model mendukung properti barubuildMode, untuk melatih model neural kustom, atur buildMode ke neural.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Billing

Dimulai dengan versi 2024-07-31-preview, Anda dapat melatih model neural kustom Anda untuk durasi yang lebih lama dari standar 30 menit. Versi sebelumnya dibatasi hingga 30 menit per instans pelatihan, dengan total 20 instans pelatihan gratis per bulan. Sekarang dengan 2024-07-31-preview, Anda dapat menerima 10 jam pelatihan model gratis, dan melatih model selama 10 jam.

Anda dapat memilih untuk menghabiskan semua 10 jam gratis pada satu build model dengan sekumpulan data besar, atau menggunakannya di beberapa build dengan menyesuaikan nilai durasi maksimum untuk build operasi dengan menentukan maxTrainingHours:

POST https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  ...,
  "maxTrainingHours": 10
}

Penting

• Jika Anda ingin melatih model neural tambahan atau melatih model untuk jangka waktu yang lebih lama yang melebihi 10 jam, biaya penagihan berlaku. Untuk detail tentang biaya penagihan, lihat halaman harga.
• Anda dapat ikut serta dalam layanan pelatihan berbayar ini dengan mengatur maxTrainingHours ke jumlah jam maksimum yang diinginkan. Panggilan API tanpa anggaran tetapi dengan maxTrainingHours yang ditetapkan sebagai lebih dari 10 jam akan gagal.
• Karena setiap build membutuhkan waktu yang berbeda tergantung pada jenis dan ukuran himpunan data pelatihan, penagihan dihitung untuk waktu aktual yang dihabiskan untuk melatih model neural, dengan minimal 30 menit per pekerjaan pelatihan.
• Fitur pelatihan berbayar ini memungkinkan Anda melatih himpunan data yang lebih besar untuk durasi yang lebih lama dengan fleksibilitas dalam jam pelatihan.

GET /documentModels/{myCustomModel}
{
  "modelId": "myCustomModel",
  "trainingHours": 0.23,
  "docTypes": { ... },
  ...
}

Catatan

Untuk versi v3.1 (2023-07-31) Kecerdasan Dokumen dan v3.0 (2022-08-31), pelatihan berbayar model neural kustom tidak diaktifkan. Untuk dua versi lama, Anda akan mendapatkan durasi pelatihan maksimum 30 menit per model. Jika Anda ingin melatih lebih dari 20 instans model, Anda dapat membuat tiket dukungan Azure untuk meningkatkan batas pelatihan.

Langkah berikutnya

Pelajari cara membuat dan menyusun model kustom:

Membuat modelkustom Buat model kustom