Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Konten ini berlaku untuk:🟩v4.0 (GA) | Versi sebelumnya:🟦v3.1 (GA)🟥v3.0 (pensiun)🟦v2.1
Model kustom Kecerdasan Dokumen memerlukan beberapa dokumen pelatihan agar dapat mulai. Jika Anda memiliki setidaknya lima dokumen, Anda bisa mulai melatih model kustom. Anda dapat melatih model templat kustom (formulir kustom) atau model neural kustom (dokumen kustom). Dokumen ini memandu Anda melalui proses pelatihan model kustom.
Persyaratan input model kustom
Pertama, pastikan himpunan data pelatihan Anda mengikuti persyaratan input untuk Kecerdasan Dokumen.
Format file berikut didukung.
| Model | Gambar: JPEG/JPG, PNG, BMP, TIFF, HEIF |
Office: Word (DOCX), Excel (XLSX), PowerPoint (PPTX), HTML |
|
|---|---|---|---|
| Baca | ✔ | ✔ | ✔ |
| Tata letak | ✔ | ✔ | ✔ |
| Dokumen umum | ✔ | ✔ | |
| Prabangun | ✔ | ✔ | |
| Ekstraksi kustom | ✔ | ✔ | |
| Klasifikasi kustom | ✔ | ✔ | ✔ |
- Foto dan pemindaian: Untuk hasil terbaik, berikan satu foto yang jelas atau pemindaian berkualitas tinggi per dokumen.
- PDF dan TIFF: Untuk PDF dan TIFF, hingga 2.000 halaman dapat diproses. (Dengan langganan tingkat gratis, hanya dua halaman pertama yang diproses.)
- Ukuran file: Ukuran file untuk menganalisis dokumen adalah 500 MB untuk tingkat berbayar (S0) dan 4 MB untuk tingkat gratis (F0).
- Dimensi gambar: Dimensi harus antara 50 piksel x 50 piksel dan 10.000 piksel x 10.000 piksel.
- Kunci sandi: Jika PDF Anda dikunci dengan sandi, Anda harus membukanya dulu sebelum pengiriman.
- Tinggi teks: Tinggi minimum teks yang akan diekstrak adalah 12 piksel untuk gambar 1024 x 768 piksel. Dimensi ini sesuai dengan teks berukuran sekitar 8 poin pada 150 titik per inci.
- Pelatihan model kustom: Jumlah maksimum halaman untuk data pelatihan adalah 500 untuk model templat kustom dan 50.000 untuk model neural kustom.
- Pelatihan model ekstraksi kustom: Ukuran total data pelatihan adalah 50 MB untuk model templat dan 1 GB untuk model neural.
- Pelatihan model klasifikasi kustom: Ukuran total data pelatihan adalah 1 GB dengan maksimum 10.000 halaman. Untuk 2024-11-30 (GA), ukuran total data pelatihan adalah 2 GB dengan maksimum 10.000 halaman.
- Jenis file Office (DOCX, XLSX, PPTX): Batas panjang string maksimum adalah 8 juta karakter.
Tips untuk data pelatihan
Ikuti tips berikut untuk mengoptimalkan himpunan data Anda lebih lanjut untuk pelatihan:
- Gunakan dokumen PDF berbasis teks alih-alih dokumen berbasis gambar. File PDF yang dipindai diperlakukan sebagai gambar.
- Gunakan contoh yang memiliki semua bidang yang diisi untuk formulir dengan bidang input.
- Gunakan formulir dengan nilai yang berbeda di setiap bidang.
- Gunakan himpunan data yang lebih besar (10-15 gambar) jika gambar formulir Anda berkualitas lebih rendah.
Mengunggah data pelatihan Anda
Setelah mengumpulkan sekumpulan formulir atau dokumen untuk pelatihan, Anda perlu mengunggahnya ke kontainer penyimpanan blob Azure. Jika Anda tidak tahu cara membuat akun penyimpanan Azure dengan wadah, ikuti panduan cepat Azure Storage untuk portal Azure. Anda dapat menggunakan tingkat harga gratis (F0) untuk mencoba layanan, dan meningkatkannya nanti ke tingkat berbayar untuk produksi.
Video: Melatih model kustom Anda
- Setelah mengumpulkan dan mengunggah himpunan data pelatihan, Anda siap untuk melatih model kustom Anda. Dalam video berikut, kami membuat proyek dan menjelajahi beberapa dasar untuk berhasil memberi label dan melatih model.
Membuat proyek di Studio Kecerdasan Dokumen
Studio Kecerdasan Dokumen menyediakan dan mengatur semua panggilan API yang diperlukan untuk menyelesaikan himpunan data Anda dan melatih model Anda.
Mulailah dengan menavigasi ke Studio Kecerdasan Dokumen. Saat pertama kali menggunakan Studio, Anda perlu menginisialisasi langganan, grup sumber daya, dan sumber daya Anda. Kemudian, ikuti prasyarat untuk proyek kustom untuk mengonfigurasi Studio untuk mengakses himpunan data pelatihan Anda.
Di Studio, pilih petak Model ekstraksi kustom dan pilih tombol Buat proyek.
create projectPada dialog, berikan nama untuk proyek Anda, secara opsional deskripsi, dan pilih lanjutkan.Pada langkah berikutnya dalam alur kerja, pilih atau buat sumber daya Kecerdasan Dokumen sebelum Anda memilih lanjutkan.
Penting
Model neural kustom hanya tersedia di beberapa wilayah. Jika Anda berencana melatih model neural, pilih atau buat sumber daya di salah satu wilayah yang didukung ini.
Selanjutnya pilih akun penyimpanan yang Anda gunakan untuk mengunggah himpunan data pelatihan model kustom Anda. Jalur Folder harus kosong jika dokumen pelatihan Anda berada di akar kontainer. Jika dokumen Anda berada di subfolder, masukkan jalur relatif dari akar kontainer di bidang Jalur folder . Setelah akun penyimpanan Anda dikonfigurasi, pilih lanjutkan.
Terakhir, tinjau pengaturan project Anda dan pilih Buat Project untuk membuat project baru. Sekarang Anda harus berada di jendela pelabelan dan melihat file yang tercantum dalam dataset Anda.
Melabeli data Anda
Dalam proyek Anda, tugas pertama Anda adalah memberi label himpunan data Anda dengan bidang yang ingin Anda ekstrak.
File yang Anda unggah ke penyimpanan tercantum di sebelah kiri layar Anda, dengan file pertama siap untuk diberi label.
Mulai pelabelan himpunan data Anda dan buat bidang pertama Anda dengan memilih tombol plus (âž•) di kanan atas layar.
Masukkan nama untuk bidang .
Tetapkan nilai ke bidang dengan memilih kata atau kata dalam dokumen. Pilih bidang di menu dropdown atau daftar bidang di bilah navigasi kanan. Nilai berlabel berada di bawah nama bidang dalam daftar bidang.
Ulangi proses untuk semua bidang yang ingin Anda beri label untuk himpunan data Anda.
Beri label dokumen yang tersisa di himpunan data Anda dengan memilih setiap dokumen dan memilih teks yang akan diberi label.
Anda sekarang memiliki semua dokumen dalam himpunan data Anda berlabel. File .labels.json dan .ocr.json sesuai dengan setiap dokumen dalam himpunan data pelatihan Anda dan file fields.json baru. Himpunan data pelatihan ini dikirimkan untuk melatih model.
Melatih model Anda
Dengan himpunan data berlabel, Anda sekarang siap untuk melatih model Anda. Pilih tombol "train" di sudut kanan atas.
Pada kotak dialog pemodelan, berikan ID model unik dan, dengan opsional, deskripsi. ID model menerima tipe data string.
Untuk mode build, pilih jenis model yang ingin Anda latih. Pelajari selengkapnya tentang jenis dan kemampuan model.
Pilih Latih untuk memulai proses pelatihan.
Model template dilatih dalam beberapa menit. Model neural dapat memakan waktu hingga 30 menit untuk berlatih.
Navigasi ke menu Model untuk melihat status operasi pelatihan.
Menguji model
Setelah pelatihan model selesai, Anda dapat menguji model Anda dengan memilih model di halaman daftar model.
Pilih model dan pilih tombol Uji .
Pilih tombol
+ Adduntuk memilih file untuk menguji model.Dengan file yang dipilih, pilih tombol Analisis untuk menguji model.
Hasil model ditampilkan di jendela utama dan bidang yang diekstrak tercantum di bilah navigasi kanan.
Validasi model Anda dengan mengevaluasi hasil untuk setiap bidang.
Bilah navigasi kanan juga memiliki kode sampel untuk memanggil model Anda dan hasil JSON dari API.
Selamat anda belajar untuk melatih model kustom di Document Intelligence Studio! Model Anda siap digunakan dengan REST API atau SDK untuk menganalisis dokumen.
Berlaku untuk:🟩v2.1. Versi lain:v3.0
Saat Anda menggunakan model kustom Kecerdasan Dokumen, Anda menyediakan data pelatihan Anda sendiri ke operasi Latih Model Kustom, sehingga model dapat dilatih pada formulir-formulir khusus industri Anda. Ikuti panduan ini untuk mempelajari cara mengumpulkan dan menyiapkan data untuk melatih model secara efektif.
Anda memerlukan setidaknya lima formulir lengkap dengan jenis yang sama.
Jika Anda ingin menggunakan data pelatihan berlabel manual, Anda harus memulai dengan setidaknya lima formulir lengkap dengan jenis yang sama. Anda masih dapat menggunakan formulir tanpa label selain himpunan data yang diperlukan.
Persyaratan input model kustom
Pertama, pastikan himpunan data pelatihan Anda mengikuti persyaratan input untuk Kecerdasan Dokumen.
Format file berikut didukung.
| Model | Gambar: JPEG/JPG, PNG, BMP, TIFF, HEIF |
Office: Word (DOCX), Excel (XLSX), PowerPoint (PPTX), HTML |
|
|---|---|---|---|
| Baca | ✔ | ✔ | ✔ |
| Tata letak | ✔ | ✔ | ✔ |
| Dokumen umum | ✔ | ✔ | |
| Prabangun | ✔ | ✔ | |
| Ekstraksi kustom | ✔ | ✔ | |
| Klasifikasi kustom | ✔ | ✔ | ✔ |
- Foto dan pemindaian: Untuk hasil terbaik, berikan satu foto yang jelas atau pemindaian berkualitas tinggi per dokumen.
- PDF dan TIFF: Untuk PDF dan TIFF, hingga 2.000 halaman dapat diproses. (Dengan langganan tingkat gratis, hanya dua halaman pertama yang diproses.)
- Ukuran file: Ukuran file untuk menganalisis dokumen adalah 500 MB untuk tingkat berbayar (S0) dan 4 MB untuk tingkat gratis (F0).
- Dimensi gambar: Dimensi harus antara 50 piksel x 50 piksel dan 10.000 piksel x 10.000 piksel.
- Kunci sandi: Jika PDF Anda dikunci dengan sandi, Anda harus membukanya dulu sebelum pengiriman.
- Tinggi teks: Tinggi minimum teks yang akan diekstrak adalah 12 piksel untuk gambar 1024 x 768 piksel. Dimensi ini sesuai dengan teks berukuran sekitar 8 poin pada 150 titik per inci.
- Pelatihan model kustom: Jumlah maksimum halaman untuk data pelatihan adalah 500 untuk model templat kustom dan 50.000 untuk model neural kustom.
- Pelatihan model ekstraksi kustom: Ukuran total data pelatihan adalah 50 MB untuk model templat dan 1 GB untuk model neural.
- Pelatihan model klasifikasi kustom: Ukuran total data pelatihan adalah 1 GB dengan maksimum 10.000 halaman. Untuk 2024-11-30 (GA), ukuran total data pelatihan adalah 2 GB dengan maksimum 10.000 halaman.
- Jenis file Office (DOCX, XLSX, PPTX): Batas panjang string maksimum adalah 8 juta karakter.
Tips untuk data pelatihan
Ikuti tips ini untuk mengoptimalkan himpunan data Anda lebih lanjut untuk pelatihan.
- Gunakan dokumen PDF berbasis teks alih-alih dokumen berbasis gambar. File PDF yang dipindai diperlakukan sebagai gambar.
- Gunakan contoh yang memiliki semua bidang yang diisi untuk formulir yang sudah lengkap.
- Gunakan formulir dengan nilai yang berbeda di setiap bidang.
- Gunakan himpunan data yang lebih besar (10-15 gambar) untuk formulir yang sudah selesai.
Mengunggah data pelatihan Anda
Setelah mengumpulkan kumpulan dokumen untuk pelatihan, Anda perlu mengunggahnya ke kontainer penyimpanan blob Azure. Jika Anda tidak tahu cara membuat akun Azure Storage dengan kontainer, ikuti panduan memulai cepat Azure Storage untuk portal Azure. Gunakan tingkat performa standar.
Jika Anda ingin menggunakan data berlabel manual, unggah file.labels.json dan .ocr.json yang sesuai dengan dokumen pelatihan Anda. Anda dapat menggunakan alat Pelabelan Sampel (atau UI Anda sendiri) untuk menghasilkan file-file ini.
Mengatur data Anda dalam subfolder (opsional)
Secara bawaan, API Latih Model Kustom hanya menggunakan dokumen yang terletak di akar wadah penyimpanan Anda. Namun, Anda dapat berlatih dengan data di subfolder jika Anda menentukannya dalam panggilan API. Biasanya, bagian panggilan Latih Model Kustom memiliki format berikut, di mana <SAS URL> adalah URL tanda tangan akses bersama dari kontainer Anda.
{
"source":"<SAS URL>"
}
Jika Anda menambahkan konten berikut ke isi permintaan, API akan melatih dengan dokumen yang terletak di subfolder. Bidang "prefix" bersifat opsional dan membatasi himpunan data pelatihan ke file yang jalurnya dimulai dengan string yang diberikan. Jadi nilai "Test", misalnya, menyebabkan API hanya melihat file atau folder yang dimulai dengan kata Uji.
{
"source": "<SAS URL>",
"sourceFilter": {
"prefix": "<prefix string>",
"includeSubFolders": true
},
"useLabelFile": false
}
Langkah berikutnya
Sekarang setelah Anda mempelajari cara membuat himpunan data pelatihan, ikuti panduan memulai cepat untuk melatih model Kecerdasan Dokumen khusus dan mulailah menggunakannya pada formulir Anda.