Latih model pengenalan entitas bernama kustom Anda

Pelatihan adalah proses di mana model belajar dari data berlabel Anda. Setelah pelatihan selesai, Anda akan dapat melihat performa model untuk menentukan apakah Anda perlu meningkatkan model Anda.

Untuk melatih model, Anda memulai pekerjaan pelatihan dan hanya pekerjaan yang berhasil diselesaikan yang membuat model. Pekerjaan pelatihan kedaluwarsa setelah tujuh hari, yang berarti Anda tidak akan dapat mengambil detail pekerjaan setelah waktu ini. Jika pekerjaan pelatihan Anda terselesaikan dengan sukses dan model dibuat, maka model tersebut tidak terpengaruh. Anda hanya dapat memiliki satu pekerjaan pelatihan yang berjalan pada satu waktu, dan Anda tidak dapat memulai pekerjaan lain dalam proyek yang sama.

Waktu pelatihan bervariasi. Pelatihan dapat dilakukan dari beberapa menit, saat berhadapan dengan beberapa dokumen, atau beberapa jam, tergantung pada ukuran himpunan data dan kompleksitas skema Anda.

Prasyarat

• Proyek yang berhasil dibuat dengan akun penyimpanan blob Azure yang dikonfigurasi
• Data teks yang diunggah ke akun penyimpanan Anda.
• Data berlabel

Lihat siklus hidup pengembangan proyek.

Pemisahan data

Sebelum Anda memulai proses pelatihan, dokumen berlabel dalam proyek Anda dibagi menjadi set pelatihan dan set pengujian. Masing-masing dari mereka melayani fungsi yang berbeda. Set pelatihan digunakan dalam melatih model. Ini adalah kumpulan yang digunakan oleh model untuk mempelajari entitas berlabel dan menentukan rentang teks yang akan diekstraksi sebagai entitas. Set pengujian adalah set yang tidak terlihat yang tidak diperkenalkan ke model selama pelatihan, namun hanya diperkenalkan saat evaluasi. Setelah pelatihan model berhasil diselesaikan, model digunakan untuk membuat prediksi dari dokumen pengujian dan metrik evaluasi dihitung. Kami menyarankan agar Anda memastikan bahwa semua entitas Anda diwakili secara memadai dalam set pelatihan dan pengujian.

NER Kustom mendukung dua metode untuk pemisahan data:

• Secara otomatis memisahkan set pengujian dari data pelatihan: Sistem membagi data berlabel Anda antara set pelatihan dan pengujian, sesuai dengan persentase yang Anda pilih. Pembagian persentase yang disarankan adalah 80% untuk pelatihan dan 20% untuk pengujian.

Catatan

Jika Anda memilih opsi Pemisahan set pengujian secara otomatis dari data pelatihan , hanya data yang ditetapkan ke set pelatihan yang dipisahkan sesuai dengan persentase yang disediakan.

• Gunakan pemisahan manual data pelatihan dan pengujian: Metode ini memungkinkan pengguna untuk menentukan dokumen berlabel mana yang harus termasuk dalam set mana. Langkah ini hanya diaktifkan jika Anda menambahkan dokumen ke kumpulan pengujian selama pelabelan data.

Melatih model

Studio bahasa

Untuk mulai melatih model Anda dari dalam Language Studio:

1. Pilih Pekerjaan pelatihan dari menu sebelah kiri.

2. Pilih Mulai pekerjaan pelatihan dari menu atas.

3. Pilih Latih model baru dan ketik nama model di kotak teks. Anda juga dapat mengganti model yang ada dengan mengklik opsi ini dan memilih model yang ingin Anda ganti dari menu drop-down. Mengganti model yang sudah dilatih bersifat permanen, tetapi tidak memengaruhi model yang Anda terapkan sampai Anda menerapkan model baru.

   

4. Pilih metode pemisahan data. Anda dapat memilih Memisahkan set pengujian secara otomatis dari data pelatihan di mana sistem membagi data berlabel Anda antara set pelatihan dan pengujian, sesuai dengan persentase yang ditentukan. Atau Anda dapat Menggunakan pemisahan manual data pelatihan dan pengujian, opsi ini hanya diaktifkan jika Anda menambahkan dokumen ke kumpulan pengujian selama pelabelan data. Lihat Cara melatih model untuk informasi tentang pemisahan data.

5. Pilih tombol Latih.

6. Jika Anda memilih ID Pekerjaan Pelatihan dari daftar, panel samping muncul di mana Anda dapat memeriksa kemajuan Pelatihan, Status pekerjaan, dan detail lainnya untuk pekerjaan ini.

   Catatan

   • Hanya pekerjaan pelatihan yang berhasil diselesaikan yang menghasilkan model.
   • Pelatihan dapat memakan waktu antara beberapa menit dan beberapa jam berdasarkan ukuran data berlabel Anda.
   • Anda hanya dapat memiliki satu pekerjaan pelatihan yang berjalan pada satu waktu. Anda tidak dapat memulai pekerjaan pelatihan lain dalam proyek yang sama sampai pekerjaan yang sedang berjalan selesai.

REST API

Mulai pekerjaan pelatihan

Kirim permintaan POST menggunakan URL, header, dan isi JSON berikut untuk mengirimkan pekerjaan pelatihan. Gantilah nilai placeholder dengan nilai Anda sendiri.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:train?api-version={API-VERSION}

Placeholder	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama proyek Anda. Nilai ini sensitif terhadap huruf besar/kecil.	myProject
{API-VERSION}	Versi API yang Anda panggil. Nilai yang dirujuk adalah untuk versi terbaru yang dirilis. Untuk informasi selengkapnya, lihatSiklus hidup model.	2022-05-01

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Isi permintaan

Gunakan JSON berikut di isi permintaan Anda. Model disajikan sebagai {MODEL-NAME} setelah pelatihan selesai. Hanya pekerjaan pelatihan yang berhasil menghasilkan model.

{
    "modelLabel": "{MODEL-NAME}",
    "trainingConfigVersion": "{CONFIG-VERSION}",
    "evaluationOptions": {
        "kind": "percentage",
        "trainingSplitPercentage": 80,
        "testingSplitPercentage": 20
    }
}

Kunci	Placeholder	Nilai	Contoh
modelLabel	{MODEL-NAME}	Nama model yang ditetapkan ke model Anda setelah berhasil dilatih.	myModel
trainingConfigVersion	{CONFIG-VERSION}	Ini adalah versi model yang digunakan untuk melatih model.	2022-05-01
opsiEvaluasi		Opsi untuk membagi data Anda di seluruh set pelatihan dan pengujian.	{}
jenis	percentage	Metode pemisahan. Nilai yang mungkin adalah percentage atau manual. Untuk informasi selengkapnya, lihatCara melatih model.	percentage
Persentase Pembagian Pelatihan	80	Persentase data Anda yang diberi tag untuk disertakan dalam set pelatihan. Nilai yang disarankan adalah 80.	80
testingSplitPercentage	20	Persentase data Anda yang diberi tag untuk disertakan dalam set pengujian. Nilai yang disarankan adalah 20.	20

Catatan

trainingSplitPercentage dan testingSplitPercentage hanya diperlukan jika Kind diatur ke percentage dan jumlah kedua persentase harus sama dengan 100.

Setelah mengirim permintaan API, Anda menerima respons yang 202 menunjukkan bahwa pekerjaan dikirimkan dengan benar. Di header respons, ekstrak nilai yang diformat location seperti ini:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

{JOB-ID} digunakan untuk mengidentifikasi permintaan Anda, karena operasi ini tidak asinkron. Anda dapat menggunakan URL ini untuk mendapatkan status pelatihan.

Dapatkan status tugas pelatihan

Pelatihan dapat memakan waktu, tergantung pada ukuran data pelatihan dan kompleksitas skema Anda. Anda dapat menggunakan permintaan berikut untuk terus memeriksa status pekerjaan pelatihan hingga selesai dengan sukses.

Gunakan permintaan GET berikut untuk mendapatkan status kemajuan pelatihan model Anda. Gantilah nilai placeholder dengan nilai Anda sendiri.

URL Permintaan

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}?api-version={API-VERSION}

Placeholder	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama proyek Anda. Nilai ini sensitif terhadap huruf besar/kecil.	myProject
{JOB-ID}	ID untuk menemukan status pelatihan model Anda. Nilai ini ada di nilai header location yang Anda terima pada langkah sebelumnya.	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxx
{API-VERSION}	Versi API yang Anda panggil. Nilai yang dirujuk adalah untuk versi terbaru yang dirilis. Untuk informasi selengkapnya, lihatSiklus hidup model.	2022-05-01

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Isi Respons

Setelah mengirim permintaan, Anda mendapatkan respons berikut.

{
  "result": {
    "modelLabel": "{MODEL-NAME}",
    "trainingConfigVersion": "{CONFIG-VERSION}",
    "estimatedEndDateTime": "2022-04-18T15:47:58.8190649Z",
    "trainingStatus": {
      "percentComplete": 3,
      "startDateTime": "2022-04-18T15:45:06.8190649Z",
      "status": "running"
    },
    "evaluationStatus": {
      "percentComplete": 0,
      "status": "notStarted"
    }
  },
  "jobId": "{JOB-ID}",
  "createdDateTime": "2022-04-18T15:44:44Z",
  "lastUpdatedDateTime": "2022-04-18T15:45:48Z",
  "expirationDateTime": "2022-04-25T15:44:44Z",
  "status": "running"
}

Membatalkan pekerjaan pelatihan

Studio Bahasa

Untuk membatalkan pekerjaan pelatihan dari Language Studio, buka halaman Pekerjaan pelatihan. Pilih pekerjaan pelatihan yang ingin Anda batalkan dan pilih Batalkan dari menu atas.

REST API

Buat permintaan POST menggunakan URL, header, dan isi JSON berikut untuk membatalkan pekerjaan pelatihan.

URL Permintaan

Gunakan URL berikut saat membuat permintaan API Anda. Gantilah nilai placeholder dengan nilai Anda sendiri.

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/train/jobs/{JOB-ID}/:cancel?api-version={API-VERSION}

Placeholder	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini sensitif terhadap huruf besar/kecil.	EmailApp
{JOB-ID}	Nilai ini adalah ID pekerjaan pelatihan.	XXXXX-XXXXX-XXXX-XX
{API-VERSION}	Versi API yang Anda panggil. Nilai yang dirujuk adalah untuk versi model terbaru yang dirilis.	2022-05-01

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Setelah mengirim permintaan API, Anda menerima respons 202 dengan header Operation-Location yang digunakan untuk memeriksa status tugas.

Langkah berikutnya

Setelah pelatihan selesai, Anda akan dapat melihat performa model untuk secara opsional meningkatkan model Anda jika diperlukan. Setelah puas dengan model Anda, Anda dapat menyebarkan model tersebut, membuatnya tersedia untuk digunakan untuk mengekstraksi entitas dari teks.