Lihat evaluasi dan detail model NER kustom

Setelah model Anda menyelesaikan pelatihan, Anda dapat melihat performa model dan melihat entitas yang diekstraksi untuk dokumen di set pengujian.

Catatan

Menggunakan opsi Memisahkan set pengujian dari data pelatihan secara otomatis dapat menghasilkan hasil evaluasi model yang berbeda setiap kali Anda melatih model baru, karena set pengujian dipilih secara acak dari data. Untuk memastikan bahwa evaluasi dihitung pada set pengujian yang sama setiap kali Anda melatih model, pastikan untuk menggunakan opsi Gunakan pemisahan data pelatihan dan pengujian secara manual saat memulai pekerjaan pelatihan dan tentukan dokumen Pengujian Anda saat melabeli data.

Prasyarat

Sebelum melihat evaluasi model, Anda memerlukan:

• Proyek yang berhasil dibuat dengan akun penyimpanan blob Azure yang dikonfigurasi.
• Data teks yang telah diunggah ke akun penyimpanan Anda.
• Data berlabel
• Model yang berhasil dilatih

Lihat siklus hidup pengembangan proyek untuk informasi selengkapnya.

Detail model

Language Studio

1. Buka halaman proyek Anda di Language Studio.

2. Pilih Performa model dari menu di sisi kiri layar.

3. Di halaman ini Anda hanya dapat melihat model yang berhasil dilatih, skor F1 untuk setiap model dan tanggal kedaluwarsa model. Anda dapat memilih nama model untuk detail selengkapnya tentang performanya.

Catatan

Entitas yang tidak dilabeli atau diprediksi dalam set pengujian tidak akan menjadi bagian dari hasil yang ditampilkan.

Gambaran Umum

• Di tab ini Anda dapat melihat detail model seperti: Skor F1, presisi, pengenalan, tanggal dan waktu untuk tugas pelatihan, total waktu pelatihan dan jumlah dokumen pelatihan dan pengujian yang disertakan dalam pekerjaan pelatihan ini.

  

• Anda juga akan melihat panduan tentang cara meningkatkan model. Saat mengeklik detail tampilan, panel samping akan terbuka untuk memberikan panduan lebih lanjut tentang cara meningkatkan model. Dalam contoh ini, entitas BorrowerAddress dan BorrowerName dikacaukan dengan entitas $none. Dengan mengeklik entitas yang membingungkan, Anda akan dibawa ke halaman pelabelan data untuk memberi label lebih banyak data dengan entitas yang benar.

  

  Pelajari selengkapnya tentang panduan model dan matriks kebingungan dalam konsep performa model.

Performa jenis entitas

• Ini adalah snapshot tentang performa model Anda selama pengujian. Metrik di sini statis dan terkait dengan model Anda, sehingga metrik tidak akan diperbarui sampai Anda berlatih lagi.

• Anda dapat melihat untuk setiap entitas, presisi, pengenalan, skor F1, jumlah label pelatihan dan pengujian.

  

Detail set pengujian

• Di sini Anda akan melihat dokumen yang disertakan dalam set pengujian dan jenis entitas hasil untuk setiap dokumen. Anda dapat menggunakan tombol dwiarah Perlihatkan hanya ketidakcocokan untuk menunjukkan hanya dokumen dengan ketidakcocokan, atau membatalkan pilihan tombol dwiarah untuk menampilkan semua dokumen dalam set pengujian.

• Untuk setiap dokumen, Anda dapat melihat: teks berlabel, jenis entitas berlabel masing-masing dan entitas apa yang diprediksi dengannya. Selain itu, Anda akan melihat apakah hal ini positif benar, positif palsu, atau negatif palsu.

  

Distribusi himpunan data

Snapshot ini menunjukkan bagaimana entitas didistribusikan di seluruh set pelatihan dan pengujian Anda. Data ini statis dan terkait dengan model Anda, sehingga tidak akan diperbarui sampai Anda berlatih lagi.

• Anda dapat melihat distribusi himpunan data dalam tampilan grafik atau tabel.

Tampilan Graph

• Dokumen dengan setidaknya satu label: Tampilan ini akan ditampilkan untuk setiap entitas, jumlah kemunculan untuk entitas ini di seluruh set pelatihan dan pengujian.

• Total instans di seluruh dokumen: Tampilan ini akan ditampilkan untuk setiap entitas, kemunculan berlabel di seluruh set pelatihan dan pengujian.

  

Tampilan tabel

Untuk setiap entitas, Anda dapat melihat: tag per entitas dalam set pelatihan, dokumen yang ditandai dalam set pelatihan, tag per entitas dalam set pengujian, dokumen yang ditandai dalam kumpulan pengujian, tag per total entitas, dan total dokumen yang ditandai.

Matriks kebingungan

Matriks Confusion adalah matriks N x N yang digunakan untuk evaluasi performa model, di mana N adalah jumlah kelas target. Matriks membandingkan nilai target aktual dengan yang diprediksi oleh model pembelajaran mesin untuk menunjukkan seberapa baik performa model ekstraksi dan jenis kesalahan apa yang dibuatnya.

Anda dapat melihat matriks kebingungan dalam tampilan jumlah mentah atau yang dinormalisasi.

• Semua nilai: Akan menampilkan matriks confusion untuk semua entitas.

• Hanya kesalahan: Akan menampilkan matriks confusion untuk kelas hanya dengan kesalahan.

• Hanya kecocokan: Akan menampilkan matriks confusion untuk kelas dengan prediksi yang benar saja.

REST API

Kirim permintaan GET menggunakan URL, header, dan isi JSON berikut untuk mendapatkan ringkasan evaluasi model terlatih.

URL Permintaan

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	myProject
{trainedModelLabel}	Nama untuk model terlatih Anda. Nilai ini peka huruf besar/kecil.	Model1
{API-VERSION}	Versi API yang Anda panggil. Lihat Siklus hidup model untuk mempelajari selengkapnya tentang versi API lain yang tersedia.	2022-05-01

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Isi Respons

Setelah mengirim permintaan, Anda akan mendapatkan respons berikut.

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Memuat atau mengekspor data model

Language Studio

Untuk memuat data model Anda:

1. Pilih model apa pun di halaman evaluasi model .

2. Pilih tombol Muat data model .

3. Konfirmasikan bahwa Anda tidak memiliki perubahan yang belum disimpan yang perlu Anda ambil di jendela yang muncul, dan pilih Muat data.

4. Tunggu hingga data model Anda selesai dimuat kembali ke proyek Anda. Setelah selesai, Anda akan diarahkan kembali ke halaman Desain skema .

Untuk mengekspor data model Anda:

1. Pilih model apa pun di halaman evaluasi model .

2. Pilih tombol Ekspor data model . Tunggu hingga rekam jepret JSON model Anda diunduh secara lokal.

REST API

Memuat data model

Buat permintaan POST menggunakan URL, header, dan isi JSON berikut untuk memuat data model Anda ke proyek Anda.

URL Permintaan

Gunakan URL berikut saat membuat permintaan API Anda. Ganti nilai tempat penampung di bawah ini dengan nilai Anda sendiri.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	EmailApp
{API-VERSION}	Versi API yang Anda panggil.	2022-10-01-preview
{MODEL-NAME}	Nama model Anda. Nilai ini peka huruf besar/kecil.	v1

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Setelah mengirim permintaan API, Anda akan menerima respons 202 yang menunjukkan keberhasilan. Di header respons, ekstrak nilai operation-location. Nilai ini akan diformat seperti ini:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID digunakan untuk mengidentifikasi permintaan Anda, karena operasi ini tidak asinkron. Gunakan URL ini untuk mendapatkan status pemuatan data model Anda, menggunakan metode autentikasi yang sama.

Mengekspor data model

Buat permintaan POST menggunakan URL, header, dan isi JSON berikut untuk mengekspor data model Anda.

URL Permintaan

Gunakan URL berikut saat membuat permintaan API Anda. Ganti nilai tempat penampung di bawah ini dengan nilai Anda sendiri.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	EmailApp
{API-VERSION}	Versi API yang Anda panggil.	2022-10-01-preview
{MODEL-NAME}	Nama model Anda. Nilai ini peka huruf besar/kecil.	v1

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Setelah mengirim permintaan API, Anda akan menerima respons 202 yang menunjukkan keberhasilan. Di header respons, ekstrak nilai operation-location. Nilai ini akan diformat seperti ini:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID digunakan untuk mengidentifikasi permintaan Anda, karena operasi ini tidak asinkron. Gunakan URL ini untuk mendapatkan JSON proyek yang diekspor, menggunakan metode autentikasi yang sama.

Menghapus model

Language Studio

Untuk menghapus model Anda dari dalam Language Studio:

1. Pilih Performa model dari menu sebelah kiri.

2. Pilih nama model yang ingin Anda hapus dan pilih Hapus dari menu atas.

3. Di jendela yang muncul, pilih OK untuk menghapus model.

REST API

Buat permintaan DELETE menggunakan URL, header, dan isi JSON berikut untuk menghapus model terlatih.

URL Permintaan

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	myProject
{trainedModelLabel}	Nama untuk nama model Anda. Nilai ini peka huruf besar/kecil.	model1
{API-VERSION}	Versi API yang Anda panggil. Nilai yang dirujuk di sini adalah untuk versi terbaru yang dirilis. Lihat Siklus hidup model untuk mempelajari selengkapnya tentang versi API lain yang tersedia.	2022-05-01

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Setelah mengirim permintaan API, Anda akan menerima respons 204 yang menunjukkan keberhasilan, yang berarti model terlatih Anda telah dihapus.

Langkah berikutnya

• Sebarkan model anda
• Pelajari tentang metrik yang digunakan dalam evaluasi.