Melihat evaluasi dan detail model klasifikasi teks Anda

Setelah model Anda selesai pelatihan, Anda dapat melihat performa model dan melihat kelas yang diprediksi untuk dokumen dalam set pengujian.

Catatan

Menggunakan opsi Memisahkan set pengujian dari data pelatihan secara otomatis dapat menghasilkan hasil evaluasi model yang berbeda setiap kali Anda melatih model baru, karena set pengujian dipilih secara acak dari data. Untuk memastikan bahwa evaluasi dihitung pada set pengujian yang sama setiap kali Anda melatih model, pastikan untuk menggunakan opsi Menggunakan pemisahan data pelatihan dan pengujian secara manual saat memulai pekerjaan pelatihan dan tentukan Pengujian dokumen saat melabeli data.

Prasyarat

Sebelum melihat evaluasi model, Anda memerlukan:

• Proyek klasifikasi teks khusus dengan akun penyimpanan blob Azure yang dikonfigurasi.
• Data teks yang telah diunggah ke akun penyimpanan Anda.
• Data berlabel
• Model yang berhasil dilatih

Lihat siklus hidup pengembangan proyek untuk informasi selengkapnya.

Detail model

Language Studio

1. Buka halaman proyek Anda di Language Studio.

2. Pilih Performa model dari menu di sisi kiri layar.

3. Di halaman ini Anda hanya dapat melihat model yang berhasil dilatih, skor F1 untuk setiap model dan tanggal kedaluwarsa model. Anda dapat memilih nama model untuk detail selengkapnya tentang performanya.

Catatan

Kelas yang tidak dilabeli atau diprediksi dalam set pengujian tidak akan menjadi bagian dari hasil yang ditampilkan.

Gambaran Umum

• Di tab ini Anda dapat melihat detail model seperti: Skor F1, presisi, pengenalan, tanggal dan waktu untuk tugas pelatihan, total waktu pelatihan dan jumlah dokumen pelatihan dan pengujian yang disertakan dalam pekerjaan pelatihan ini.

  

• Anda juga akan melihat panduan tentang cara meningkatkan model. Saat mengeklik detail tampilan, panel samping akan terbuka untuk memberikan panduan lebih lanjut tentang cara meningkatkan model. Dalam contoh ini, tidak ada cukup data dalam set pelatihan untuk kelas-kelas ini. Selain itu, ada perbedaan yang tidak jelas antara jenis kelas dalam set pelatihan, di mana dua kelas dikacaukan satu sama lain. Dengan mengeklik kelas yang membingungkan, Anda akan dibawa ke halaman pelabelan data untuk memberi label lebih banyak data dengan kelas yang benar.

  

  Pelajari selengkapnya tentang panduan model dan matriks kebingungan dalam konsep performa model.

Performa jenis kelas

• Ini adalah snapshot tentang performa model Anda selama pengujian. Metrik di sini statis dan terkait dengan model Anda, sehingga metrik tidak akan diperbarui sampai Anda berlatih lagi.

• Anda dapat melihat presisi, pengenalan, skor F1, dan jumlah label pelatihan dan pengujian untuk setiap kelas.

  

Detail set pengujian

• Di sini Anda akan melihat dokumen yang disertakan dalam set pengujian dan kelas hasil untuk setiap dokumen. Anda dapat menggunakan tombol dwiarah Perlihatkan hanya ketidakcocokan untuk menunjukkan hanya dokumen dengan ketidakcocokan, atau membatalkan pilihan tombol dwiarah untuk menampilkan semua dokumen dalam set pengujian.

• Untuk setiap dokumen, Anda dapat melihat: teks berlabel, kelas berlabel masing-masing, dan kelas apa yang diprediksi. Selain itu, Anda akan melihat apakah hal ini positif benar, positif palsu, atau negatif palsu.

  

Distribusi himpunan data

Snapshot ini menunjukkan bagaimana entitas didistribusikan di seluruh set pelatihan dan pengujian Anda. Data ini statis dan terkait dengan model Anda, sehingga tidak akan diperbarui sampai Anda berlatih lagi.

• Anda dapat melihat distribusi himpunan data dalam tampilan grafik atau tabel.

Tampilan Graph

Dokumen dengan setidaknya satu label: Tampilan ini akan ditampilkan untuk setiap kelas, jumlah kemunculan untuk kelas ini di seluruh set pelatihan dan pengujian.

Tampilan tabel

Untuk setiap kelas, Anda dapat melihat: dokumen yang diberi tag dalam set pelatihan, dokumen yang diberi tag dalam kumpulan pengujian, dan total dokumen yang ditandai.

Matriks kebingungan

Catatan

Matriks Confusion tidak tersedia untuk proyek multi klasifikasi.

Matriks Confusion adalah matriks N x N yang digunakan untuk evaluasi performa model, di mana N adalah jumlah kelas target. Matriks membandingkan nilai target aktual dengan yang diprediksi oleh model pembelajaran mesin untuk menunjukkan seberapa baik performa model ekstraksi dan jenis kesalahan apa yang dibuatnya.

Anda dapat melihat matriks kebingungan dalam tampilan jumlah mentah atau yang dinormalisasi.

• Semua nilai: Akan menampilkan matriks confusion untuk semua kelas.

• Hanya kesalahan: Akan menampilkan matriks confusion untuk kelas hanya dengan kesalahan.

• Hanya kecocokan: Akan menampilkan matriks confusion untuk kelas dengan prediksi yang benar saja.

REST API

Klasifikasi label tunggal

Kirim permintaan GET menggunakan URL, header, dan isi JSON berikut untuk mendapatkan ringkasan evaluasi model terlatih.

URL Permintaan

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	myProject
{trainedModelLabel}	Nama untuk model terlatih Anda. Nilai ini peka huruf besar/kecil.	Model1
{API-VERSION}	Versi API yang Anda panggil. Nilai yang dirujuk di sini adalah untuk versi terbaru yang dirilis. Pelajari selengkapnya tentang versi API lain yang tersedia	2022-05-01

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Isi Respons

Setelah mengirim permintaan, Anda akan mendapatkan respons berikut.

{
  "projectKind": "customSingleLabelClassification",
  "customSingleLabelClassificationEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "classes": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Klasifikasi multi-label

Kirim permintaan GET menggunakan URL, header, dan isi JSON berikut untuk mendapatkan ringkasan evaluasi model terlatih.

URL Permintaan

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	myProject
{trainedModelLabel}	Nama untuk model terlatih Anda. Nilai ini peka huruf besar/kecil.	Model1
{API-VERSION}	Versi API yang Anda panggil. Nilai yang dirujuk di sini adalah untuk versi terbaru yang dirilis. Pelajari selengkapnya tentang versi API lain yang tersedia	2022-05-01

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Isi Respons

Setelah mengirim permintaan, Anda akan mendapatkan respons berikut.

{
  "projectKind": "customMultiLabelClassification",
  "customMultiLabelClassificationEvaluation": {
    "classes": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Memuat atau mengekspor data model

Language Studio

Untuk memuat data model Anda:

1. Pilih model apa pun di halaman evaluasi model .

2. Pilih tombol Muat data model .

3. Konfirmasikan bahwa Anda tidak memiliki perubahan yang belum disimpan yang perlu Anda ambil di jendela yang muncul, dan pilih Muat data.

4. Tunggu hingga data model Anda selesai dimuat kembali ke proyek Anda. Setelah selesai, Anda akan diarahkan kembali ke halaman Desain skema .

Untuk mengekspor data model Anda:

1. Pilih model apa pun di halaman evaluasi model .

2. Pilih tombol Ekspor data model . Tunggu hingga rekam jepret JSON model Anda diunduh secara lokal.

REST API

Memuat data model

Buat permintaan POST menggunakan URL, header, dan isi JSON berikut untuk memuat data model Anda ke proyek Anda.

URL Permintaan

Gunakan URL berikut saat membuat permintaan API Anda. Ganti nilai tempat penampung di bawah ini dengan nilai Anda sendiri.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	EmailApp
{API-VERSION}	Versi API yang Anda panggil.	2022-10-01-preview
{MODEL-NAME}	Nama model Anda. Nilai ini peka huruf besar/kecil.	v1

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Setelah mengirim permintaan API, Anda akan menerima respons 202 yang menunjukkan keberhasilan. Di header respons, ekstrak nilai operation-location. Nilai ini akan diformat seperti ini:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID digunakan untuk mengidentifikasi permintaan Anda, karena operasi ini tidak asinkron. Gunakan URL ini untuk mendapatkan status pemuatan data model Anda, menggunakan metode autentikasi yang sama.

Mengekspor data model

Buat permintaan POST menggunakan URL, header, dan isi JSON berikut untuk mengekspor data model Anda.

URL Permintaan

Gunakan URL berikut saat membuat permintaan API Anda. Ganti nilai tempat penampung di bawah ini dengan nilai Anda sendiri.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	EmailApp
{API-VERSION}	Versi API yang Anda panggil.	2022-10-01-preview
{MODEL-NAME}	Nama model Anda. Nilai ini peka huruf besar/kecil.	v1

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Setelah mengirim permintaan API, Anda akan menerima respons 202 yang menunjukkan keberhasilan. Di header respons, ekstrak nilai operation-location. Nilai ini akan diformat seperti ini:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID digunakan untuk mengidentifikasi permintaan Anda, karena operasi ini tidak asinkron. Gunakan URL ini untuk mendapatkan JSON proyek yang diekspor, menggunakan metode autentikasi yang sama.

Menghapus model

Language Studio

Untuk menghapus model Anda dari dalam Language Studio:

1. Pilih Performa model dari menu sebelah kiri.

2. Pilih nama model yang ingin Anda hapus dan pilih Hapus dari menu atas.

3. Di jendela yang muncul, pilih OK untuk menghapus model.

REST API

Buat permintaan DELETE menggunakan URL, header, dan isi JSON berikut untuk menghapus model terlatih.

URL Permintaan

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	myProject
{trainedModelLabel}	Nama untuk nama model Anda. Nilai ini peka huruf besar/kecil.	model1
{API-VERSION}	Versi API yang Anda panggil. Nilai yang dirujuk di sini adalah untuk versi terbaru yang dirilis. Pelajari selengkapnya tentang versi API lain yang tersedia	2022-05-01

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Setelah mengirim permintaan API, Anda akan menerima respons 204 yang menunjukkan keberhasilan, yang berarti model terlatih Anda telah dihapus.

Langkah berikutnya

Saat Anda meninjau performa model Anda, pelajari tentang metrik evaluasi yang digunakan. Setelah Anda mengetahui apakah performa model Anda perlu ditingkatkan, Anda dapat mulai meningkatkan model.