Menyebarkan dan menguji model pemahaman bahasa percakapan

Setelah pelatihan model selesai, Anda dapat melihat detail model Anda dan melihat seberapa baik performanya terhadap set pengujian.

Catatan

Menggunakan opsi Memisahkan set pengujian dari data pelatihan secara otomatis dapat menghasilkan hasil evaluasi model yang berbeda setiap kali Anda melatih model baru, karena set pengujian dipilih secara acak dari ucapan Anda. Untuk memastikan bahwa evaluasi dihitung pada set pengujian yang sama setiap kali Anda melatih model, pastikan untuk menggunakan opsi Gunakan pemisahan data pelatihan dan pengujian secara manual saat memulai pekerjaan pelatihan dan tentukan Set pengujian saat menambahkan ucapan Anda.

Prasyarat

Sebelum melihat evaluasi model, Anda perlu:

• Proyek yang berhasil dibuat proyek.
• Model yang berhasil dilatih.

Lihat siklus hidup pengembangan proyek untuk informasi selengkapnya.

Detail model

Language Studio

1. Buka halaman proyek Anda di Language Studio.

2. Pilih Performa model dari menu di sisi kiri layar.

3. Di halaman ini Anda hanya dapat menampilkan model yang berhasil dilatih, skor F1 untuk setiap model dan tanggal kedaluwarsa model. Anda dapat memilih nama model untuk detail selengkapnya tentang performanya. Model hanya menyertakan detail evaluasi jika ada data pengujian yang dipilih saat melatih model.

Gambaran Umum

• Di tab ini Anda dapat melihat detail model seperti: skor F1, presisi, pengenalan, tanggal dan waktu untuk pekerjaan pelatihan, total waktu pelatihan dan jumlah ungkapan pelatihan dan pengujian yang disertakan dalam pekerjaan pelatihan ini. Anda dapat melihat detail antara niat atau entitas dengan memilih Jenis Model di bagian atas.

  

• Anda juga akan melihat panduan tentang cara meningkatkan model. Saat mengeklik detail tampilan, panel samping akan terbuka untuk memberikan panduan lebih lanjut tentang cara meningkatkan model.

  

Performa jenis model

• Ini adalah snapshot tentang performa model Anda selama pengujian. Metrik di sini statis dan terkait dengan model Anda, sehingga metrik tidak akan diperbarui sampai Anda berlatih lagi.

• Anda dapat melihat untuk setiap niat atau entitas presisi, pengenalan, skor F1, jumlah label pelatihan dan pengujian. Entitas yang tidak menyertakan komponen yang dipelajari tidak akan menampilkan label pelatihan. Komponen yang dipelajari hanya ditambahkan dengan menambahkan label di set pelatihan Anda.

  

Detail set pengujian

• Di sini Anda akan melihat ucapan yang disertakan dalam set pengujian dan prediksi niat atau entitasnya. Anda hanya dapat menggunakan tombol Perlihatkan kesalahan untuk hanya menampilkan ucapan di mana ada prediksi yang berbeda dari labelnya, atau membatalkan pilihan tombol untuk melihat semua ucapan dalam set pengujian. Anda juga dapat mengalihkan tampilan antara Menampilkan label entitas sebagai tampilan untuk setiap ucapan, atau Menampilkan prediksi entitas. Prediksi entitas ditampilkan sebagai garis putus-putus dan label ditampilkan sebagai garis padat.

• Anda dapat memperluas setiap baris untuk melihat prediksi niat atau entitasnya, yang ditentukan oleh kolom Jenis Model . Kolom Teks memperlihatkan teks entitas yang diprediksi atau diberi label. Setiap baris memiliki kolom Berlabel sebagai untuk menunjukkan label dalam set pengujian, dan Diprediksi sebagai kolom untuk menunjukkan prediksi aktual. Selain itu, Anda akan melihat apakah itu positif benar, positif palsu , atau negatif palsu di kolom Jenis Hasil .

  

Distribusi himpunan data

Rekam jepret ini menunjukkan bagaimana niat atau entitas didistribusikan di seluruh set pelatihan dan pengujian Anda. Data ini statis dan terkait dengan model Anda, sehingga tidak akan diperbarui sampai Anda berlatih lagi. Entitas yang tidak menyertakan komponen yang dipelajari tidak akan menampilkan label pelatihan. Komponen yang dipelajari hanya ditambahkan dengan menambahkan label di set pelatihan Anda.

Matriks kebingungan

Matriks kebingungan adalah matriks N x N yang digunakan untuk mengevaluasi performa model Anda, di mana N adalah jumlah niat atau entitas target. Matriks membandingkan label yang diharapkan dengan yang diprediksi oleh model untuk mengidentifikasi niat atau entitas mana yang salah diklasifikasikan sebagai niat dan entitas lain. Anda dapat mengklik sel mana pun dari matriks kebingungan untuk mengidentifikasi dengan tepat ucapan mana yang berkontribusi pada nilai dalam sel tersebut.

Anda dapat melihat matriks kebingungan niat dalam jumlah mentah atau tampilan yang dinormalisasi . Jumlah mentah adalah jumlah aktual ucapan yang telah diprediksi dan diberi label untuk serangkaian niat. Nilai yang dinormalisasi adalah rasio, antara 0 dan 1, dari ucapan yang diprediksi dan diberi label untuk serangkaian niat.

Anda dapat melihat matriks kebingungan entitas dalam jumlah tumpang tindih karakter atau tampilan tumpang tindih karakter yang dinormalisasi . Jumlah tumpang tindih karakter adalah jumlah rentang aktual yang telah diprediksi dan diberi label untuk sekumpulan entitas. Tumpang tindih karakter yang dinormalisasi adalah rasio, antara 0 dan 1, dari rentang yang diprediksi dan diberi label untuk sekumpulan entitas. Terkadang entitas dapat diprediksi atau diberi label sebagian, yang mengarah ke nilai desimal dalam matriks kebingungan.

• Semua nilai: Akan menampilkan matriks kebingungan untuk semua niat atau entitas.

• Hanya kesalahan: Akan menampilkan matriks kebingungan untuk niat atau entitas dengan kesalahan saja.

• Hanya kecocokan: Akan menampilkan matriks kebingungan untuk niat atau entitas dengan prediksi yang benar saja.

REST API

Buat permintaan GET menggunakan URL, header, dan isi JSON berikut untuk mendapatkan ringkasan evaluasi model terlatih.

Ringkasan Model

API ini mengembalikan ringkasan hasil evaluasi model Anda, termasuk matriks presisi, pengenalan, F1, dan kebingungan niat dan entitas Anda.

URL Permintaan

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	myProject
{trainedModelLabel}	Nama untuk model terlatih Anda. Nilai ini peka huruf besar/kecil.	Model1
{API-VERSION}	Versi API yang Anda panggil.	2023-04-01

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Isi Respons

Setelah mengirim permintaan, Anda akan mendapatkan respons berikut.

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "intents": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Hasil Model

API ini mengembalikan hasil individual untuk setiap ucapan termasuk prediksi yang diharapkan dan aktual untuk niat dan entitas.

URL Permintaan

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/result?top={top}&skip={skip}&maxpagesize={maxpagesize}&api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	myProject
{trainedModelLabel}	Nama untuk model terlatih Anda. Nilai ini peka huruf besar/kecil.	Model1
{API-VERSION}	Versi API yang Anda panggil.	2023-04-01
{top}	Jumlah maksimum ucapan yang akan dikembalikan dari koleksi. Opsional.	100
{skip}	Offset ke dalam koleksi ucapan pertama yang akan dikembalikan. Pilihan.	100
{maxpagesize}	Jumlah maksimum ucapan untuk disertakan dalam satu respons. Opsional	100

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Isi Respons

Setelah mengirim permintaan, Anda akan mendapatkan respons berikut.

{
  "value": [
    {
      "text": "send the email",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [],
        "predictedEntities": []
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "send a mail to daniel",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 15,
            "length": 6
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 15,
            "length": 6
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "i forgot to add an important part to that email to james . please set it up to edit",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 51,
            "length": 5
          }
        ],
        "predictedEntities": [
          {
            "category": "Category",
            "offset": 19,
            "length": 9
          },
          {
            "category": "ContactName",
            "offset": 51,
            "length": 5
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "AddMore",
        "predictedIntent": "AddMore"
      }
    },
    {
      "text": "send email to a and tian",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 14,
            "length": 1
          },
          {
            "category": "ContactName",
            "offset": 20,
            "length": 4
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 14,
            "length": 1
          },
          {
            "category": "ContactName",
            "offset": 20,
            "length": 4
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "send thomas an email",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 5,
            "length": 6
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 5,
            "length": 6
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "i need to add more to the email message i am sending to vincent",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 56,
            "length": 7
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 56,
            "length": 7
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "AddMore",
        "predictedIntent": "AddMore"
      }
    },
    {
      "text": "send an email to lily roth and abc123@microsoft.com",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 9
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 9
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "i need to add something else to my email to cheryl",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 44,
            "length": 6
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 44,
            "length": 6
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "AddMore",
        "predictedIntent": "AddMore"
      }
    },
    {
      "text": "send an email to larry , joseph and billy larkson",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 5
          },
          {
            "category": "ContactName",
            "offset": 25,
            "length": 6
          },
          {
            "category": "ContactName",
            "offset": 36,
            "length": 13
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 5
          },
          {
            "category": "ContactName",
            "offset": 25,
            "length": 6
          },
          {
            "category": "ContactName",
            "offset": 36,
            "length": 13
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "send mail to dorothy",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 13,
            "length": 7
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 13,
            "length": 7
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    }
  ],
  "nextLink": "{Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/result/?api-version=2022-10-01-preview&top={top}&skip={skip}&maxpagesize={maxpagesize}"
}

Memuat atau mengekspor data model

Language Studio

Untuk memuat data model Anda:

1. Pilih model apa pun di halaman evaluasi model .

2. Pilih tombol Muat data model .

3. Konfirmasikan bahwa Anda tidak memiliki perubahan yang belum disimpan yang perlu Anda ambil di jendela yang muncul, dan pilih Muat data.

4. Tunggu hingga data model Anda selesai dimuat kembali ke proyek Anda. Setelah selesai, Anda akan diarahkan kembali ke halaman Desain skema .

Untuk mengekspor data model Anda:

1. Pilih model apa pun di halaman evaluasi model .

2. Pilih tombol Ekspor data model . Tunggu hingga rekam jepret JSON model Anda diunduh secara lokal.

REST API

Memuat data model

Buat permintaan POST menggunakan URL, header, dan isi JSON berikut untuk memuat data model Anda ke proyek Anda.

URL Permintaan

Gunakan URL berikut saat membuat permintaan API Anda. Ganti nilai tempat penampung di bawah ini dengan nilai Anda sendiri.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	EmailApp
{API-VERSION}	Versi API yang Anda panggil.	2022-10-01-preview
{MODEL-NAME}	Nama model Anda. Nilai ini peka huruf besar/kecil.	v1

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Setelah mengirim permintaan API, Anda akan menerima respons 202 yang menunjukkan keberhasilan. Di header respons, ekstrak nilai operation-location. Nilai ini akan diformat seperti ini:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID digunakan untuk mengidentifikasi permintaan Anda, karena operasi ini tidak asinkron. Gunakan URL ini untuk mendapatkan status pemuatan data model Anda, menggunakan metode autentikasi yang sama.

Mengekspor data model

Buat permintaan POST menggunakan URL, header, dan isi JSON berikut untuk mengekspor data model Anda.

URL Permintaan

Gunakan URL berikut saat membuat permintaan API Anda. Ganti nilai tempat penampung di bawah ini dengan nilai Anda sendiri.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Tempat penampung	Nilai	Contoh
{ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	EmailApp
{API-VERSION}	Versi API yang Anda panggil.	2022-10-01-preview
{MODEL-NAME}	Nama model Anda. Nilai ini peka huruf besar/kecil.	v1

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Setelah mengirim permintaan API, Anda akan menerima respons 202 yang menunjukkan keberhasilan. Di header respons, ekstrak nilai operation-location. Nilai ini akan diformat seperti ini:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID digunakan untuk mengidentifikasi permintaan Anda, karena operasi ini tidak asinkron. Gunakan URL ini untuk mendapatkan JSON proyek yang diekspor, menggunakan metode autentikasi yang sama.

Menghapus model

Language Studio

Untuk menghapus model Anda dari dalam Language Studio:

1. Pilih Performa model dari menu sebelah kiri.

2. Pilih nama model yang ingin Anda hapus dan pilih Hapus dari menu atas.

3. Di jendela yang muncul, pilih OK untuk menghapus model.

REST API

Buat permintaan DELETE menggunakan URL, header, dan isi JSON berikut untuk menghapus model.

URL Permintaan

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}?api-version={API-VERSION}

Tempat penampung	Nilai	Contoh
{YOUR-ENDPOINT}	Titik akhir untuk mengautentikasi permintaan API Anda.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Nama untuk proyek Anda. Nilai ini peka huruf besar/kecil.	myProject
{trainedModelLabel}	Nama untuk nama model Anda. Nilai ini peka huruf besar/kecil.	model1
{API-VERSION}	Versi API yang Anda panggil.	2023-04-01

Header

Gunakan header berikut untuk mengautentikasi permintaan Anda.

Kunci	Nilai
Ocp-Apim-Subscription-Key	Kunci sumber daya Anda. Digunakan untuk mengautentikasi permintaan API Anda.

Setelah Anda mengirim permintaan API, Anda akan menerima respons 204 yang menunjukkan keberhasilan, yang berarti model Anda telah dihapus.

Langkah berikutnya

• Saat Anda meninjau performa model Anda, pelajari tentang metrik evaluasi yang digunakan.
• Jika Anda puas dengan performa model Anda, Anda dapat menyebarkan model Anda