Özel NER modelinin değerlendirmesini ve ayrıntılarını görüntüleme

Modeliniz eğitimi tamamladıktan sonra, model performansını görüntüleyebilir ve test kümesindeki belgeler için ayıklanan varlıkları görebilirsiniz.

Not

Test kümesini eğitim verilerinden otomatik olarak böl seçeneğinin kullanılması, test kümesi verilerden rastgele seçildiğinden her yeni modeli eğitişinizde farklı model değerlendirme sonuçlarına neden olabilir. Bir modeli her eğittiğinizde, buharlaştırmanın aynı test kümesinde hesaplandığından emin olmak için, eğitim işini başlatırken Eğitim ve test verilerinin el ile bölünmesini kullan seçeneğini kullandığınızdan ve verileri etiketlerkenTest belgelerinizi tanımladığınızdan emin olun.

Önkoşullar

Model değerlendirmesini görüntülemeden önce şunları yapmanız gerekir:

• Yapılandırılmış bir Azure blob depolama hesabıyla başarıyla oluşturulmuş bir proje .
• Depolama hesabınıza yüklenmiş metin verileri.
• Etiketli veriler
• Başarıyla eğitilmiş bir model

Daha fazla bilgi için bkz. proje geliştirme yaşam döngüsü .

Model ayrıntıları

Language Studio

1. Language Studio'da proje sayfanıza gidin.

2. Ekranın sol tarafındaki menüden Model performansı'nı seçin.

3. Bu sayfada yalnızca başarıyla eğitilen modelleri, her model için F1 puanını ve modelin son kullanma tarihini görüntüleyebilirsiniz. Performansı hakkında daha fazla ayrıntı için model adını seçebilirsiniz.

Not

Test kümesinde etiketlenmemiş veya tahmin edilmeyen varlıklar, görüntülenen sonuçların bir parçası olmayacaktır.

Genel bakış

• Bu sekmede modelin eğitim işi için F1 puanı, duyarlık, yakalama, tarih ve saat, toplam eğitim süresi ve bu eğitim işine dahil edilen eğitim ve test belgelerinin sayısı gibi ayrıntılarını görüntüleyebilirsiniz.

  

• Modelin nasıl geliştirileceğine ilişkin yönergeleri de göreceksiniz. Görünüm ayrıntılarına tıklandığında, modelin nasıl geliştirileceğine ilişkin daha fazla rehberlik sağlamak için bir yan panel açılır. Bu örnekte , BorrowerAddress ve BorrowerName varlıkları $none varlıkla karıştırılır. Kafası karışmış varlıklara tıklayarak, daha fazla veriyi doğru varlıkla etiketlemek için veri etiketleme sayfasına yönlendirilirsiniz.

  

  Model performansı kavramlarında model kılavuzu ve karışıklık matrisi hakkında daha fazla bilgi edinin.

Varlık türü performansı

• Bu, test sırasında modelinizin nasıl performans sergilediğini gösteren bir anlık görüntüdür. Buradaki ölçümler statiktir ve modelinize bağlıdır, bu nedenle siz yeniden eğitene kadar güncelleştiremezler.

• Her varlık, duyarlık, yakalama, F1 puanı, eğitim ve test etiketlerinin sayısını görebilirsiniz.

  

Test kümesi ayrıntıları

• Burada , test kümesine dahil edilen belgeleri ve her belgenin sonuç varlık türünü görürsünüz. Yalnızca uyuşmazlıkları göster iki durumlu düğmesini kullanarak yalnızca uyuşmazlıkları olan belgeleri gösterebilir veya test kümesindeki tüm belgeleri görüntülemek için iki durumlu düğmenin seçimini kaldırabilirsiniz.

• Her belge için şunları görüntüleyebilirsiniz: etiketlenmiş metin, ilgili etiketli varlık türü ve hangi varlıkla tahmin edildiği. Ayrıca, bunun gerçek pozitif mi, yanlış pozitif mi yoksa hatalı negatif mi olduğunu görürsünüz.

  

Veri kümesi dağıtımı

Bu anlık görüntüde varlıkların eğitim ve test kümelerinize nasıl dağıtıldığı gösterilir. Bu veriler statiktir ve modelinize bağlıdır, dolayısıyla siz yeniden eğitene kadar güncelleştiremez.

• Veri kümesi dağıtımını grafik veya tablo görünümünde görüntüleyebilirsiniz.

Graf görünümü

• En az bir etiketi olan belgeler: Bu görünüm her varlık için, eğitim ve test kümelerinde bu varlığın oluşum sayısını gösterir.

• Belgelerin tamamında toplam örnek: Bu görünüm, eğitim ve test kümelerindeki etiketli oluşumlar olan her varlık için gösterilir.

  

Tablo görünümü

Her varlık için şunları görüntüleyebilirsiniz: eğitim kümesindeki varlık başına etiketler, eğitim kümesindeki etiketli belgeler, test kümesindeki varlık başına etiketler, test kümesindeki etiketli belgeler, varlık toplamı başına etiketler ve toplam etiketlenmiş belgeler.

Karışıklık matrisi

Karışıklık matrisi, bir sınıflandırma modelinin performansını değerlendirmek için kullanılan bir N x N matrisidir; burada N, hedef varlıkların sayısıdır. Matris, ayıklama modelinin ne kadar iyi performans gösterdiğini ve ne tür hatalar yaptığını göstermek için gerçek hedef değerleri makine öğrenmesi modeli tarafından tahmin edilen değerlerle karşılaştırır.

Karışıklık matrisini normalleştirilmiş veya ham sayı görünümünde görüntüleyebilirsiniz.

• Tüm değerler: Tüm varlıklar için karışıklık matrisini gösterir.

• Yalnızca hatalar: Yalnızca hata içeren varlıklar için karışıklık matrisini gösterir.

• Yalnızca eşleşmeler: Yalnızca doğru tahminlere sahip varlıklar için karışıklık matrisini gösterir.

REST API'leri

Eğitilmiş model değerlendirme özetini almak için aşağıdaki URL'yi, üst bilgileri ve JSON gövdesini kullanarak bir GET isteği gönderin.

İstek URL’si

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Yer tutucu	Değer	Örnek
{ENDPOINT}	API isteğinizin kimliğini doğrulamak için uç nokta.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Projenizin adı. Bu değer büyük/küçük harfe duyarlıdır.	myProject
{trainedModelLabel}	Eğitilen modelinizin adı. Bu değer büyük/küçük harfe duyarlıdır.	Model1
{API-VERSION}	Çağırdığınız API'nin sürümü. Diğer kullanılabilir API sürümleri hakkında daha fazla bilgi edinmek için bkz. Model yaşam döngüsü .	2022-05-01

Üst Bilgiler

İsteğinizin kimliğini doğrulamak için aşağıdaki üst bilgiyi kullanın.

Anahtar	Değer
Ocp-Apim-Subscription-Key	Kaynağınızın anahtarı. API isteklerinizin kimliğini doğrulamak için kullanılır.

Yanıt Gövdesi

İsteği gönderdikten sonra aşağıdaki yanıtı alırsınız.

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Model verilerini yükleme veya dışarı aktarma

Language Studio

Model verilerinizi yüklemek için:

1. Model değerlendirme sayfasında herhangi bir modeli seçin.

2. Model verilerini yükle düğmesini seçin.

3. Görüntülenen pencerede yakalamanız gereken kaydedilmemiş değişiklik olmadığını onaylayın ve Verileri yükle'yi seçin.

4. Model verilerinizin projenize yüklenmesi bitene kadar bekleyin. Tamamlandığında Şema tasarımı sayfasına geri yönlendirilirsiniz.

Model verilerinizi dışarı aktarmak için:

1. Model değerlendirme sayfasında herhangi bir modeli seçin.

2. Model verilerini dışarı aktar düğmesini seçin. Modelinizin JSON anlık görüntüsünün yerel olarak indirilmesi için bekleyin.

REST API'leri

Model verilerini yükleme

Model verilerinizi projenize yüklemek için aşağıdaki URL'yi, üst bilgileri ve JSON gövdesini kullanarak bir POST isteği oluşturun.

İstek URL’si

API isteğinizi oluştururken aşağıdaki URL'yi kullanın. Aşağıdaki yer tutucu değerleri kendi değerlerinizle değiştirin.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Yer tutucu	Değer	Örnek
{ENDPOINT}	API isteğinizin kimliğini doğrulamak için uç nokta.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Projenizin adı. Bu değer büyük/küçük harfe duyarlıdır.	EmailApp
{API-VERSION}	Çağırdığınız API'nin sürümü.	2022-10-01-preview
{MODEL-NAME}	Modelinizin adı. Bu değer büyük/küçük harfe duyarlıdır.	v1

Üst Bilgiler

İsteğinizin kimliğini doğrulamak için aşağıdaki üst bilgiyi kullanın.

Anahtar	Değer
Ocp-Apim-Subscription-Key	Kaynağınızın anahtarı. API isteklerinizin kimliğini doğrulamak için kullanılır.

API isteğinizi gönderdikten sonra başarılı olduğunu belirten bir 202 yanıt alırsınız. Yanıt üst bilgilerinde değeri ayıklayın operation-location . Şu şekilde biçimlendirilir:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID bu işlem zaman uyumsuz olduğundan isteğinizi tanımlamak için kullanılır. Aynı kimlik doğrulama yöntemini kullanarak modelinizin veri yükleme durumunu almak için bu URL'yi kullanın.

Model verilerini dışarı aktarma

Model verilerinizi dışarı aktarmak için aşağıdaki URL'yi, üst bilgileri ve JSON gövdesini kullanarak bir POST isteği oluşturun.

İstek URL’si

API isteğinizi oluştururken aşağıdaki URL'yi kullanın. Aşağıdaki yer tutucu değerleri kendi değerlerinizle değiştirin.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Yer tutucu	Değer	Örnek
{ENDPOINT}	API isteğinizin kimliğini doğrulamak için uç nokta.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Projenizin adı. Bu değer büyük/küçük harfe duyarlıdır.	EmailApp
{API-VERSION}	Çağırdığınız API'nin sürümü.	2022-10-01-preview
{MODEL-NAME}	Modelinizin adı. Bu değer büyük/küçük harfe duyarlıdır.	v1

Üst Bilgiler

İsteğinizin kimliğini doğrulamak için aşağıdaki üst bilgiyi kullanın.

Anahtar	Değer
Ocp-Apim-Subscription-Key	Kaynağınızın anahtarı. API isteklerinizin kimliğini doğrulamak için kullanılır.

API isteğinizi gönderdikten sonra başarılı olduğunu belirten bir 202 yanıt alırsınız. Yanıt üst bilgilerinde değeri ayıklayın operation-location . Şu şekilde biçimlendirilir:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID bu işlem zaman uyumsuz olduğundan isteğinizi tanımlamak için kullanılır. Aynı kimlik doğrulama yöntemini kullanarak dışarı aktarılan proje JSON'unu almak için bu URL'yi kullanın.

Modeli silme

Language Studio

Modelinizi Language Studio'dan silmek için:

1. Sol taraftaki menüden Model performansı'nı seçin.

2. Silmek istediğiniz model adını seçin ve üstteki menüden Sil'i seçin.

3. Görüntülenen pencerede Tamam'ı seçerek modeli silin.

REST API'leri

Eğitilen modeli silmek için aşağıdaki URL'yi, üst bilgileri ve JSON gövdesini kullanarak bir DELETE isteği oluşturun.

İstek URL’si

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

Yer tutucu	Değer	Örnek
{ENDPOINT}	API isteğinizin kimliğini doğrulamak için uç nokta.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Projenizin adı. Bu değer büyük/küçük harfe duyarlıdır.	myProject
{trainedModelLabel}	Model adınızın adı. Bu değer büyük/küçük harfe duyarlıdır.	model1
{API-VERSION}	Çağırdığınız API'nin sürümü. Burada başvuruda bulunılan değer, yayınlanan en son sürüm içindir. Diğer kullanılabilir API sürümleri hakkında daha fazla bilgi edinmek için bkz. Model yaşam döngüsü .	2022-05-01

Üst Bilgiler

İsteğinizin kimliğini doğrulamak için aşağıdaki üst bilgiyi kullanın.

Anahtar	Değer
Ocp-Apim-Subscription-Key	Kaynağınızın anahtarı. API isteklerinizin kimliğini doğrulamak için kullanılır.

API isteğinizi gönderdikten sonra başarılı olduğunu belirten bir 204 yanıt alırsınız ve bu da eğitilen modelinizin silindiği anlamına gelir.

Sonraki adımlar

• Modelinizi dağıtma
• Değerlendirmede kullanılan ölçümler hakkında bilgi edinin.