Metin sınıflandırması modelinizin değerlendirmesini ve ayrıntılarını görüntüleme

Modeliniz eğitimi tamamladıktan sonra, model performansını görüntüleyebilir ve test kümesindeki belgeler için tahmin edilen sınıfları görebilirsiniz.

Not

Test kümesini eğitim verilerinden otomatik olarak böl seçeneğinin kullanılması, her yeni modeli eğitişinizde farklı model değerlendirme sonuçlarına neden olabilir. Test kümesi verilerden rastgele seçilir. Bir modeli her eğittiğinizde değerlendirmenin aynı test kümesinde hesaplandığından emin olmak için, eğitim işini başlatırken Eğitim ve test verilerini el ile bölme seçeneğini kullandığınızdan ve verileri etiketlerkenTest belgelerinizi tanımladığınızdan emin olun.

Önkoşullar

Model değerlendirmeyi görüntülemeden önce ihtiyacınız olan:

• Yapılandırılmış bir Azure blob depolama hesabına sahip özel metin sınıflandırma projesi.
• Depolama hesabınıza yüklenen metin verileri.
• Etiketli veriler
• Başarıyla eğitilmiş bir model

Daha fazla bilgi için proje geliştirme yaşam döngüsüne bakın.

Model ayrıntıları

Language Studio

1. Language Studio'da proje sayfanıza gidin.

2. Ekranın sol tarafındaki menüden Model performansı'nı seçin.

3. Bu sayfada yalnızca başarıyla eğitilen modelleri, her model için F1 puanını ve modelin son kullanma tarihini görüntüleyebilirsiniz. Performansı hakkında daha fazla ayrıntı için model adını seçebilirsiniz.

Not

Test kümesinde etiketlenmemiş veya tahmin edilmeyen sınıflar, görüntülenen sonuçların bir parçası olmayacaktır.

Genel bakış

• Bu sekmede modelin F1 puanı, duyarlık, geri çağırma, eğitim işi için tarih ve saat, toplam eğitim süresi ve bu eğitim işine dahil edilen eğitim ve test belgelerinin sayısı gibi ayrıntılarını görüntüleyebilirsiniz.

  

• Modelin nasıl geliştirileceğine ilişkin yönergeler de göreceksiniz. Görünüm ayrıntılarına tıklandığında, modelin nasıl geliştirileceğine ilişkin daha fazla rehberlik sağlamak için bir yan panel açılır. Bu örnekte, bu sınıflar için eğitim kümesinde yeterli veri yoktur. Ayrıca, iki sınıfın birbiriyle karıştırıldığı eğitim kümesindeki sınıf türleri arasında belirsiz bir ayrım vardır. Kafanız karışan sınıflara tıklayarak, daha fazla veriyi doğru sınıfla etiketlemek için veri etiketleme sayfasına yönlendirilirsiniz.

  

  Model performansı kavramlarındaki model kılavuzu ve karışıklık matrisi hakkında daha fazla bilgi edinin.

Sınıf türü performansı

• Bu, modelinizin test sırasında nasıl performans sergilediğini gösteren bir anlık görüntüdür. Buradaki ölçümler statiktir ve modelinize bağlıdır, bu nedenle siz yeniden eğitene kadar güncelleştiremezler.

• Her sınıf için duyarlığı, yakalamayı, F1 puanını ve eğitim ve test etiketlerinin sayısını görebilirsiniz.

  

Test kümesi ayrıntıları

• Burada , test kümesine dahil edilen belgeleri ve her belgenin sonuç sınıfını görürsünüz. Yalnızca uyuşmazlıkları göster iki durumlu düğmesini kullanarak yalnızca uyuşmazlıkları olan belgeleri gösterebilir veya test kümesindeki tüm belgeleri görüntülemek için iki durumlu düğmenin seçimini kaldırabilirsiniz.

• Her belge için şunları görüntüleyebilirsiniz: etiketli metin, ilgili etiketli sınıfı ve hangi sınıfla tahmin edildiği. Ayrıca, bunun gerçek pozitif mi, yanlış pozitif mi yoksa yanlış negatif mi olduğunu görürsünüz.

  

Veri kümesi dağıtımı

Bu anlık görüntüde varlıkların eğitim ve test kümelerinize nasıl dağıtıldığı gösterilir. Bu veriler statiktir ve modelinize bağlıdır, bu nedenle siz yeniden eğitene kadar güncelleştirmez.

• Veri kümesi dağıtımını grafik veya tablo görünümünde görüntüleyebilirsiniz.

Grafik görünümü

En az bir etikete sahip belgeler: Bu görünüm her sınıf için, eğitim ve test kümelerinde bu sınıfın oluşum sayısını gösterir.

Tablo görünümü

Her sınıf için şunları görüntüleyebilirsiniz: eğitim kümesindeki etiketli belgeler, test kümesindeki etiketli belgeler ve toplam etiketli belgeler.

Karışıklık matrisi

Not

Çoklu sınıflandırma projeleri için karışıklık matrisi kullanılamaz.

Karışıklık matrisi, bir sınıflandırma modelinin performansını değerlendirmek için kullanılan bir N x N matrisidir; burada N, hedef sınıfların sayısıdır. Matris, ayıklama modelinin ne kadar iyi performans gösterdiğini ve ne tür hatalar yaptığını göstermek için gerçek hedef değerleri makine öğrenmesi modeli tarafından tahmin edilen değerlerle karşılaştırır.

Karışıklık matrisini normalleştirilmiş veya ham sayı görünümünde görüntüleyebilirsiniz.

• Tüm değerler: Tüm sınıflar için karışıklık matrisini gösterir.

• Yalnızca hatalar: Yalnızca hata içeren sınıflar için karışıklık matrisini gösterir.

• Yalnızca eşleşmeler: Yalnızca doğru tahminlere sahip sınıflar için karışıklık matrisini gösterir.

REST API'leri

Tek etiketli sınıflandırma

Eğitilmiş bir model değerlendirme özeti almak için aşağıdaki URL, üst bilgiler ve JSON gövdesini kullanarak bir GET isteği gönderin.

İstek URL’si

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Yer tutucu	Değer	Örnek
{ENDPOINT}	API isteğinizin kimliğini doğrulamak için uç nokta.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Projenizin adı. Bu değer büyük/küçük harfe duyarlıdır.	myProject
{trainedModelLabel}	Eğitilen modelinizin adı. Bu değer büyük/küçük harfe duyarlıdır.	Model1
{API-VERSION}	Çağırdığınız API'nin sürümü. Burada başvuruda bulunılan değer, yayınlanan en son sürüme yöneliktir. Diğer kullanılabilir API sürümleri hakkında daha fazla bilgi edinin	2022-05-01

Üst Bilgiler

İsteğinizin kimliğini doğrulamak için aşağıdaki üst bilgiyi kullanın.

Anahtar	Değer
Ocp-Apim-Subscription-Key	Kaynağınızın anahtarı. API isteklerinizin kimliğini doğrulamak için kullanılır.

Yanıt Gövdesi

İsteği gönderdikten sonra aşağıdaki yanıtı alırsınız.

{
  "projectKind": "customSingleLabelClassification",
  "customSingleLabelClassificationEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "classes": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Çok etiketli sınıflandırma

Eğitilmiş bir model değerlendirme özeti almak için aşağıdaki URL, üst bilgiler ve JSON gövdesini kullanarak bir GET isteği gönderin.

İstek URL’si

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Yer tutucu	Değer	Örnek
{ENDPOINT}	API isteğinizin kimliğini doğrulamak için uç nokta.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Projenizin adı. Bu değer büyük/küçük harfe duyarlıdır.	myProject
{trainedModelLabel}	Eğitilen modelinizin adı. Bu değer büyük/küçük harfe duyarlıdır.	Model1
{API-VERSION}	Çağırdığınız API'nin sürümü. Burada başvuruda bulunılan değer, yayınlanan en son sürüme yöneliktir. Diğer kullanılabilir API sürümleri hakkında daha fazla bilgi edinin	2022-05-01

Üst Bilgiler

İsteğinizin kimliğini doğrulamak için aşağıdaki üst bilgiyi kullanın.

Anahtar	Değer
Ocp-Apim-Subscription-Key	Kaynağınızın anahtarı. API isteklerinizin kimliğini doğrulamak için kullanılır.

Yanıt Gövdesi

İsteği gönderdikten sonra aşağıdaki yanıtı alırsınız.

{
  "projectKind": "customMultiLabelClassification",
  "customMultiLabelClassificationEvaluation": {
    "classes": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Model verilerini yükleme veya dışarı aktarma

Language Studio

Model verilerinizi yüklemek için:

1. Model değerlendirme sayfasında herhangi bir modeli seçin.

2. Model verilerini yükle düğmesini seçin.

3. Görüntülenen pencerede yakalamanız gereken kaydedilmemiş değişiklikleriniz olmadığını onaylayın ve Verileri yükle'yi seçin.

4. Model verilerinizin projenize yüklenmesi bitene kadar bekleyin. Tamamlandığında Şema tasarımı sayfasına geri yönlendirilirsiniz.

Model verilerinizi dışarı aktarmak için:

1. Model değerlendirme sayfasında herhangi bir modeli seçin.

2. Model verilerini dışarı aktar düğmesini seçin. Modelinizin JSON anlık görüntüsünün yerel olarak indirilmesi için bekleyin.

REST API'leri

Model verilerini yükleme

Model verilerinizi projenize yüklemek için aşağıdaki URL' yi, üst bilgileri ve JSON gövdesini kullanarak bir POST isteği oluşturun.

İstek URL’si

API isteğinizi oluştururken aşağıdaki URL'yi kullanın. Aşağıdaki yer tutucu değerlerini kendi değerlerinizle değiştirin.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Yer tutucu	Değer	Örnek
{ENDPOINT}	API isteğinizin kimliğini doğrulamak için uç nokta.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Projenizin adı. Bu değer büyük/küçük harfe duyarlıdır.	EmailApp
{API-VERSION}	Çağırdığınız API'nin sürümü.	2022-10-01-preview
{MODEL-NAME}	Modelinizin adı. Bu değer büyük/küçük harfe duyarlıdır.	v1

Üst Bilgiler

İsteğinizin kimliğini doğrulamak için aşağıdaki üst bilgiyi kullanın.

Anahtar	Değer
Ocp-Apim-Subscription-Key	Kaynağınızın anahtarı. API isteklerinizin kimliğini doğrulamak için kullanılır.

API isteğinizi gönderdikten sonra başarılı olduğunu belirten bir 202 yanıt alırsınız. Yanıt üst bilgilerinde değeri ayıklayın operation-location . Şu şekilde biçimlendirilir:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID bu işlem zaman uyumsuz olduğundan isteğinizi tanımlamak için kullanılır. Aynı kimlik doğrulama yöntemini kullanarak model veri yükleme durumunuzu almak için bu URL'yi kullanın.

Model verilerini dışarı aktarma

Model verilerinizi dışarı aktarmak için aşağıdaki URL' yi, üst bilgileri ve JSON gövdesini kullanarak bir POST isteği oluşturun.

İstek URL’si

API isteğinizi oluştururken aşağıdaki URL'yi kullanın. Aşağıdaki yer tutucu değerlerini kendi değerlerinizle değiştirin.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Yer tutucu	Değer	Örnek
{ENDPOINT}	API isteğinizin kimliğini doğrulamak için uç nokta.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Projenizin adı. Bu değer büyük/küçük harfe duyarlıdır.	EmailApp
{API-VERSION}	Çağırdığınız API'nin sürümü.	2022-10-01-preview
{MODEL-NAME}	Modelinizin adı. Bu değer büyük/küçük harfe duyarlıdır.	v1

Üst Bilgiler

İsteğinizin kimliğini doğrulamak için aşağıdaki üst bilgiyi kullanın.

Anahtar	Değer
Ocp-Apim-Subscription-Key	Kaynağınızın anahtarı. API isteklerinizin kimliğini doğrulamak için kullanılır.

API isteğinizi gönderdikten sonra başarılı olduğunu belirten bir 202 yanıt alırsınız. Yanıt üst bilgilerinde değeri ayıklayın operation-location . Şu şekilde biçimlendirilir:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID bu işlem zaman uyumsuz olduğundan isteğinizi tanımlamak için kullanılır. Aynı kimlik doğrulama yöntemini kullanarak dışarı aktarılan JSON projesini almak için bu URL'yi kullanın.

Modeli silme

Language Studio

Modelinizi Language Studio'dan silmek için:

1. Sol taraftaki menüden Model performansı'nı seçin.

2. Silmek istediğiniz model adını seçin ve üstteki menüden Sil'i seçin.

3. Görüntülenen pencerede Tamam'ı seçerek modeli silin.

REST API'leri

Eğitilen modeli silmek için aşağıdaki URL, üst bilgiler ve JSON gövdesini kullanarak bir DELETE isteği oluşturun.

İstek URL’si

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

Yer tutucu	Değer	Örnek
{ENDPOINT}	API isteğinizin kimliğini doğrulamak için uç nokta.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Projenizin adı. Bu değer büyük/küçük harfe duyarlıdır.	myProject
{trainedModelLabel}	Model adınızın adı. Bu değer büyük/küçük harfe duyarlıdır.	model1
{API-VERSION}	Çağırdığınız API'nin sürümü. Burada başvuruda bulunılan değer, yayınlanan en son sürüme yöneliktir. Diğer kullanılabilir API sürümleri hakkında daha fazla bilgi edinin	2022-05-01

Üst Bilgiler

İsteğinizin kimliğini doğrulamak için aşağıdaki üst bilgiyi kullanın.

Anahtar	Değer
Ocp-Apim-Subscription-Key	Kaynağınızın anahtarı. API isteklerinizin kimliğini doğrulamak için kullanılır.

API isteğinizi gönderdikten sonra başarılı olduğunu belirten bir 204 yanıt alırsınız ve bu da eğitilen modelinizin silindiği anlamına gelir.

Sonraki adımlar

Modelinizin performansını gözden geçirirken kullanılan değerlendirme ölçümleri hakkında bilgi edinin. Model performansınızın iyileştirilmesi gerekip gerekmediğini anladıktan sonra modeli geliştirmeye başlayabilirsiniz.