De evaluatie en details van het model voor tekstclassificatie weergeven

Nadat uw model klaar is met trainen, kunt u de modelprestaties bekijken en de voorspelde klassen voor de documenten in de testset bekijken.

Notitie

Als u de testset automatisch splitst op basis van de optie trainingsgegevens , kan dit resulteren in een ander resultaat wanneer u een nieuw model traint, omdat de testset willekeurig uit de gegevens wordt geselecteerd. Als u ervoor wilt zorgen dat de evaluatie wordt berekend op dezelfde testset wanneer u een model traint, moet u de optie Een handmatige splitsing van trainings- en testgegevens gebruiken gebruiken bij het starten van een trainingstaak en het definiëren van uw testdocumenten bij het labelen van gegevens.

Vereisten

Voordat u de modelevaluatie bekijkt, hebt u het volgende nodig:

• Een aangepast tekstclassificatieproject met een geconfigureerd Azure Blob Storage-account.
• Tekstgegevens die zijn geüpload naar uw opslagaccount.
• Gelabelde gegevens
• Een getraind model

Zie de levenscyclus van projectontwikkeling voor meer informatie.

Modelgegevens

Taalstudio

1. Ga naar uw projectpagina in Language Studio.

2. Selecteer Modelprestaties in het menu aan de linkerkant van het scherm.

3. Op deze pagina kunt u alleen de met succes getrainde modellen bekijken, de F1-score voor elk model en de vervaldatum van het model. U kunt de modelnaam selecteren voor meer informatie over de prestaties.

Notitie

Klassen die niet zijn gelabeld of voorspeld in de testset, maken geen deel uit van de weergegeven resultaten.

Overzicht

• Op dit tabblad kunt u de details van het model bekijken, zoals: F1-score, precisie, relevante overeenkomsten, datum en tijd voor de trainingstaak, totale trainingstijd en het aantal trainings- en testdocumenten in deze trainingstaak.

  

• U ziet ook richtlijnen voor het verbeteren van het model. Wanneer u op details van de weergave klikt, wordt een zijpaneel geopend om meer richtlijnen te geven over het verbeteren van het model. In dit voorbeeld zijn er onvoldoende gegevens in de trainingsset voor deze klassen. Er is ook onduidelijk onderscheid tussen klassetypen in de trainingsset, waarbij twee klassen met elkaar worden verward. Door op de verwarde klassen te klikken, wordt u naar de pagina met gegevenslabels geleid om meer gegevens met de juiste klasse te labelen.

  

  Meer informatie over modelrichtlijnen en verwarringsmatrix in modelprestatieconcepten .

Prestaties van klassetype

• Dit is een momentopname van de uitvoering van uw model tijdens het testen. De metrische gegevens hier zijn statisch en gekoppeld aan uw model, zodat ze pas worden bijgewerkt als u opnieuw traint.

• U kunt de precisie, relevante overeenkomsten, F1-score en het aantal trainings- en testlabels voor elke klasse zien.

  

Details van testset

• Hier ziet u de documenten die zijn opgenomen in de testset en de resultaatklasse voor elk document. U kunt de wisselknop Niet-overeenkomende items alleen weergeven om alleen documenten met niet-overeenkomende items weer te geven of de wisselknop opheffen om alle documenten in de testset weer te geven.

• Voor elk document kunt u het volgende bekijken: gelabelde tekst, de bijbehorende gelabelde klasse en met welke klasse het is voorspeld. U ziet ook of het een terecht-positief, fout-positief of fout-negatief is.

  

Distributie van gegevenssets

Deze momentopname laat zien hoe entiteiten worden verdeeld over uw trainings- en testsets. Deze gegevens zijn statisch en gekoppeld aan uw model, dus deze worden pas bijgewerkt als u opnieuw traint.

• U kunt de distributie van de gegevensset weergeven in de grafiek - of tabelweergave .

Grafiekweergave

Documenten met ten minste één label: deze weergave wordt weergegeven voor elke klasse, het aantal exemplaren voor deze klasse in de trainings- en testsets.

Tabelweergave

Voor elke klas kunt u het volgende bekijken: gelabelde documenten in trainingsset, gelabelde documenten in de testset en het totaal aantal getagde documenten.

Verwarringsmatrix

Notitie

Verwarringsmatrix is niet beschikbaar voor projecten met meerdere classificaties.

Een verwarringsmatrix is een N x N-matrix die wordt gebruikt voor het evalueren van de prestaties van een classificatiemodel, waarbij N het aantal doelklassen is. De matrix vergelijkt de werkelijke doelwaarden met de waarden die zijn voorspeld door het machine learning-model om te laten zien hoe goed het extractiemodel presteert en welke soorten fouten het maakt.

U kunt de verwarringsmatrix weergeven in de genormaliseerde of onbewerkte tellingsweergave.

• Alle waarden: Geeft de verwarringsmatrix voor alle klassen weer.

• Alleen fouten: toont de verwarringsmatrix voor klassen met alleen fouten.

• Alleen overeenkomsten: geeft de verwarringsmatrix voor klassen weer met alleen de juiste voorspellingen.

REST-API's

Classificatie van één label

Dien een GET-aanvraag in met behulp van de volgende URL, headers en JSON-hoofdtekst om een getrainde samenvatting van de modelevaluatie op te halen.

Aanvraag-URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor uw getrainde model. Deze waarde is hoofdlettergevoelig.	Model1
{API-VERSION}	De versie van de API die u aanroept. De waarde waarnaar hier wordt verwezen, is voor de nieuwste versie die is uitgebracht. Meer informatie over andere beschikbare API-versies	2022-05-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Hoofdtekst van antwoord

Zodra u de aanvraag hebt verzonden, krijgt u het volgende antwoord.

{
  "projectKind": "customSingleLabelClassification",
  "customSingleLabelClassificationEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "classes": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Classificatie met meerdere labels

Dien een GET-aanvraag in met behulp van de volgende URL, headers en JSON-hoofdtekst om een getrainde samenvatting van de modelevaluatie op te halen.

Aanvraag-URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor uw getrainde model. Deze waarde is hoofdlettergevoelig.	Model1
{API-VERSION}	De versie van de API die u aanroept. De waarde waarnaar hier wordt verwezen, is voor de nieuwste versie die is uitgebracht. Meer informatie over andere beschikbare API-versies	2022-05-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Hoofdtekst van antwoord

Zodra u de aanvraag hebt verzonden, krijgt u het volgende antwoord.

{
  "projectKind": "customMultiLabelClassification",
  "customMultiLabelClassificationEvaluation": {
    "classes": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Modelgegevens laden of exporteren

Taalstudio

Uw modelgegevens laden :

1. Selecteer een model op de evaluatiepagina van het model .

2. Selecteer de knop Modelgegevens laden .

3. Controleer of u geen niet-opgeslagen wijzigingen hebt die u moet vastleggen in het venster dat wordt weergegeven en selecteer Gegevens laden.

4. Wacht totdat de modelgegevens zijn geladen in uw project. Na voltooiing wordt u teruggeleid naar de pagina Schema-ontwerp .

Uw modelgegevens exporteren :

1. Selecteer een model op de evaluatiepagina van het model .

2. Selecteer de knop Modelgegevens exporteren . Wacht totdat de JSON-momentopname van uw model lokaal is gedownload.

REST-API's

Modelgegevens laden

Maak een POST-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om uw modelgegevens in uw project te laden.

Aanvraag-URL

Gebruik de volgende URL bij het maken van uw API-aanvraag. Vervang de waarden van de tijdelijke aanduiding hieronder door uw eigen waarden.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	EmailApp
{API-VERSION}	De versie van de API die u aanroept.	2022-10-01-preview
{MODEL-NAME}	De naam van uw model. Deze waarde is hoofdlettergevoelig.	v1

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Zodra u uw API-aanvraag hebt verzonden, ontvangt u een 202 antwoord dat aangeeft dat het is gelukt. Pak de operation-location waarde uit in de antwoordheaders. Deze wordt als volgt opgemaakt:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wordt gebruikt om uw aanvraag te identificeren, omdat deze bewerking asynchroon is. Gebruik deze URL om de status van het laden van modelgegevens op te halen met dezelfde verificatiemethode.

Modelgegevens exporteren

Maak een POST-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om uw modelgegevens te exporteren.

Aanvraag-URL

Gebruik de volgende URL bij het maken van uw API-aanvraag. Vervang de waarden van de tijdelijke aanduiding hieronder door uw eigen waarden.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	EmailApp
{API-VERSION}	De versie van de API die u aanroept.	2022-10-01-preview
{MODEL-NAME}	De naam van uw model. Deze waarde is hoofdlettergevoelig.	v1

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Zodra u uw API-aanvraag hebt verzonden, ontvangt u een 202 antwoord dat aangeeft dat het is gelukt. Pak de operation-location waarde uit in de antwoordheaders. Deze wordt als volgt opgemaakt:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wordt gebruikt om uw aanvraag te identificeren, omdat deze bewerking asynchroon is. Gebruik deze URL om de geëxporteerde project-JSON op te halen met dezelfde verificatiemethode.

Model verwijderen

Taalstudio

Ga als volgt te werk om uw model te verwijderen vanuit Language Studio:

1. Selecteer Modelprestaties in het menu aan de linkerkant.

2. Selecteer de modelnaam die u wilt verwijderen en selecteer Verwijderen in het bovenste menu.

3. Selecteer OK in het venster dat wordt weergegeven om het model te verwijderen.

REST-API's

Maak een DELETE-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om een getraind model te verwijderen.

Aanvraag-URL

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor de modelnaam. Deze waarde is hoofdlettergevoelig.	model1
{API-VERSION}	De versie van de API die u aanroept. De waarde waarnaar hier wordt verwezen, is voor de nieuwste versie die is uitgebracht. Meer informatie over andere beschikbare API-versies	2022-05-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Zodra u uw API-aanvraag hebt verzonden, ontvangt u een 204 antwoord dat aangeeft dat uw getrainde model is verwijderd.

Volgende stappen

Wanneer u de prestaties van uw model bekijkt, leert u meer over de metrische evaluatiegegevens die worden gebruikt. Zodra u weet of de prestaties van uw model moeten worden verbeterd, kunt u beginnen met het verbeteren van het model.