De evaluatie en details van het aangepaste NER-model weergeven

Nadat uw model klaar is met trainen, kunt u de prestaties van het model bekijken en de geëxtraheerde entiteiten voor de documenten in de testset bekijken.

Notitie

Als u de testset automatisch splitst op basis van de optie trainingsgegevens , kan dit resulteren in een ander resultaat wanneer u een nieuw model traint, omdat de testset willekeurig uit de gegevens wordt geselecteerd. Als u ervoor wilt zorgen dat de verdamping wordt berekend op dezelfde testset wanneer u een model traint, moet u ervoor zorgen dat u de optie Een handmatige splitsing van trainings- en testgegevens gebruikt bij het starten van een trainingstaak en het definiëren van uw testdocumenten bij het labelen van gegevens.

Vereisten

Voordat u de modelevaluatie bekijkt, hebt u het volgende nodig:

• Een project gemaakt met een geconfigureerd Azure Blob Storage-account.
• Tekstgegevens die zijn geüpload naar uw opslagaccount.
• Gelabelde gegevens
• Een getraind model

Zie de levenscyclus van projectontwikkeling voor meer informatie.

Modelgegevens

Taalstudio

1. Ga naar uw projectpagina in Language Studio.

2. Selecteer Modelprestaties in het menu aan de linkerkant van het scherm.

3. Op deze pagina kunt u alleen de met succes getrainde modellen bekijken, de F1-score voor elk model en de vervaldatum van het model. U kunt de modelnaam selecteren voor meer informatie over de prestaties.

Notitie

Entiteiten die niet zijn gelabeld of voorspeld in de testset, maken geen deel uit van de weergegeven resultaten.

Overzicht

• Op dit tabblad kunt u de details van het model bekijken, zoals: F1-score, precisie, relevante overeenkomsten, datum en tijd voor de trainingstaak, totale trainingstijd en het aantal trainings- en testdocumenten in deze trainingstaak.

  

• U ziet ook richtlijnen voor het verbeteren van het model. Wanneer u op details van de weergave klikt, wordt een zijpaneel geopend om meer richtlijnen te geven over het verbeteren van het model. In dit voorbeeld worden de entiteiten BorrowerAddress en BorrowerName verward met $none entiteit. Door op de verwarde entiteiten te klikken, gaat u naar de pagina met gegevenslabels om meer gegevens te labelen met de juiste entiteit.

  

  Meer informatie over modelrichtlijnen en verwarringsmatrix in modelprestatieconcepten .

Prestaties van entiteitstype

• Dit is een momentopname van de uitvoering van uw model tijdens het testen. De metrische gegevens hier zijn statisch en gekoppeld aan uw model, zodat ze pas worden bijgewerkt als u opnieuw traint.

• U kunt voor elke entiteit, precisie, relevante overeenkomsten, F1-score, het aantal trainings- en testlabels zien.

  

Details van testset

• Hier ziet u de documenten die zijn opgenomen in de testset en het resultaatentiteitstype voor elk document. U kunt de wisselknop Niet-overeenkomende items alleen weergeven om alleen documenten met niet-overeenkomende items weer te geven of de wisselknop opheffen om alle documenten in de testset weer te geven.

• Voor elk document kunt u het volgende bekijken: gelabelde tekst, het bijbehorende gelabelde entiteitstype en de entiteit waarmee het is voorspeld. U ziet ook of het een terecht-positief, fout-positief of fout-negatief is.

  

Distributie van gegevenssets

Deze momentopname laat zien hoe entiteiten worden verdeeld over uw trainings- en testsets. Deze gegevens zijn statisch en gekoppeld aan uw model, dus deze worden pas bijgewerkt als u opnieuw traint.

• U kunt de distributie van de gegevensset weergeven in de grafiek - of tabelweergave .

Grafiekweergave

• Documenten met ten minste één label: Deze weergave wordt weergegeven voor elke entiteit, het aantal exemplaren voor deze entiteit in de trainings- en testsets.

• Totaal aantal exemplaren in documenten: deze weergave wordt weergegeven voor elke entiteit, de gelabelde exemplaren in trainings- en testsets.

  

Tabelweergave

Voor elke entiteit kunt u bekijken: tags per entiteit in trainingsset, gelabelde documenten in trainingsset, tags per entiteit in testset, gelabelde documenten in testset, tags per entiteit totaal en totaal getagde documenten.

Verwarringsmatrix

Een verwarringsmatrix is een N x N-matrix die wordt gebruikt voor het evalueren van de prestaties van een classificatiemodel, waarbij N het aantal doelentiteiten is. De matrix vergelijkt de werkelijke doelwaarden met de waarden die zijn voorspeld door het machine learning-model om te laten zien hoe goed het extractiemodel presteert en welke soorten fouten het maakt.

U kunt de verwarringsmatrix weergeven in de genormaliseerde of onbewerkte tellingsweergave.

• Alle waarden: geeft de verwarringsmatrix voor alle entiteiten weer.

• Alleen fouten: geeft de verwarringsmatrix voor entiteiten met alleen fouten weer.

• Alleen overeenkomsten: geeft de verwarringsmatrix weer voor entiteiten met alleen de juiste voorspellingen.

REST-API's

Dien een GET-aanvraag in met behulp van de volgende URL, headers en JSON-hoofdtekst om een getraind overzicht van de modelevaluatie op te halen.

Aanvraag-URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor uw getrainde model. Deze waarde is hoofdlettergevoelig.	Model1
{API-VERSION}	De versie van de API die u aanroept. Zie de levenscyclus van het model voor meer informatie over andere beschikbare API-versies.	2022-05-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Hoofdtekst van antwoord

Zodra u de aanvraag hebt verzonden, krijgt u het volgende antwoord.

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Modelgegevens laden of exporteren

Taalstudio

Uw modelgegevens laden :

1. Selecteer een model op de evaluatiepagina van het model .

2. Selecteer de knop Modelgegevens laden .

3. Controleer of u geen niet-opgeslagen wijzigingen hebt die u moet vastleggen in het venster dat wordt weergegeven en selecteer Gegevens laden.

4. Wacht totdat de modelgegevens zijn geladen in uw project. Na voltooiing wordt u teruggeleid naar de pagina Schema-ontwerp .

Uw modelgegevens exporteren :

1. Selecteer een model op de evaluatiepagina van het model .

2. Selecteer de knop Modelgegevens exporteren . Wacht totdat de JSON-momentopname van uw model lokaal is gedownload.

REST-API's

Modelgegevens laden

Maak een POST-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om uw modelgegevens in uw project te laden.

Aanvraag-URL

Gebruik de volgende URL bij het maken van uw API-aanvraag. Vervang de waarden van de tijdelijke aanduiding hieronder door uw eigen waarden.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	EmailApp
{API-VERSION}	De versie van de API die u aanroept.	2022-10-01-preview
{MODEL-NAME}	De naam van uw model. Deze waarde is hoofdlettergevoelig.	v1

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Zodra u uw API-aanvraag hebt verzonden, ontvangt u een 202 antwoord dat aangeeft dat het is gelukt. Pak de operation-location waarde uit in de antwoordheaders. Deze wordt als volgt opgemaakt:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wordt gebruikt om uw aanvraag te identificeren, omdat deze bewerking asynchroon is. Gebruik deze URL om de status van het laden van modelgegevens op te halen met dezelfde verificatiemethode.

Modelgegevens exporteren

Maak een POST-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om uw modelgegevens te exporteren.

Aanvraag-URL

Gebruik de volgende URL bij het maken van uw API-aanvraag. Vervang de waarden van de tijdelijke aanduiding hieronder door uw eigen waarden.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	EmailApp
{API-VERSION}	De versie van de API die u aanroept.	2022-10-01-preview
{MODEL-NAME}	De naam van uw model. Deze waarde is hoofdlettergevoelig.	v1

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Zodra u uw API-aanvraag hebt verzonden, ontvangt u een 202 antwoord dat aangeeft dat het is gelukt. Pak de operation-location waarde uit in de antwoordheaders. Deze wordt als volgt opgemaakt:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wordt gebruikt om uw aanvraag te identificeren, omdat deze bewerking asynchroon is. Gebruik deze URL om de geëxporteerde project-JSON op te halen met dezelfde verificatiemethode.

Model verwijderen

Taalstudio

Ga als volgt te werk om uw model te verwijderen vanuit Language Studio:

1. Selecteer Modelprestaties in het menu aan de linkerkant.

2. Selecteer de modelnaam die u wilt verwijderen en selecteer Verwijderen in het bovenste menu.

3. Selecteer OK in het venster dat wordt weergegeven om het model te verwijderen.

REST-API's

Maak een DELETE-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om een getraind model te verwijderen.

Aanvraag-URL

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

Tijdelijke aanduiding	Weergegeven als	Opmerking
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor de modelnaam. Deze waarde is hoofdlettergevoelig.	model1
{API-VERSION}	De versie van de API die u aanroept. De waarde waarnaar hier wordt verwezen, is voor de nieuwste versie die is uitgebracht. Zie de levenscyclus van het model voor meer informatie over andere beschikbare API-versies.	2022-05-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Weergegeven als
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Zodra u uw API-aanvraag hebt verzonden, ontvangt u een 204 antwoord dat aangeeft dat uw getrainde model is verwijderd.

Volgende stappen

• Uw model implementeren
• Meer informatie over de metrische gegevens die in de evaluatie worden gebruikt.