De evaluatie en details van het aangepaste NER-model weergeven

Nadat de training van uw model is voltooid, kunt u de prestaties van het model bekijken en de geëxtraheerde entiteiten voor de documenten in de testset bekijken.

Notitie

Als u de optie De testset automatisch splitsen uit trainingsgegevens gebruikt, kan dit resulteren in een ander modelevaluatieresultaat wanneer u een nieuw model traint, omdat de testset willekeurig uit de gegevens wordt geselecteerd. Als u ervoor wilt zorgen dat de evaulatie wordt berekend op dezelfde testset wanneer u een model traint, gebruikt u de optie Een handmatige splitsing van training- en testgegevens gebruiken bij het starten van een trainingstaak en definieert u uw testdocumenten bij het labelen van gegevens.

Vereisten

Voordat u modelevaluatie bekijkt, hebt u het volgende nodig:

• Een project dat is gemaakt met een geconfigureerd Azure Blob Storage-account.
• Tekstgegevens die zijn geüpload naar uw opslagaccount.
• Gelabelde gegevens
• Een model dat is getraind

Zie de levenscyclus van projectontwikkeling voor meer informatie.

Modeldetails

Taalstudio

1. Ga naar uw projectpagina in Language Studio.

2. Selecteer Modelprestaties in het menu aan de linkerkant van het scherm.

3. Op deze pagina kunt u alleen de met succes getrainde modellen, F1-score voor elk model en de vervaldatum van het model bekijken. U kunt de naam van het model selecteren voor meer informatie over de prestaties.

Notitie

Entiteiten die niet zijn gelabeld of voorspeld in de testset, maken geen deel uit van de weergegeven resultaten.

Overzicht

• Op dit tabblad kunt u de details van het model bekijken, zoals: F1-score, precisie, terugroepactie, datum en tijd voor de trainingstaak, totale trainingstijd en het aantal trainings- en testdocumenten dat in deze trainingstaak is opgenomen.

  

• U ziet ook richtlijnen voor het verbeteren van het model. Wanneer u op Details weergeven klikt, wordt er een zijpaneel geopend met meer richtlijnen voor het verbeteren van het model. In dit voorbeeld worden de entiteiten BorrowerAddress en BorrowerName verward met $none entiteit. Als u op de verwarde entiteiten klikt, gaat u naar de pagina voor het labelen van gegevens om meer gegevens te labelen met de juiste entiteit.

  

  Meer informatie over modelrichtlijnen en verwarringsmatrix in modelprestatieconcepten .

Prestaties van entiteitstype

• Dit is een momentopname van hoe uw model heeft gepresteerd tijdens het testen. De metrische gegevens hier zijn statisch en gekoppeld aan uw model, dus ze worden pas bijgewerkt als u opnieuw traint.

• U kunt voor elke entiteit precisie, relevante overeenkomsten, F1-score, het aantal trainings- en testlabels zien.

  

Details van testset

• Hier ziet u de documenten die zijn opgenomen in de testset en het entiteitstype resultaat voor elk document. U kunt de wisselknop Alleen niet-overeenkomende items weergeven gebruiken om alleen documenten met niet-overeenkomende items weer te geven of de selectie van de wisselknop opheffen om alle documenten in de testset weer te geven.

• Voor elk document kunt u gelabelde tekst, het betreffende gelabelde entiteitstype en de entiteit waarmee het is voorspeld, bekijken. U ziet ook of het een terecht positief, fout-positief of fout-negatief is.

  

Distributie van gegevenssets

Deze momentopname laat zien hoe entiteiten worden verdeeld over uw trainings- en testsets. Deze gegevens zijn statisch en gekoppeld aan uw model, dus ze worden pas bijgewerkt als u opnieuw traint.

• U kunt de distributie van de gegevensset weergeven in de grafiek - of tabelweergave .

Grafiekweergave

• Documenten met ten minste één label: in deze weergave wordt voor elke entiteit het aantal exemplaren voor deze entiteit in de trainings- en testsets weergegeven.

• Totaal aantal exemplaren in documenten: in deze weergave worden voor elke entiteit de gelabelde exemplaren weergegeven voor trainings- en testsets.

  

Tabelweergave

Voor elke entiteit kunt u bekijken: tags per entiteit in trainingsset, gelabelde documenten in trainingsset, tags per entiteit in testset, gelabelde documenten in testset, totaal tags per entiteit en totaal getagde documenten.

Verwarringsmatrix

Een verwarringsmatrix is een N x N-matrix die wordt gebruikt voor het evalueren van de prestaties van een classificatiemodel, waarbij N het aantal doelentiteiten is. De matrix vergelijkt de werkelijke doelwaarden met de waarden die door het machine learning-model zijn voorspeld om aan te geven hoe goed het extractiemodel presteert en wat voor soort fouten het maakt.

U kunt de verwarringsmatrix bekijken in de genormaliseerde of onbewerkte tellingsweergave .

• Alle waarden: toont de verwarringsmatrix voor alle entiteiten.

• Alleen fouten: toont de verwarringsmatrix voor entiteiten met alleen fouten.

• Alleen overeenkomsten: toont de verwarringsmatrix voor entiteiten met alleen de juiste voorspellingen.

REST-API's

Dien een GET-aanvraag in met behulp van de volgende URL, headers en JSON-hoofdtekst om een getraind evaluatieoverzicht van het model op te halen.

Aanvraag-URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Tijdelijke aanduiding	Waarde	Voorbeeld
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor het getrainde model. Deze waarde is hoofdlettergevoelig.	Model1
{API-VERSION}	De versie van de API die u aanroept. Zie Levenscyclus van model voor meer informatie over andere beschikbare API-versies.	2022-05-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Hoofdtekst van antwoord

Nadat u de aanvraag hebt verzonden, krijgt u het volgende antwoord.

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Modelgegevens laden of exporteren

Taalstudio

Uw modelgegevens laden :

1. Selecteer een model op de pagina modelevaluatie .

2. Selecteer de knop Modelgegevens laden .

3. Controleer of u geen niet-opgeslagen wijzigingen hebt die u moet vastleggen in het venster dat wordt weergegeven en selecteer Gegevens laden.

4. Wacht totdat uw modelgegevens weer in uw project zijn geladen. Na voltooiing wordt u teruggeleid naar de pagina Schemaontwerp .

Uw modelgegevens exporteren :

1. Selecteer een model op de pagina modelevaluatie .

2. Selecteer de knop Modelgegevens exporteren . Wacht tot de JSON-momentopname van uw model lokaal is gedownload.

REST-API's

Modelgegevens laden

Maak een POST-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om uw modelgegevens in uw project te laden.

Aanvraag-URL

Gebruik de volgende URL bij het maken van uw API-aanvraag. Vervang de waarden van de tijdelijke aanduidingen hieronder door uw eigen waarden.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Tijdelijke aanduiding	Waarde	Voorbeeld
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	EmailApp
{API-VERSION}	De versie van de API die u aanroept.	2022-10-01-preview
{MODEL-NAME}	De naam van uw model. Deze waarde is hoofdlettergevoelig.	v1

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Nadat u uw API-aanvraag hebt verzonden, ontvangt u een 202 antwoord dat aangeeft dat het is gelukt. Extraheer de waarde in de operation-location antwoordheaders. Deze wordt als volgt opgemaakt:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wordt gebruikt om uw aanvraag te identificeren, omdat deze bewerking asynchroon is. Gebruik deze URL om de status van het laden van uw modelgegevens op te halen met behulp van dezelfde verificatiemethode.

Modelgegevens exporteren

Maak een POST-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om uw modelgegevens te exporteren.

Aanvraag-URL

Gebruik de volgende URL bij het maken van uw API-aanvraag. Vervang de waarden van de tijdelijke aanduidingen hieronder door uw eigen waarden.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Tijdelijke aanduiding	Waarde	Voorbeeld
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	EmailApp
{API-VERSION}	De versie van de API die u aanroept.	2022-10-01-preview
{MODEL-NAME}	De naam van uw model. Deze waarde is hoofdlettergevoelig.	v1

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Nadat u uw API-aanvraag hebt verzonden, ontvangt u een 202 antwoord dat aangeeft dat het is gelukt. Extraheer de waarde in de operation-location antwoordheaders. Deze wordt als volgt opgemaakt:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wordt gebruikt om uw aanvraag te identificeren, omdat deze bewerking asynchroon is. Gebruik deze URL om de geëxporteerde project-JSON op te halen met behulp van dezelfde verificatiemethode.

Model verwijderen

Taalstudio

Uw model verwijderen vanuit Language Studio:

1. Selecteer Modelprestaties in het menu aan de linkerkant.

2. Selecteer de modelnaam die u wilt verwijderen en selecteer Verwijderen in het bovenste menu.

3. Selecteer OK in het venster dat wordt weergegeven om het model te verwijderen.

REST-API's

Maak een DELETE-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om een getraind model te verwijderen.

Aanvraag-URL

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

Tijdelijke aanduiding	Waarde	Voorbeeld
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor uw modelnaam. Deze waarde is hoofdlettergevoelig.	model1
{API-VERSION}	De versie van de API die u aanroept. De waarde waarnaar hier wordt verwezen, is voor de meest recente versie die is uitgebracht. Zie Levenscyclus van model voor meer informatie over andere beschikbare API-versies.	2022-05-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Nadat u uw API-aanvraag hebt verzonden, ontvangt u een 204 antwoord dat aangeeft dat het is gelukt, wat betekent dat uw getrainde model is verwijderd.

Volgende stappen

• Uw model implementeren
• Meer informatie over de metrische gegevens die worden gebruikt bij de evaluatie.