Details van gespreksmodel voor taalkennis weergeven

Nadat de modeltraining is voltooid, kunt u de details van uw model bekijken en zien hoe goed het presteert ten opzichte van de testset.

Notitie

Het gebruik van de optie De testset automatisch splitsen uit trainingsgegevens kan resulteren in een ander modelevaluatieresultaat telkens wanneer u een nieuw model traint, omdat de testset willekeurig wordt geselecteerd uit uw uitingen. Als u ervoor wilt zorgen dat de evaulatie elke keer wordt berekend op dezelfde testset wanneer u een model traint, gebruikt u de optie Een handmatige splitsing van training- en testgegevens gebruiken bij het starten van een trainingstaak en definieert u uw testset wanneer u uw uitingen toevoegt.

Vereisten

Voordat u de evaluatie van een model kunt bekijken, hebt u het volgende nodig:

• Een project is gemaakt.
• Een model dat is getraind.

Zie de levenscyclus van projectontwikkeling voor meer informatie.

Modeldetails

Taalstudio

1. Ga naar uw projectpagina in Language Studio.

2. Selecteer Modelprestaties in het menu aan de linkerkant van het scherm.

3. Op deze pagina kunt u alleen de met succes getrainde modellen, F1-score van elk model en de vervaldatum van het model bekijken. U kunt de naam van het model selecteren voor meer informatie over de prestaties. Modellen bevatten alleen evaluatiegegevens als er testgegevens zijn geselecteerd tijdens het trainen van het model.

Overzicht

• Op dit tabblad kunt u de details van het model bekijken, zoals: F1-score, precisie, terugroepactie, datum en tijd voor de trainingstaak, totale trainingstijd en het aantal trainings- en testuitingen dat in deze trainingstaak is opgenomen. U kunt details tussen intenties of entiteiten bekijken door Modeltype bovenaan te selecteren.

  

• U ziet ook richtlijnen voor het verbeteren van het model. Wanneer u op Details weergeven klikt, wordt er een zijpaneel geopend met meer richtlijnen voor het verbeteren van het model.

  

Prestaties van modeltype

• Dit is een momentopname van hoe uw model heeft gepresteerd tijdens het testen. De metrische gegevens hier zijn statisch en gekoppeld aan uw model, dus ze worden pas bijgewerkt als u opnieuw traint.

• U kunt voor elke intentie of entiteit de precisie, relevante overeenkomsten, F1-score, het aantal trainings- en testlabels zien. Entiteiten die geen geleerd onderdeel bevatten, tonen geen trainingslabels. Een geleerd onderdeel wordt alleen toegevoegd door labels toe te voegen aan uw trainingsset.

  

Details van testset

• Hier ziet u de uitingen die zijn opgenomen in de testset en hun intentie- of entiteitsvoorspellingen. U kunt de wisselknop Alleen fouten weergeven gebruiken om alleen de uitingen weer te geven waarvan de labels verschillende voorspellingen bevatten, of de selectie van de wisselknop opheffen om alle uitingen in de testset weer te geven. U kunt de weergave ook schakelen tussen Entiteitslabels weergeven als weergave voor elke uiting of Entiteitsvoorspellingen weergeven. Entiteitsvoorspellingen worden weergegeven als stippellijnen en labels als ononderbroken lijnen.

• U kunt elke rij uitvouwen om de intentie- of entiteitsvoorspellingen weer te geven, opgegeven door de kolom Modeltype . In de kolom Tekst wordt de tekst weergegeven van de entiteit die is voorspeld of gelabeld. Elke rij heeft een kolom Gelabeld als om het label in de testset aan te geven en voorspeld als kolom om de werkelijke voorspelling aan te geven. U ziet ook of het een terecht-positief, fout-positief of fout-negatief is in de kolom Resultaattype .

  

Distributie van gegevenssets

Deze momentopname laat zien hoe intenties of entiteiten worden verdeeld over uw trainings- en testsets. Deze gegevens zijn statisch en gekoppeld aan uw model, dus ze worden pas bijgewerkt als u opnieuw traint. Entiteiten die geen geleerd onderdeel bevatten, tonen geen trainingslabels. Een geleerd onderdeel wordt alleen toegevoegd door labels toe te voegen aan uw trainingsset.

Verwarringsmatrix

Een verwarringsmatrix is een N x N-matrix die wordt gebruikt voor het evalueren van de prestaties van uw model, waarbij N het aantal doelintenties of entiteiten is. De matrix vergelijkt de verwachte labels met de labels die door het model zijn voorspeld om te bepalen welke intenties of entiteiten verkeerd worden geclassificeerd als andere intenties en entiteiten. U kunt in een willekeurige cel van de verwarringsmatrix klikken om precies te bepalen welke uitingen hebben bijgedragen aan de waarden in die cel.

U kunt de verwarringsmatrix voor intenties bekijken in onbewerkte telling of genormaliseerde weergave. Onbewerkt aantal is het werkelijke aantal utterances dat is voorspeld en gelabeld voor een set intenties. Genormaliseerde waarde is de verhouding, tussen 0 en 1, van de voorspelde en gelabelde uitingen voor een set intenties.

U kunt de verwarringsmatrix voor entiteiten weergeven in de weergave voor het overlappen van tekens of in de weergave genormaliseerde tekenoverlapping . Het aantal tekensoverlappingen is het werkelijke aantal bereiken dat is voorspeld en gelabeld voor een set entiteiten. Genormaliseerde tekenoverlapping is de verhouding, tussen 0 en 1, van de voorspelde en gelabelde spanten voor een set entiteiten. Soms kunnen entiteiten gedeeltelijk worden voorspeld of gelabeld, wat leidt tot decimale waarden in de verwarringsmatrix.

• Alle waarden: toont de verwarringsmatrix voor alle intenties of entiteiten.

• Alleen fouten: toont de verwarringsmatrix voor intenties of entiteiten met alleen fouten.

• Alleen overeenkomsten: toont de verwarringsmatrix voor intenties of entiteiten met alleen de juiste voorspellingen.

REST-API's

Maak een GET-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om het evaluatieoverzicht van het getrainde model op te halen.

Modelsamenvatting

Deze API retourneert de samenvatting van de evaluatieresultaten van uw model, inclusief de precisie, relevante overeenkomsten, F1 en verwarringsmatrix van uw intenties en entiteiten.

Aanvraag-URL

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Tijdelijke aanduiding	Waarde	Voorbeeld
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor het getrainde model. Deze waarde is hoofdlettergevoelig.	Model1
{API-VERSION}	De versie van de API die u aanroept.	2023-04-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Hoofdtekst van antwoord

Nadat u de aanvraag hebt verzonden, krijgt u het volgende antwoord.

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "intents": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Modelresultaten

Deze API retourneert de afzonderlijke resultaten voor elke uiting, inclusief de verwachte en werkelijke voorspellingen voor intenties en entiteiten.

Aanvraag-URL

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/result?top={top}&skip={skip}&maxpagesize={maxpagesize}&api-version={API-VERSION}

Tijdelijke aanduiding	Waarde	Voorbeeld
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor het getrainde model. Deze waarde is hoofdlettergevoelig.	Model1
{API-VERSION}	De versie van de API die u aanroept.	2023-04-01
{top}	Het maximum aantal utterances dat moet worden geretourneerd vanuit de verzameling. Optioneel.	100
{skip}	Een verschuiving in de verzameling van de eerste utterance die moet worden geretourneerd. Optioneel.	100
{maxpagesize}	Het maximum aantal utterances dat in één antwoord moet worden opgenomen. Optioneel	100

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Hoofdtekst van antwoord

Nadat u de aanvraag hebt verzonden, krijgt u het volgende antwoord.

{
  "value": [
    {
      "text": "send the email",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [],
        "predictedEntities": []
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "send a mail to daniel",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 15,
            "length": 6
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 15,
            "length": 6
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "i forgot to add an important part to that email to james . please set it up to edit",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 51,
            "length": 5
          }
        ],
        "predictedEntities": [
          {
            "category": "Category",
            "offset": 19,
            "length": 9
          },
          {
            "category": "ContactName",
            "offset": 51,
            "length": 5
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "AddMore",
        "predictedIntent": "AddMore"
      }
    },
    {
      "text": "send email to a and tian",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 14,
            "length": 1
          },
          {
            "category": "ContactName",
            "offset": 20,
            "length": 4
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 14,
            "length": 1
          },
          {
            "category": "ContactName",
            "offset": 20,
            "length": 4
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "send thomas an email",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 5,
            "length": 6
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 5,
            "length": 6
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "i need to add more to the email message i am sending to vincent",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 56,
            "length": 7
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 56,
            "length": 7
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "AddMore",
        "predictedIntent": "AddMore"
      }
    },
    {
      "text": "send an email to lily roth and abc123@microsoft.com",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 9
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 9
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "i need to add something else to my email to cheryl",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 44,
            "length": 6
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 44,
            "length": 6
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "AddMore",
        "predictedIntent": "AddMore"
      }
    },
    {
      "text": "send an email to larry , joseph and billy larkson",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 5
          },
          {
            "category": "ContactName",
            "offset": 25,
            "length": 6
          },
          {
            "category": "ContactName",
            "offset": 36,
            "length": 13
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 5
          },
          {
            "category": "ContactName",
            "offset": 25,
            "length": 6
          },
          {
            "category": "ContactName",
            "offset": 36,
            "length": 13
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "send mail to dorothy",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 13,
            "length": 7
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 13,
            "length": 7
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    }
  ],
  "nextLink": "{Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/result/?api-version=2022-10-01-preview&top={top}&skip={skip}&maxpagesize={maxpagesize}"
}

Modelgegevens laden of exporteren

Taalstudio

Uw modelgegevens laden :

1. Selecteer een model op de pagina modelevaluatie .

2. Selecteer de knop Modelgegevens laden .

3. Controleer of u geen niet-opgeslagen wijzigingen hebt die u wilt vastleggen in het venster dat wordt weergegeven en selecteer Gegevens laden.

4. Wacht totdat de modelgegevens weer in uw project zijn geladen. Na voltooiing wordt u teruggeleid naar de pagina Schemaontwerp .

Uw modelgegevens exporteren :

1. Selecteer een model op de pagina modelevaluatie .

2. Selecteer de knop Modelgegevens exporteren . Wacht tot de JSON-momentopname van uw model lokaal is gedownload.

REST-API's

Modelgegevens laden

Maak een POST-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om uw modelgegevens in uw project te laden.

Aanvraag-URL

Gebruik de volgende URL bij het maken van uw API-aanvraag. Vervang de waarden van de tijdelijke aanduidingen hieronder door uw eigen waarden.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Tijdelijke aanduiding	Waarde	Voorbeeld
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	EmailApp
{API-VERSION}	De versie van de API die u aanroept.	2022-10-01-preview
{MODEL-NAME}	De naam van uw model. Deze waarde is hoofdlettergevoelig.	v1

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Zodra u uw API-aanvraag hebt verzonden, ontvangt u een 202 antwoord dat aangeeft dat het is gelukt. Extraheer de waarde in de operation-location antwoordheaders. De indeling wordt als volgt weergegeven:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wordt gebruikt om uw aanvraag te identificeren, omdat deze bewerking asynchroon is. Gebruik deze URL om de status van het laden van uw modelgegevens op te halen met behulp van dezelfde verificatiemethode.

Modelgegevens exporteren

Maak een POST-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om uw modelgegevens te exporteren.

Aanvraag-URL

Gebruik de volgende URL bij het maken van uw API-aanvraag. Vervang de waarden van de tijdelijke aanduidingen hieronder door uw eigen waarden.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Tijdelijke aanduiding	Waarde	Voorbeeld
{ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	EmailApp
{API-VERSION}	De versie van de API die u aanroept.	2022-10-01-preview
{MODEL-NAME}	De naam van uw model. Deze waarde is hoofdlettergevoelig.	v1

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Zodra u uw API-aanvraag hebt verzonden, ontvangt u een 202 antwoord dat aangeeft dat het is gelukt. Extraheer de waarde in de operation-location antwoordheaders. De indeling wordt als volgt weergegeven:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID wordt gebruikt om uw aanvraag te identificeren, omdat deze bewerking asynchroon is. Gebruik deze URL om de geëxporteerde project-JSON op te halen met behulp van dezelfde verificatiemethode.

Model verwijderen

Taalstudio

Uw model verwijderen vanuit Language Studio:

1. Selecteer Modelprestaties in het menu aan de linkerkant.

2. Selecteer de modelnaam die u wilt verwijderen en selecteer Verwijderen in het bovenste menu.

3. Selecteer OK in het venster dat wordt weergegeven om het model te verwijderen.

REST-API's

Maak een DELETE-aanvraag met behulp van de volgende URL, headers en JSON-hoofdtekst om een model te verwijderen.

Aanvraag-URL

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}?api-version={API-VERSION}

Tijdelijke aanduiding	Waarde	Voorbeeld
{YOUR-ENDPOINT}	Het eindpunt voor het verifiëren van uw API-aanvraag.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	De naam voor uw project. Deze waarde is hoofdlettergevoelig.	myProject
{trainedModelLabel}	De naam voor uw modelnaam. Deze waarde is hoofdlettergevoelig.	model1
{API-VERSION}	De versie van de API die u aanroept.	2023-04-01

Kopteksten

Gebruik de volgende header om uw aanvraag te verifiëren.

Sleutel	Waarde
Ocp-Apim-Subscription-Key	De sleutel voor uw resource. Wordt gebruikt voor het verifiëren van uw API-aanvragen.

Nadat u uw API-aanvraag hebt verzonden, ontvangt u een 204 antwoord dat aangeeft dat het is gelukt, wat betekent dat uw model is verwijderd.

Volgende stappen

• Wanneer u bekijkt hoe uw model presteert, krijgt u meer informatie over de metrische evaluatiegegevens die worden gebruikt.
• Als u tevreden bent met de prestaties van uw model, kunt u uw model implementeren