Visa information om modellen för förståelse av konversationsspråk

När modellträningen är klar kan du visa modellinformationen och se hur bra den presterar mot testuppsättningen.

Anteckning

Om du använder alternativet Dela upp testuppsättningen automatiskt från träningsdata kan det resultera i olika modellutvärderingsresultat varje gång du tränar en ny modell, eftersom testuppsättningen väljs slumpmässigt från dina yttranden. Se till att undvikandet beräknas på samma testuppsättning varje gång du tränar en modell genom att använda alternativet Använd en manuell delning av tränings- och testdata när du startar ett träningsjobb och definierar testuppsättningen när du lägger till yttranden.

Förutsättningar

Innan du visar en modells utvärdering behöver du:

• Ett projekt har skapats.
• En modell som har tränats.

Mer information finns i livscykeln för projektutveckling .

Modellinformation

Language Studio

1. Gå till projektsidan i Language Studio.

2. Välj Modellprestanda på menyn till vänster på skärmen.

3. På den här sidan kan du bara visa de modeller som tränats, F1-poängen för varje modell och modellens förfallodatum. Du kan välja modellnamnet för mer information om dess prestanda. Modeller innehåller bara utvärderingsinformation om det har valts testdata när modellen tränas.

Översikt

• På den här fliken kan du visa modellens information, till exempel: F1-poäng, precision, träffsäkerhet, datum och tid för träningsjobbet, total träningstid och antalet tränings- och testyttranden som ingår i det här träningsjobbet. Du kan visa information mellan avsikter eller entiteter genom att välja Modelltyp högst upp.

  

• Du får också vägledning om hur du kan förbättra modellen. När du klickar på Visa information öppnas en sidopanel för att ge mer vägledning om hur du kan förbättra modellen.

  

Prestanda för modelltyp

• Det här är en ögonblicksbild av hur din modell presterade under testningen. Måtten här är statiska och knutna till din modell, så de uppdateras inte förrän du tränar igen.

• För varje avsikt eller entitet kan du se precision, träffsäkerhet, F1-poäng, antal tränings- och testetiketter. Entiteter som inte innehåller en inlärd komponent visar inga träningsetiketter. En inlärd komponent läggs bara till genom att du lägger till etiketter i träningsuppsättningen.

  

Testuppsättningsinformation

• Här ser du yttrandena som ingår i testuppsättningen och deras avsikter eller entitetsförutsägelser. Du kan bara använda växlingsknappen Visa fel om du bara vill visa yttranden där det finns olika förutsägelser från deras etiketter eller avmarkera växlingsknappen för att visa alla yttranden i testuppsättningen. Du kan också växla vyn mellan Visa entitetsetiketter som vy för varje yttrande eller Visa entitetsförutsägelser. Entitetsförutsägelser visas som streckade linjer och etiketter visas som heldragna linjer.

• Du kan expandera varje rad för att visa dess avsikt eller entitetsförutsägelser, som anges av kolumnen Modelltyp . Kolumnen Text visar texten i entiteten som förutsagts eller etiketterats. Varje rad har kolumnen Etikett som för att ange etiketten i testuppsättningen och kolumnen Förutsagd som för att ange den faktiska förutsägelsen. Dessutom ser du om det är en sann positiv, falsk positiv eller falsk negativ i kolumnen Resultattyp .

  

Datauppsättningsdistribution

Den här ögonblicksbilden visar hur avsikter eller entiteter distribueras i dina tränings- och testuppsättningar. Dessa data är statiska och knutna till din modell, så de uppdateras inte förrän du tränar igen. Entiteter som inte innehåller en inlärd komponent visar inga träningsetiketter. En inlärd komponent läggs bara till genom att du lägger till etiketter i träningsuppsättningen.

Förvirringsmatris

En felmatris är en N x N-matris som används för att utvärdera modellens prestanda, där N är antalet målinsikter eller entiteter. Matrisen jämför de förväntade etiketterna med de som förutsägs av modellen för att identifiera vilka avsikter eller entiteter som felklassificeras som andra avsikter och entiteter. Du kan klicka i valfri cell i felmatrisen för att identifiera exakt vilka yttranden som bidrog till värdena i cellen.

Du kan visa avsiktens förvirringsmatris i råantal eller normaliserad vy. Antalet rådata är det faktiska antalet yttranden som har förutsagts och märkts för en uppsättning avsikter. Normaliserat värde är förhållandet mellan 0 och 1 av de förutsagda och märkta yttrandena för en uppsättning avsikter.

Du kan visa entitetens felmatris i tecken överlappningsantal eller normaliserad tecken överlappningsvy . Antal tecken överlappningar är det faktiska antalet intervall som har förutsagts och märkts för en uppsättning entiteter. Normaliserad teckenlappning är förhållandet mellan 0 och 1 av de förutsagda och märkta intervallen för en uppsättning entiteter. Ibland kan entiteter förutsägas eller märkas delvis, vilket leder till decimalvärden i felmatrisen.

• Alla värden: Visar felmatrisen för alla avsikter eller entiteter.

• Endast fel: Visar förvirringsmatrisen för avsikter eller entiteter med endast fel.

• Endast matchningar: Visar förvirringsmatrisen för avsikter eller entiteter med endast korrekta förutsägelser.

REST API:er

Skapa en GET-begäran med hjälp av följande URL, rubriker och JSON-brödtext för att hämta den tränade modellutvärderingssammanfattningen.

Modellsammanfattning

Det här API:et returnerar sammanfattningen av modellens utvärderingsresultat, inklusive precision, träffsäkerhet, F1 och förvirringsmatris för dina avsikter och entiteter.

Begärans-URL

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Platshållare	Värde	Exempel
{ENDPOINT}	Slutpunkten för att autentisera din API-begäran.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Namnet på projektet. Det här värdet är skiftlägeskänsligt.	myProject
{trainedModelLabel}	Namnet på din tränade modell. Det här värdet är skiftlägeskänsligt.	Model1
{API-VERSION}	Den version av API:et som du anropar.	2023-04-01

Sidhuvuden

Använd följande rubrik för att autentisera din begäran.

Tangent	Värde
Ocp-Apim-Subscription-Key	Nyckeln till din resurs. Används för att autentisera dina API-begäranden.

Svarstext

När du har skickat begäran får du följande svar.

{
  "entitiesEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "intentsEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "intents": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Modellresultat

Det här API:et returnerar enskilda resultat för varje yttrande, inklusive deras förväntade och faktiska förutsägelser för avsikter och entiteter.

Begärans-URL

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/result?top={top}&skip={skip}&maxpagesize={maxpagesize}&api-version={API-VERSION}

Platshållare	Värde	Exempel
{ENDPOINT}	Slutpunkten för att autentisera din API-begäran.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Namnet på projektet. Det här värdet är skiftlägeskänsligt.	myProject
{trainedModelLabel}	Namnet på din tränade modell. Det här värdet är skiftlägeskänsligt.	Model1
{API-VERSION}	Den version av API:et som du anropar.	2023-04-01
{top}	Det maximala antalet yttranden som ska returneras från samlingen. Valfritt.	100
{skip}	En förskjutning i samlingen av det första yttrandet som ska returneras. Valfritt.	100
{maxpagesize}	Det maximala antalet yttranden som ska inkluderas i ett enda svar. Valfritt	100

Sidhuvuden

Använd följande rubrik för att autentisera din begäran.

Tangent	Värde
Ocp-Apim-Subscription-Key	Nyckeln till din resurs. Används för att autentisera dina API-begäranden.

Svarstext

När du har skickat begäran får du följande svar.

{
  "value": [
    {
      "text": "send the email",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [],
        "predictedEntities": []
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "send a mail to daniel",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 15,
            "length": 6
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 15,
            "length": 6
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "i forgot to add an important part to that email to james . please set it up to edit",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 51,
            "length": 5
          }
        ],
        "predictedEntities": [
          {
            "category": "Category",
            "offset": 19,
            "length": 9
          },
          {
            "category": "ContactName",
            "offset": 51,
            "length": 5
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "AddMore",
        "predictedIntent": "AddMore"
      }
    },
    {
      "text": "send email to a and tian",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 14,
            "length": 1
          },
          {
            "category": "ContactName",
            "offset": 20,
            "length": 4
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 14,
            "length": 1
          },
          {
            "category": "ContactName",
            "offset": 20,
            "length": 4
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "send thomas an email",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 5,
            "length": 6
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 5,
            "length": 6
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "i need to add more to the email message i am sending to vincent",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 56,
            "length": 7
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 56,
            "length": 7
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "AddMore",
        "predictedIntent": "AddMore"
      }
    },
    {
      "text": "send an email to lily roth and abc123@microsoft.com",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 9
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 9
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "i need to add something else to my email to cheryl",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 44,
            "length": 6
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 44,
            "length": 6
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "AddMore",
        "predictedIntent": "AddMore"
      }
    },
    {
      "text": "send an email to larry , joseph and billy larkson",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 5
          },
          {
            "category": "ContactName",
            "offset": 25,
            "length": 6
          },
          {
            "category": "ContactName",
            "offset": 36,
            "length": 13
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 17,
            "length": 5
          },
          {
            "category": "ContactName",
            "offset": 25,
            "length": 6
          },
          {
            "category": "ContactName",
            "offset": 36,
            "length": 13
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    },
    {
      "text": "send mail to dorothy",
      "language": "en-us",
      "entitiesResult": {
        "expectedEntities": [
          {
            "category": "ContactName",
            "offset": 13,
            "length": 7
          }
        ],
        "predictedEntities": [
          {
            "category": "ContactName",
            "offset": 13,
            "length": 7
          }
        ]
      },
      "intentsResult": {
        "expectedIntent": "SendEmail",
        "predictedIntent": "SendEmail"
      }
    }
  ],
  "nextLink": "{Endpoint}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}/evaluation/result/?api-version=2022-10-01-preview&top={top}&skip={skip}&maxpagesize={maxpagesize}"
}

Läsa in eller exportera modelldata

Language Studio

Så här läser du in dina modelldata:

1. Välj en modell på modellutvärderingssidan .

2. Välj knappen Läs in modelldata .

3. Bekräfta att du inte har några osparade ändringar som du behöver avbilda i fönstret som visas och välj Läs in data.

4. Vänta tills dina modelldata har slutfört inläsningen i projektet. När du är klar omdirigeras du tillbaka till sidan Schemadesign .

Så här exporterar du modelldata:

1. Välj en modell på modellutvärderingssidan .

2. Välj knappen Exportera modelldata . Vänta tills JSON-ögonblicksbilden av modellen laddas ned lokalt.

REST API:er

Läsa in modelldata

Skapa en POST-begäran med hjälp av följande URL, rubriker och JSON-brödtext för att läsa in modelldata till projektet.

Begärans-URL

Använd följande URL när du skapar din API-begäran. Ersätt platshållarvärdena nedan med dina egna värden.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Platshållare	Värde	Exempel
{ENDPOINT}	Slutpunkten för att autentisera din API-begäran.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Namnet på projektet. Det här värdet är skiftlägeskänsligt.	EmailApp
{API-VERSION}	Den version av API:et som du anropar.	2022-10-01-preview
{MODEL-NAME}	Namnet på din modell. Det här värdet är skiftlägeskänsligt.	v1

Sidhuvuden

Använd följande rubrik för att autentisera din begäran.

Tangent	Värde
Ocp-Apim-Subscription-Key	Nyckeln till din resurs. Används för att autentisera dina API-begäranden.

När du har skickat din API-begäran får du ett 202 svar som anger att det lyckades. Extrahera värdet i svarshuvudena operation-location . Den formateras så här:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID används för att identifiera din begäran, eftersom den här åtgärden är asynkron. Använd den här URL:en för att hämta status för din modelldatainläsning med samma autentiseringsmetod.

Exportera modelldata

Skapa en POST-begäran med hjälp av följande URL, rubriker och JSON-brödtext för att exportera dina modelldata.

Begärans-URL

Använd följande URL när du skapar din API-begäran. Ersätt platshållarvärdena nedan med dina egna värden.

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Platshållare	Värde	Exempel
{ENDPOINT}	Slutpunkten för att autentisera din API-begäran.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Namnet på projektet. Det här värdet är skiftlägeskänsligt.	EmailApp
{API-VERSION}	Den version av API:et som du anropar.	2022-10-01-preview
{MODEL-NAME}	Namnet på din modell. Det här värdet är skiftlägeskänsligt.	v1

Sidhuvuden

Använd följande rubrik för att autentisera din begäran.

Tangent	Värde
Ocp-Apim-Subscription-Key	Nyckeln till din resurs. Används för att autentisera dina API-begäranden.

När du har skickat din API-begäran får du ett 202 svar som anger att det lyckades. Extrahera värdet i svarshuvudena operation-location . Den formateras så här:

{ENDPOINT}/language/authoring/analyze-conversations/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID används för att identifiera din begäran, eftersom den här åtgärden är asynkron. Använd den här URL:en för att hämta det exporterade projektets JSON med samma autentiseringsmetod.

Ta bort modell

Language Studio

Så här tar du bort din modell från Language Studio:

1. Välj Modellprestanda på menyn till vänster.

2. Välj det modellnamn som du vill ta bort och välj Ta bort på den översta menyn.

3. I fönstret som visas väljer du OK för att ta bort modellen.

REST API:er

Skapa en DELETE-begäran med hjälp av följande URL, rubriker och JSON-brödtext för att ta bort en modell.

Begärans-URL

{ENDPOINT}/language/authoring/analyze-conversations/projects/{projectName}/models/{trainedModelLabel}?api-version={API-VERSION}

Platshållare	Värde	Exempel
{YOUR-ENDPOINT}	Slutpunkten för att autentisera din API-begäran.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Namnet på projektet. Det här värdet är skiftlägeskänsligt.	myProject
{trainedModelLabel}	Namnet på modellnamnet. Det här värdet är skiftlägeskänsligt.	model1
{API-VERSION}	Den version av API:et som du anropar.	2023-04-01

Sidhuvuden

Använd följande rubrik för att autentisera din begäran.

Tangent	Värde
Ocp-Apim-Subscription-Key	Nyckeln till din resurs. Används för att autentisera dina API-begäranden.

När du har skickat din API-begäran får du ett 204 svar som anger att det lyckades, vilket innebär att din modell har tagits bort.

Nästa steg

• När du granskar hur din modell presterar kan du lära dig mer om de utvärderingsmått som används.
• Om du är nöjd med modellens prestanda kan du distribuera din modell