Visa den anpassade NER-modellens utvärdering och information

När din modell har tränats klart kan du visa modellens prestanda och se de extraherade entiteterna för dokumenten i testuppsättningen.

Anteckning

Om du använder alternativet Dela upp testuppsättningen automatiskt från träningsdata kan det resultera i olika modellutvärderingsresultat varje gång du tränar en ny modell, eftersom testuppsättningen väljs slumpmässigt från data. Se till att undvikande beräknas på samma testuppsättning varje gång du tränar en modell genom att använda alternativet Använd en manuell delning av tränings- och testdata när du startar ett träningsjobb och definierar dina testdokument när du etiketterar data.

Förutsättningar

Innan du visar modellutvärderingen behöver du:

• Ett projekt som har skapats med ett konfigurerat Azure Blob Storage-konto.
• Textdata som har laddats upp till ditt lagringskonto .
• Etiketterade data
• En modell som tränats

Mer information finns i livscykeln för projektutveckling .

Modellinformation

Language Studio

1. Gå till projektsidan i Language Studio.

2. Välj Modellprestanda på menyn till vänster på skärmen.

3. På den här sidan kan du bara visa modeller som tränats, F1-poäng för varje modell och modellens förfallodatum. Du kan välja modellnamnet för mer information om dess prestanda.

Anteckning

Entiteter som varken är märkta eller förutsagda i testuppsättningen kommer inte att ingå i de visade resultaten.

Översikt

• På den här fliken kan du visa modellens information, till exempel: F1-poäng, precision, träffsäkerhet, datum och tid för träningsjobbet, total träningstid och antalet tränings- och testdokument som ingår i det här träningsjobbet.

  

• Du får också vägledning om hur du kan förbättra modellen. När du klickar på Visa information öppnas en sidopanel för att ge mer vägledning om hur du kan förbättra modellen. I det här exemplet förväxlas entiteterna BorrowerAddress och BorrowerName med $none entitet. Genom att klicka på de förvirrade entiteterna kommer du till sidan för dataetiketter för att märka mer data med rätt entitet.

  

  Läs mer om modellvägledning och felmatris i modellprestandabegrepp .

Prestanda för entitetstyp

• Det här är en ögonblicksbild av hur din modell presterade under testningen. Måtten här är statiska och knutna till din modell, så de uppdateras inte förrän du tränar igen.

• Du kan se för varje entitet, precision, träffsäkerhet, F1-poäng, antal tränings- och testetiketter.

  

Testuppsättningsinformation

• Här visas dokumenten som ingår i testuppsättningen och resultatentitetstypen för varje dokument. Du kan endast använda växlingsknappen Visa matchningsfel om du bara vill visa dokument med matchningsfel eller avmarkera växlingsknappen för att visa alla dokument i testuppsättningen.

• För varje dokument kan du visa: märkt text, dess respektive märkta entitetstyp och vilken entitet den förutsades med. Dessutom ser du om det är en sann positiv, falsk positiv eller falsk negativ.

  

Datauppsättningsdistribution

Den här ögonblicksbilden visar hur entiteter distribueras i dina tränings- och testuppsättningar. Dessa data är statiska och knutna till din modell, så de uppdateras inte förrän du tränar igen.

• Du kan visa datauppsättningsdistributionen i diagram - eller tabellvyn .

Diagramvy

• Dokument med minst en etikett: Den här vyn visar för varje entitet antalet förekomster för den här entiteten i tränings- och testuppsättningarna.

• Totalt antal instanser i dokument: Den här vyn visas för varje entitet, de märkta förekomsterna i tränings- och testuppsättningar.

  

Tabellvy

För varje entitet kan du visa: taggar per entitet i träningsuppsättningen, taggade dokument i träningsuppsättningen, taggar per entitet i testuppsättningen, taggade dokument i testuppsättningen, taggar per entitetssumma och totalt taggade dokument.

Förvirringsmatris

En felmatris är en N x N-matris som används för att utvärdera prestanda för en klassificeringsmodell, där N är antalet målentiteter. Matrisen jämför de faktiska målvärdena med de som förutsägs av maskininlärningsmodellen för att visa hur väl extraheringsmodellen presterar och vilka typer av fel den gör.

Du kan visa felmatrisen i normaliserad eller råantalsvy .

• Alla värden: Visar förvirringsmatrisen för alla entiteter.

• Endast fel: Visar endast felmatrisen för entiteter.

• Endast matchningar: Visar endast förvirringsmatrisen för entiteter med rätt förutsägelser.

REST API:er

Skicka en GET-begäran med hjälp av följande URL, rubriker och JSON-brödtext för att få en tränad modellutvärderingssammanfattning.

Begärans-URL

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}/evaluation/summary-result?api-version={API-VERSION}

Platshållare	Värde	Exempel
{ENDPOINT}	Slutpunkten för att autentisera din API-begäran.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Namnet på projektet. Det här värdet är skiftlägeskänsligt.	myProject
{trainedModelLabel}	Namnet på din tränade modell. Det här värdet är skiftlägeskänsligt.	Model1
{API-VERSION}	Den version av API:et som du anropar. Mer information om andra tillgängliga API-versioner finns i Modelllivscykel .	2022-05-01

Sidhuvuden

Använd följande rubrik för att autentisera din begäran.

Tangent	Värde
Ocp-Apim-Subscription-Key	Nyckeln till din resurs. Används för att autentisera dina API-begäranden.

Svarstext

När du har skickat begäran får du följande svar.

{
  "projectKind": "CustomEntityRecognition",
  "customEntityRecognitionEvaluation": {
    "confusionMatrix": {
      "additionalProp1": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp2": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      },
      "additionalProp3": {
        "additionalProp1": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp2": {
          "normalizedValue": 0,
          "rawValue": 0
        },
        "additionalProp3": {
          "normalizedValue": 0,
          "rawValue": 0
        }
      }
    },
    "entities": {
      "additionalProp1": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp2": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      },
      "additionalProp3": {
        "f1": 0,
        "precision": 0,
        "recall": 0,
        "truePositivesCount": 0,
        "trueNegativesCount": 0,
        "falsePositivesCount": 0,
        "falseNegativesCount": 0
      }
    },
    "microF1": 0,
    "microPrecision": 0,
    "microRecall": 0,
    "macroF1": 0,
    "macroPrecision": 0,
    "macroRecall": 0
  },
  "evaluationOptions": {
    "kind": "percentage",
    "trainingSplitPercentage": 0,
    "testingSplitPercentage": 0
  }
}

Läsa in eller exportera modelldata

Language Studio

Så här läser du in dina modelldata:

1. Välj en modell på modellutvärderingssidan .

2. Välj knappen Läs in modelldata .

3. Bekräfta att du inte har några osparade ändringar som du behöver avbilda i fönstret som visas och välj Läs in data.

4. Vänta tills dina modelldata har slutfört inläsningen i projektet. När du är klar omdirigeras du tillbaka till sidan Schemadesign .

Så här exporterar du modelldata:

1. Välj en modell på modellutvärderingssidan .

2. Välj knappen Exportera modelldata . Vänta tills JSON-ögonblicksbilden av modellen laddas ned lokalt.

REST API:er

Läsa in modelldata

Skapa en POST-begäran med hjälp av följande URL, rubriker och JSON-brödtext för att läsa in modelldata till projektet.

Begärans-URL

Använd följande URL när du skapar din API-begäran. Ersätt platshållarvärdena nedan med dina egna värden.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}:load-snapshot?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}

Platshållare	Värde	Exempel
{ENDPOINT}	Slutpunkten för att autentisera din API-begäran.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Namnet på projektet. Det här värdet är skiftlägeskänsligt.	EmailApp
{API-VERSION}	Den version av API:et som du anropar.	2022-10-01-preview
{MODEL-NAME}	Namnet på din modell. Det här värdet är skiftlägeskänsligt.	v1

Sidhuvuden

Använd följande rubrik för att autentisera din begäran.

Tangent	Värde
Ocp-Apim-Subscription-Key	Nyckeln till din resurs. Används för att autentisera dina API-begäranden.

När du har skickat din API-begäran får du ett 202 svar som anger att det lyckades. Extrahera värdet i svarshuvudena operation-location . Den formateras så här:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{MODEL-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID används för att identifiera din begäran, eftersom den här åtgärden är asynkron. Använd den här URL:en för att hämta status för din modelldatainläsning med samma autentiseringsmetod.

Exportera modelldata

Skapa en POST-begäran med hjälp av följande URL, rubriker och JSON-brödtext för att exportera dina modelldata.

Begärans-URL

Använd följande URL när du skapar din API-begäran. Ersätt platshållarvärdena nedan med dina egna värden.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/:export?stringIndexType=Utf16CodeUnit&api-version={API-VERSION}&trainedModelLabel={MODEL-NAME}

Platshållare	Värde	Exempel
{ENDPOINT}	Slutpunkten för att autentisera din API-begäran.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Namnet på projektet. Det här värdet är skiftlägeskänsligt.	EmailApp
{API-VERSION}	Den version av API:et som du anropar.	2022-10-01-preview
{MODEL-NAME}	Namnet på din modell. Det här värdet är skiftlägeskänsligt.	v1

Sidhuvuden

Använd följande rubrik för att autentisera din begäran.

Tangent	Värde
Ocp-Apim-Subscription-Key	Nyckeln till din resurs. Används för att autentisera dina API-begäranden.

När du har skickat din API-begäran får du ett 202 svar som anger att det lyckades. Extrahera värdet i svarshuvudena operation-location . Den formateras så här:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/jobs/{JOB-ID}?api-version={API-VERSION}

JOB-ID används för att identifiera din begäran, eftersom den här åtgärden är asynkron. Använd den här URL:en för att hämta det exporterade projektets JSON med samma autentiseringsmetod.

Ta bort modell

Language Studio

Så här tar du bort din modell från Language Studio:

1. Välj Modellprestanda på menyn till vänster.

2. Välj det modellnamn som du vill ta bort och välj Ta bort på den översta menyn.

3. I fönstret som visas väljer du OK för att ta bort modellen.

REST API:er

Skapa en DELETE-begäran med hjälp av följande URL, rubriker och JSON-brödtext för att ta bort en tränad modell.

Begärans-URL

{Endpoint}/language/authoring/analyze-text/projects/{PROJECT-NAME}/models/{trainedModelLabel}?api-version={API-VERSION}

Platshållare	Värde	Exempel
{ENDPOINT}	Slutpunkten för att autentisera din API-begäran.	https://<your-custom-subdomain>.cognitiveservices.azure.com
{PROJECT-NAME}	Namnet på projektet. Det här värdet är skiftlägeskänsligt.	myProject
{trainedModelLabel}	Namnet på modellnamnet. Det här värdet är skiftlägeskänsligt.	model1
{API-VERSION}	Den version av API:et som du anropar. Värdet som refereras här är för den senaste versionen som släpptes. Mer information om andra tillgängliga API-versioner finns i Modelllivscykel .	2022-05-01

Sidhuvuden

Använd följande rubrik för att autentisera din begäran.

Tangent	Värde
Ocp-Apim-Subscription-Key	Nyckeln till din resurs. Används för att autentisera dina API-begäranden.

När du har skickat din API-begäran får du ett 204 svar som anger att den lyckades, vilket innebär att din tränade modell har tagits bort.

Nästa steg

• Distribuera din modell
• Lär dig mer om måtten som används i utvärderingen.