Egyéni beszédmodell felismerési minőségének tesztelése

Cikk
01/22/2024

Az egyéni beszédmodellek felismerési minőségét a Speech Studióban tekintheti meg. Lejátszhatja a feltöltött hangokat, és megállapíthatja, hogy a megadott felismerés eredménye helyes-e. A teszt sikeres létrehozása után láthatja, hogy egy modell hogyan írta át a hangadatkészletet, vagy összehasonlíthatja két modell eredményeit egymás mellett.

Az egymás melletti modelltesztelés hasznos annak ellenőrzéséhez, hogy melyik beszédfelismerési modell a legjobb egy alkalmazáshoz. A pontosság objektív méréséhez, amelyhez átírási adatkészletek bemenete szükséges, tekintse meg a modell mennyiségi tesztelését.

Fontos

A tesztelés során a rendszer átírást végez. Ezt fontos szem előtt tartani, mivel a díjszabás szolgáltatásajánlatonként és előfizetési szintenként eltérő. A legfrissebb részletekért mindig tekintse meg az Azure AI-szolgáltatások hivatalos díjszabását.

Teszt létrehozása

Teszt létrehozásához kövesse az alábbi utasításokat:

Jelentkezzen be a Speech Studióba.
Lépjen a Speech Studio>Custom Speechre , és válassza ki a projekt nevét a listából.
Válassza a Tesztmodellek>Új teszt létrehozása lehetőséget.
Válassza a Minőség vizsgálata (csak hangadatok)>Tovább lehetőséget.
Válasszon ki egy hangadatkészletet, amelyet tesztelni szeretne, majd válassza a Tovább gombot. Ha nincs elérhető adathalmaz, szakítsa meg a beállítást, majd lépjen a Speech adathalmazok menübe az adathalmazok feltöltéséhez.
Válasszon ki egy vagy két modellt a pontosság kiértékeléséhez és összehasonlításához.
Adja meg a teszt nevét és leírását, majd kattintson a Tovább gombra.
Tekintse át a beállításokat, majd válassza a Mentés és bezárás lehetőséget.

Teszt létrehozásához használja a spx csr evaluation create parancsot. A kérelemparamétereket az alábbi utasítások szerint hozhatja létre:

Állítsa a project paramétert egy meglévő projekt azonosítójára. Ez a paraméter ajánlott, hogy a tesztet a Speech Studióban is megtekinthesse. Futtathatja a parancsot az spx csr project list elérhető projektek lekéréséhez.
Állítsa be a szükséges model1 paramétert a tesztelni kívánt modell azonosítójára.
Állítsa be a szükséges model2 paramétert egy másik tesztelni kívánt modell azonosítójára. Ha nem szeretne két modellt összehasonlítani, használja ugyanazt a modellt mindkettőhöz model1 és model2.
Állítsa be a szükséges dataset paramétert a teszthez használni kívánt adathalmaz azonosítójára.
Állítsa be a paramétert language , ellenkező esetben a Speech CLI alapértelmezés szerint az "en-US" értéket állítja be. Ennek a paraméternek kell lennie az adathalmaz tartalmának területi beállításának. A területi beállítás később nem módosítható. A Speech CLI language paraméter megfelel a locale JSON-kérés és -válasz tulajdonságának.
Adja meg a szükséges name paramétert. Ez a paraméter a Speech Studióban megjelenített név. A Speech CLI name paraméter megfelel a displayName JSON-kérés és -válasz tulajdonságának.

Íme egy példa a Speech CLI-parancsra, amely létrehoz egy tesztet:

spx csr evaluation create --api-version v3.1 --project 9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226 --dataset be378d9d-a9d7-4d4a-820a-e0432e8678c7 --model1 ff43e922-e3e6-4bf0-8473-55c08fd68048 --model2 1aae1070-7972-47e9-a977-87e3b05c457d --name "My Inspection" --description "My Inspection Description"

A válasz törzsének a következő formátumban kell érkeznie:

{
  "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
  "model1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
  },
  "model2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
  },
  "dataset": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
  },
  "transcription2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
  },
  "transcription1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
  },
  "links": {
    "files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
  },
  "properties": {
    "wordErrorRate2": -1.0,
    "wordErrorRate1": -1.0,
    "sentenceErrorRate2": -1.0,
    "sentenceCount2": -1,
    "wordCount2": -1,
    "correctWordCount2": -1,
    "wordSubstitutionCount2": -1,
    "wordDeletionCount2": -1,
    "wordInsertionCount2": -1,
    "sentenceErrorRate1": -1.0,
    "sentenceCount1": -1,
    "wordCount1": -1,
    "correctWordCount1": -1,
    "wordSubstitutionCount1": -1,
    "wordDeletionCount1": -1,
    "wordInsertionCount1": -1
  },
  "lastActionDateTime": "2022-05-20T16:42:43Z",
  "status": "NotStarted",
  "createdDateTime": "2022-05-20T16:42:43Z",
  "locale": "en-US",
  "displayName": "My Inspection",
  "description": "My Inspection Description"
}

A válasz törzsének legfelső szintű self tulajdonsága az értékelés URI-ja. Ezzel az URI-val részletes információkat kaphat a projektről és a tesztelési eredményekről. Ezzel az URI-val is frissítheti vagy törölheti az értékelést.

A Speech CLI kiértékelésekkel kapcsolatos súgójához futtassa a következő parancsot:

spx help csr evaluation

Teszt létrehozásához használja a Speech to text REST API Evaluations_Create műveletét. A kérelem törzsének összeállítása az alábbi utasítások szerint:

Állítsa a project tulajdonságot egy meglévő projekt URI-jára. Ez a tulajdonság ajánlott, hogy a tesztet a Speech Studióban is megtekinthesse. Projects_List kérést is kérhet az elérhető projektek beszerzéséhez.
Állítsa a szükséges model1 tulajdonságot a tesztelni kívánt modell URI-jára.
Állítsa be a szükséges model2 tulajdonságot egy másik tesztelni kívánt modell URI-jára. Ha nem szeretne két modellt összehasonlítani, használja ugyanazt a modellt mindkettőhöz model1 és model2.
Állítsa be a szükséges dataset tulajdonságot a teszthez használni kívánt adathalmaz URI-jára.
Állítsa be a szükséges locale tulajdonságot. Ennek a tulajdonságnak kell lennie az adathalmaz tartalmának területi beállításának. A területi beállítás később nem módosítható.
Állítsa be a szükséges displayName tulajdonságot. Ez a tulajdonság a Speech Studióban megjelenített név.

Http POST-kérés létrehozása az URI használatával az alábbi példában látható módon. Cserélje le YourSubscriptionKey a Speech erőforráskulcsát, cserélje le YourServiceRegion a Speech erőforrásterületre, és állítsa be a kérés törzstulajdonságait a korábban leírtak szerint.

curl -v -X POST -H "Ocp-Apim-Subscription-Key: YourSubscriptionKey" -H "Content-Type: application/json" -d '{
  "model1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
  },
  "model2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
  },
  "dataset": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
  },
  "displayName": "My Inspection",
  "description": "My Inspection Description",
  "locale": "en-US"
}'  "https://YourServiceRegion.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations"

A válasz törzsének a következő formátumban kell érkeznie:

{
  "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
  "model1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
  },
  "model2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
  },
  "dataset": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
  },
  "transcription2": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
  },
  "transcription1": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
  },
  "project": {
    "self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
  },
  "links": {
    "files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
  },
  "properties": {
    "wordErrorRate2": -1.0,
    "wordErrorRate1": -1.0,
    "sentenceErrorRate2": -1.0,
    "sentenceCount2": -1,
    "wordCount2": -1,
    "correctWordCount2": -1,
    "wordSubstitutionCount2": -1,
    "wordDeletionCount2": -1,
    "wordInsertionCount2": -1,
    "sentenceErrorRate1": -1.0,
    "sentenceCount1": -1,
    "wordCount1": -1,
    "correctWordCount1": -1,
    "wordSubstitutionCount1": -1,
    "wordDeletionCount1": -1,
    "wordInsertionCount1": -1
  },
  "lastActionDateTime": "2022-05-20T16:42:43Z",
  "status": "NotStarted",
  "createdDateTime": "2022-05-20T16:42:43Z",
  "locale": "en-US",
  "displayName": "My Inspection",
  "description": "My Inspection Description"
}

A válasz törzsének legfelső szintű self tulajdonsága az értékelés URI-ja. Ezzel az URI-val részletes információkat kaphat az értékelés projektjéről és a tesztelés eredményeiről. Ezzel az URI-val is frissítheti vagy törölheti az értékelést.

Teszteredmények lekérése

Le kell szereznie a teszteredményeket, és meg kell vizsgálnia a hangadatkészleteket az egyes modellek átirati eredményeihez képest.

A teszteredmények lekéréséhez kövesse az alábbi lépéseket:

Jelentkezzen be a Speech Studióba.
Válassza az Egyéni beszéd> a projekt neve >Tesztmodellek lehetőséget.
Válassza ki a hivatkozást tesztnév alapján.
Miután a teszt befejeződött, a Sikeres állapot beállításnak megfelelően olyan eredményeket kell látnia, amelyek tartalmazzák az egyes tesztelt modellek WER-számát.

Ez a lap felsorolja az adathalmaz összes kimondott szövegét és a felismerési eredményeket, valamint a beküldött adathalmaz átiratát. Különböző hibatípusokat kapcsolhat be, beleértve a beszúrást, a törlést és a helyettesítést. A hang meghallgatásával és az egyes oszlopokban a felismerési eredmények összehasonlításával eldöntheti, hogy melyik modell felel meg az igényeinek, és meghatározhatja, hogy hol van szükség további betanításra és fejlesztésre.

A teszteredmények lekéréséhez használja a spx csr evaluation status parancsot. A kérelemparamétereket az alábbi utasítások szerint hozhatja létre:

Állítsa be a szükséges evaluation paramétert annak a kiértékelésnek az azonosítójára, amelyet le szeretne kapni a teszteredmények között.

Íme egy példa a Speech CLI-parancsra, amely lekéri a teszteredményeket:

spx csr evaluation status --api-version v3.1 --evaluation 8bfe6b05-f093-4ab4-be7d-180374b751ca

A modellek, hangadatkészletek, átiratok és további részletek a válasz törzsében jelennek meg.

A válasz törzsének a következő formátumban kell érkeznie:

{
	"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
	"model1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
	},
	"model2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
	},
	"dataset": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
	},
	"transcription2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
	},
	"transcription1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
	},
	"project": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
	},
	"links": {
		"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
	},
	"properties": {
		"wordErrorRate2": 4.62,
		"wordErrorRate1": 4.6,
		"sentenceErrorRate2": 66.7,
		"sentenceCount2": 3,
		"wordCount2": 173,
		"correctWordCount2": 166,
		"wordSubstitutionCount2": 7,
		"wordDeletionCount2": 0,
		"wordInsertionCount2": 1,
		"sentenceErrorRate1": 66.7,
		"sentenceCount1": 3,
		"wordCount1": 174,
		"correctWordCount1": 166,
		"wordSubstitutionCount1": 7,
		"wordDeletionCount1": 1,
		"wordInsertionCount1": 0
	},
	"lastActionDateTime": "2022-05-20T16:42:56Z",
	"status": "Succeeded",
	"createdDateTime": "2022-05-20T16:42:43Z",
	"locale": "en-US",
	"displayName": "My Inspection",
	"description": "My Inspection Description"
}

A Speech CLI kiértékelésekkel kapcsolatos súgójához futtassa a következő parancsot:

spx help csr evaluation

A teszteredmények lekéréséhez először használja a Speech to text REST API Evaluations_Get műveletét.

Http GET-kérés létrehozása az URI használatával az alábbi példában látható módon. Cserélje le YourEvaluationId a kiértékelési azonosítót, cserélje le YourSubscriptionKey a Speech erőforráskulcsára, és cserélje le YourServiceRegion a Speech erőforrásrégiójára.

curl -v -X GET "https://YourServiceRegion.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/YourEvaluationId" -H "Ocp-Apim-Subscription-Key: YourSubscriptionKey"

A modellek, hangadatkészletek, átiratok és további részletek a válasz törzsében jelennek meg.

A válasz törzsének a következő formátumban kell érkeznie:

{
	"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca",
	"model1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/ff43e922-e3e6-4bf0-8473-55c08fd68048"
	},
	"model2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/models/base/1aae1070-7972-47e9-a977-87e3b05c457d"
	},
	"dataset": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/datasets/be378d9d-a9d7-4d4a-820a-e0432e8678c7"
	},
	"transcription2": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/6eaf6a15-6076-466a-83d4-a30dba78ca63"
	},
	"transcription1": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/transcriptions/0c5b1630-fadf-444d-827f-d6da9c0cf0c3"
	},
	"project": {
		"self": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/projects/9f8c4cbb-f9a5-4ec1-8bb0-53cfa9221226"
	},
	"links": {
		"files": "https://eastus.api.cognitive.microsoft.com/speechtotext/v3.1/evaluations/8bfe6b05-f093-4ab4-be7d-180374b751ca/files"
	},
	"properties": {
		"wordErrorRate2": 4.62,
		"wordErrorRate1": 4.6,
		"sentenceErrorRate2": 66.7,
		"sentenceCount2": 3,
		"wordCount2": 173,
		"correctWordCount2": 166,
		"wordSubstitutionCount2": 7,
		"wordDeletionCount2": 0,
		"wordInsertionCount2": 1,
		"sentenceErrorRate1": 66.7,
		"sentenceCount1": 3,
		"wordCount1": 174,
		"correctWordCount1": 166,
		"wordSubstitutionCount1": 7,
		"wordDeletionCount1": 1,
		"wordInsertionCount1": 0
	},
	"lastActionDateTime": "2022-05-20T16:42:56Z",
	"status": "Succeeded",
	"createdDateTime": "2022-05-20T16:42:43Z",
	"locale": "en-US",
	"displayName": "My Inspection",
	"description": "My Inspection Description"
}

Az átirat és a hang összehasonlítása

Az átirat kimenetét minden tesztelt modell megvizsgálhatja a hangbemeneti adatkészleten. Ha két modellt vett fel a tesztbe, egymás mellett hasonlíthatja össze az átiratok minőségét.

Az átiratok minőségének áttekintése:

Jelentkezzen be a Speech Studióba.
Válassza az Egyéni beszéd> a projekt neve >Tesztmodellek lehetőséget.
Válassza ki a hivatkozást tesztnév alapján.
Hangfájl lejátszása a megfelelő átirat modell általi olvasása közben.

Ha a tesztadatkészlet több hangfájlt tartalmazott, akkor több sor jelenik meg a táblában. Ha két modellt vett fel a tesztbe, az átiratok egymás melletti oszlopokban jelennek meg. A modellek közötti átírási különbségek kék szöveg betűtípusban jelennek meg.

Képernyőkép két modell átiratainak összehasonlításáról

A teszteredmények visszaadják a hangteszt adatkészletét, átiratait és modelljeit. Ha csak egy modellt tesztelt, akkor az model1 érték és model2az transcription1 érték egyezik transcription2.

Az átiratok minőségének áttekintése:

Töltse le a hangteszt adatkészletet, hacsak nincs másolata.
Töltse le a kimeneti átiratokat.
Hangfájl lejátszása a megfelelő átirat modell általi olvasása közben.

Ha két modell minőségét hasonlítja össze, különös figyelmet kell fordítani az egyes modellek átiratai közötti különbségekre.

Az átiratok minőségének áttekintése:

Töltse le a hangteszt adatkészletet, hacsak nincs másolata.
Töltse le a kimeneti átiratokat.
Hangfájl lejátszása a megfelelő átirat modell általi olvasása közben.

Ha két modell minőségét hasonlítja össze, különös figyelmet kell fordítani az egyes modellek átiratai közötti különbségekre.

Egyéni beszédmodell felismerési minőségének tesztelése

Teszt létrehozása

Teszteredmények lekérése

Az átirat és a hang összehasonlítása

Következő lépések

További források