Kötegelt futtatás elküldése és folyamat kiértékelése

Fontos

A cikkben ismertetett funkciók némelyike csak előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszint-szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik. További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

Annak kiértékeléséhez, hogy a folyamat milyen jól teljesít egy nagy adatkészlettel, elküldheti a kötegfuttatást, és használhat egy kiértékelési módszert a gyors folyamatban.

Ebből a cikkből megtudhatja, hogyan:

• Kötegelt futtatás elküldése és kiértékelési módszer használata
• A kiértékelési eredmény és a metrikák megtekintése
• Új kiértékelési kör indítása
• A kötegelt futtatási előzmények ellenőrzése és a metrikák összehasonlítása
• A beépített kiértékelési módszerek megismerése
• A folyamat teljesítményének javítása

Előfeltételek

A kötegelt futtatáshoz és a kiértékelési módszer használatához a következőket kell elvégeznie:

• Tesztadatkészlet kötegelt futtatáshoz. Az adathalmaznak a következő formátumok egyikében kell lennie: .csv, .tsvvagy .jsonl. Az adatoknak olyan fejléceket is tartalmazniuk kell, amelyek megfelelnek a folyamat bemeneti nevének. Ha a folyamatbemenetek olyan összetett struktúrát tartalmaznak, mint egy lista vagy egy szótár, használja jsonl a formátumot az adatok megjelenítéséhez.
• A kötegelt futtatás futtatásához elérhető számítási munkamenet. A számítási munkamenet egy felhőalapú erőforrás, amely végrehajtja a folyamatot, és kimeneteket hoz létre. A számítási munkamenetekkel kapcsolatos további információkért tekintse meg a számítási munkamenetet.

Kötegelt futtatás elküldése és kiértékelési módszer használata

A kötegelt futtatás lehetővé teszi, hogy nagy adatkészlettel futtassa a folyamatot, és kimeneteket hozzon létre az egyes adatsorokhoz. Választhat egy kiértékelési módszert is, amellyel összehasonlíthatja a folyamat kimenetét bizonyos feltételekkel és célokkal. A kiértékelési módszer egy speciális folyamattípus , amely különböző szempontok alapján számítja ki a folyamat kimenetének metrikáit. A rendszer egy próbafuttatást hajt végre a metrika kiszámításához, amikor a kötegfuttatással együtt küldi el.

Ha kiértékeléssel szeretné elindítani a kötegelt futtatásokat, válassza az Értékelés gomb – Egyéni kiértékelés lehetőséget. Az egyéni kiértékelés kiválasztásával elküldhet egy kötegelt futtatást kiértékelési módszerekkel, vagy elküldhet egy kötegelt futtatást a folyamat kiértékelése nélkül.

Először egy leíró és felismerhető nevet kell megadnia a kötegnek. Leírást is írhat, és címkéket (kulcs-érték párokat) adhat hozzá a kötegfuttatáshoz. A konfiguráció befejezése után válassza a Tovább gombot a folytatáshoz.

Másodszor ki kell választania vagy fel kell töltenie egy adathalmazt, amellyel tesztelni szeretné a folyamatot. A kötegfuttatás végrehajtásához ki kell választania egy elérhető számítási munkamenetet is.

A parancssori folyamat támogatja a folyamat bemenetének leképezését az adathalmaz egy adott adatoszlopára. Ez azt jelenti, hogy egy oszlopot hozzárendelhet egy adott bemenethez. Egy oszlopot a formátumra való hivatkozással rendelhet hozzá egy bemenethez ${data.XXX} . Ha állandó értéket szeretne hozzárendelni egy bemenethez, közvetlenül beírhatja ezt az értéket.

Ezután a következő lépésben dönthet úgy, hogy egy kiértékelési módszert használ a folyamat teljesítményének ellenőrzésére. Ha nem szeretne kiértékelési módszert alkalmazni, vagy nem szeretne metrikákat kiszámítani, a Tovább gombra kattintva kihagyhatja ezt a lépést. Ellenkező esetben, ha most kiértékeléssel szeretné futtatni a kötegelt futtatásokat, választhat egy vagy több kiértékelési módszert. A kiértékelés a kötegelt futtatás befejezése után kezdődik. A kötegelt futtatás befejezése után egy másik kiértékelési kört is elindíthat. Ha többet szeretne megtudni arról, hogyan indíthat el egy új értékelési fordulót, olvassa el az új értékelési kör elindítását ismertető témakört.

A következő lépés bemeneti leképezési szakaszában meg kell adnia a kiértékelési módszerhez szükséges bemeneti adatok forrásait. Az alapigazság oszlop például egy adatkészletből származhat. A kiértékelés alapértelmezés szerint ugyanazt az adatkészletet használja, mint a tesztelt futtatáshoz biztosított tesztadatkészlet. Ha azonban a megfelelő címkék vagy célhelyes alapértékek egy másik adatkészletben találhatók, egyszerűen átválthat erre.

• Ha az adatforrás a futtatási kimenetből származik, a forrás ${run.output. [ OutputName]}
• Ha az adatforrás a tesztadatkészletből származik, akkor a forrás ${data. [ ColumnName]}

Feljegyzés

Ha a kiértékelés nem igényel adatokat az adathalmazból, nem kell a bemeneti leképezési szakaszban lévő adathalmazoszlopokra hivatkoznia, ami azt jelzi, hogy az adathalmaz kiválasztása opcionális konfiguráció. Az adathalmaz kiválasztása nem befolyásolja a kiértékelési eredményt.

Ha egy kiértékelési módszer nagy nyelvi modelleket (LLM-eket) használ a folyamatválasz teljesítményének mérésére, a kiértékelési módszerekben az LLM-csomópontok kapcsolatait is be kell állítania.

Ezután a Tovább gombra kattintva áttekintheti a beállításokat, és a Küldés gombra kattintva elindíthatja a kötegelt futtatásokat a kiértékeléssel.

A kiértékelési eredmény és a metrikák megtekintése

A beküldés után az elküldött kötegfuttatást a futtatási lista lapon találja a parancssori folyamat lapján. A futtatás eredményoldalára való navigáláshoz válasszon ki egy futtatás lehetőséget.

A futtatás részletei lapon a Részletek elemet választva ellenőrizheti a kötegelt futtatás részleteit.

Hozam

Alapszintű eredmény és nyomkövetés

Ez először a Kimenet lapra irányítja a bemenetek és kimenetek soronkénti megtekintéséhez. A kimeneti lap oldal megjeleníti az eredmények táblázatos listáját, beleértve a sorazonosítót, a bemenetet, a kimenetet, az állapotot, a rendszermetrikákat és a létrehozott időt.

Az egyes sorokban a Nyomkövetés megtekintése lehetőséget választva megfigyelheti és hibakeresést végezhet az adott tesztesetben a részletes nyomkövetési lapon.

A kiértékelési eredmény és a nyomkövetés hozzáfűzése

A Hozzáfűzési kiértékelési kimenet kiválasztásával kiválaszthatja a kapcsolódó kiértékelési futtatásokat, és a táblázat végén a hozzáfűzött oszlopok láthatók, amelyek az egyes adatsorok kiértékelési eredményét jelenítik meg. Összehasonlítás céljából több kiértékelési kimenet is hozzáfűzhető.

A legújabb értékelési metrikákat a bal oldali Áttekintés panelen tekintheti meg.

Alapvető áttekintés

A jobb oldalon az Áttekintés átfogó információkat nyújt a futtatásról, például az adatpontonkénti végrehajtások számát, az összes jogkivonatot és a futtatás időtartamát.

A legutóbbi kiértékelési futtatás összesített metrikái alapértelmezés szerint itt jelennek meg, a kiértékelési futtatás megtekintése lehetőség kiválasztásával ugrahat a próbafuttatás megtekintéséhez.

Itt kibonthatja és összecsukhatja az áttekintést, és kiválaszthatja a Teljes információ megtekintése lehetőséget, amely a Kimenet lap Melletti Áttekintés lapra irányítja, ahol részletesebb információk találhatók a futtatásról.

Új kiértékelési kör indítása

Ha már végzett egy kötegfuttatással, elindíthat egy újabb kiértékelési kört, amely új kiértékelési futtatás beküldésével kiszámítja a kimenetek metrikáit anélkül, hogy újra futtatta volna a folyamatot. Ez hasznos, és a folyamat újrafuttatásának költségeit a következő esetekben takaríthatja meg:

• Nem választott ki kiértékelési módszert a metrikák kiszámításához a kötegfuttatás elküldésekor, és most úgy döntött, hogy ezt megteszi.
• Már használt kiértékelési módszert egy metrika kiszámításához. Egy másik metrika kiszámításához elindíthat egy újabb kiértékelési kört.
• A kiértékelési futtatás sikertelen volt, de a folyamat sikeresen generált kimeneteket. Újra beküldheti az értékelést.

Lépjen a Folyamatfuttatások parancs fülre. Ezután nyissa meg a kötegelt futtatás részletes lapját, és válassza a Kiértékelés lehetőséget egy újabb kiértékelési kör elindításához.

A konfiguráció beállítása után kiválaszthatja a "Küldés" lehetőséget az új kiértékelési körhöz. A beküldés után egy új rekord jelenik meg a parancssori folyamat futtatásának listájában. A kiértékelési futtatás befejezése után a kötegelt futtatás részletei panel "Kimenetek" lapján is ellenőrizheti a kiértékelés eredményét. Az eredmény megtekintéséhez ki kell választania az új próbafuttatást.

A beépített kiértékelési módszerek által kiszámított metrikákkal kapcsolatos további információkért keresse meg a beépített kiértékelési módszereket.

Áttekintés

Az Áttekintés lapra kattintva átfogó információkat jelenít meg a futtatásról, beleértve a futtatási tulajdonságokat, a bemeneti adatkészletet, a kimeneti adatkészletet, a címkéket és a leírást.

Naplók

A Naplók lapon megtekintheti a futtatási naplókat, amelyek a végrehajtási hibák részletes hibakereséséhez hasznosak lehetnek. A naplófájlokat letöltheti a helyi gépére.

Pillanatkép

A Pillanatkép lapra kattintva megtekintheti a futtatott pillanatképet. Megtekintheti a folyamat DAG-ját. Emellett lehetősége van klónozni, hogy új folyamatot hozzon létre. Online végpontként is üzembe helyezheti .

A kötegelt futtatási előzmények ellenőrzése és a metrikák összehasonlítása

Bizonyos esetekben a folyamat módosítása a teljesítmény javítása érdekében. Több kötegfuttatást is beküldhet, hogy összehasonlítsa a folyamat teljesítményét a különböző verziókkal. A különböző kiértékelési módszerek által kiszámított metrikákat is összehasonlíthatja, hogy melyik felel meg jobban a folyamatnak.

A folyamat kötegelt futtatási előzményeinek ellenőrzéséhez válassza a folyamatoldal Kötegelt futtatás megtekintése gombját. Megjelenik a folyamathoz elküldött kötegfuttatások listája.

Az egyes kötegfuttatások esetében kiválaszthatja a részleteket. Több kötegfuttatást is kijelölhet, és kiválaszthatja a Vizualizáció kimeneteket a kötegfuttatások metrikáinak és kimeneteinek összehasonlítása érdekében.

A "Kimenet megjelenítése" panelEn a Futtatások > metrikák tábla a kijelölt futtatások adatait jeleníti meg kiemeléssel. Az egyéb futtatások, amelyek a kiválasztott futtatások kimeneteit bemenetként veszik fel, szintén szerepelnek a listán.

A "Kimenetek" táblában összehasonlíthatja a kiválasztott kötegfuttatásokat a mintasorok alapján. Ha a "Futtatások > metrikák" táblában a "szemvizualizáció" ikont választja, a futtatás kimenetei hozzá lesznek fűzve a megfelelő alapfuttatáshoz.

A beépített kiértékelési módszerek megismerése

A gyors folyamat során több beépített kiértékelési módszert biztosítunk a folyamat kimenetének méréséhez. Minden kiértékelési módszer különböző metrikákat számít ki. A beépített kiértékelési módszereket és azok leírását az alábbi táblázatban találja.

Kiértékelési módszer	Mérőszámok	Leírás	Csatlakozás ion kötelező	Kötelező bemenet	Pontszám értéke
Besorolás pontosságának kiértékelése	Pontosság	A besorolási rendszer teljesítményét méri a kimenetek és a valóság összehasonlításával.	Nem	előrejelzés, alapigazság	tartományban [0, 1].
QnA relevancia pontszámok párirányú értékelés	Pontszám, győzelem/veszítés	Felméri a kérdések megválaszolási rendszere által generált válaszok minőségét. Ez magában foglalja a relevanciapontokat az egyes válaszokhoz annak alapján, hogy mennyire felel meg a felhasználói kérdésnek, összehasonlítja a különböző válaszokat egy alapszintű válaszsal, és az eredményeket összesítve olyan metrikákat hoz létre, mint az átlagolt nyerési arányok és a relevanciaértékek.	Igen	kérdés, válasz (nincs alapigazság vagy kontextus)	Pontszám: 0-100, win/lose: 1/0
QnA-alapértékek kiértékelése	Alapozottság	Azt méri, hogy a modell előrejelzett válaszai mennyire megalapozottak a bemeneti forrásban. Még akkor is, ha az LLM válaszai igazak, ha nem ellenőrizhetők a forráson, akkor a rendszer nem lesz látható.	Igen	kérdés, válasz, kontextus (nincs alapigazság)	1-5, és 1 a legrosszabb és 5 a legjobb.
QnA GPT-hasonlóság kiértékelése	GPT-hasonlóság	Méri a felhasználó által megadott alapigaz válaszok és a GPT-modell használatával előrejelzett válasz közötti hasonlóságot.	Igen	kérdés, válasz, alapigazság (a kontextus nem szükséges)	tartományban [0, 1].
QnA relevancia értékelése	Relevancia	Méri, hogy a modell előrejelzett válaszai mennyire relevánsak a feltett kérdésekre.	Igen	kérdés, válasz, kontextus (nincs alapigazság)	1-5, és 1 a legrosszabb és 5 a legjobb.
QnA koherencia-kiértékelése	Koherencia	Méri a modell előrejelzett válaszában szereplő mondatok minőségét, és azt, hogy ezek hogyan illeszkednek egymáshoz természetesen.	Igen	kérdés, válasz (nincs alapigazság vagy kontextus)	1-5, és 1 a legrosszabb és 5 a legjobb.
QnA Fluency Evaluation	Folyékonyan	A modell előrejelzett válaszának nyelvtani és nyelvi helyességét méri.	Igen	kérdés, válasz (nincs alapigazság vagy kontextus)	1-5, 1 a legrosszabb és 5 a legjobb
QnA f1 pontszámok kiértékelése	F1 pontszám	A modell előrejelzése és az alapigazság közötti közös szavak számának arányát méri.	Nem	kérdés, válasz, alapigazság (a kontextus nem szükséges)	tartományban [0, 1].
QnA Ada hasonlóság kiértékelése	Ada hasonlóság	Mondatszintű beágyazásokat számít ki az Ada embeddings API használatával az alapigazság és az előrejelzés szempontjából is. Ezután kiszámítja közöttük a koszinusz hasonlóságát (egy lebegőpontos szám)	Igen	kérdés, válasz, alapigazság (a kontextus nem szükséges)	tartományban [0, 1].

A folyamat teljesítményének javítása

A kiértékelés beépített módszereinek ellenőrzése után a következő módszerekkel javíthatja a folyamat teljesítményét:

• Ellenőrizze a kimeneti adatokat a folyamat esetleges hibáinak hibakereséséhez.
• Módosítsa a folyamatot a teljesítmény javítása érdekében. Ez magában foglalja, de nem kizárólagosan a következőket:
  • A kérés módosítása
  • A rendszerüzenet módosítása
  • A folyamat paramétereinek módosítása
  • A folyamatlogika módosítása

Ha többet szeretne megtudni arról, hogyan hozhat létre egy kérést, amely képes elérni a célját, olvassa el a bevezetést a gyorstervezésbe, a parancssori mérnöki technikákba, valamint a rendszerüzenet-keretrendszerbe és a nagy nyelvi modellekre (LLM-ek) vonatkozó sablonjavaslatokra vonatkozó útmutatót.

Ebben a dokumentumban megtanulta, hogyan küldhet be kötegelt futtatásokat, és hogyan mérheti a folyamat kimenetének minőségét egy beépített kiértékelési módszerrel. Azt is megtanulta, hogyan tekintheti meg a kiértékelési eredményeket és a metrikákat, és hogyan indíthat el egy új kiértékelési kört egy másik módszerrel vagy variánsok részhalmazával. Reméljük, hogy ez a dokumentum segít javítani a folyamat teljesítményét, és gyors folyamattal elérni a céljait.

Következő lépések

• Kérések hangolása variánsokkal
• Folyamat üzembe helyezése