Kérések manuális kiértékelése az Azure AI Studio játszótéren
Fontos
A cikkben ismertetett funkciók némelyike csak előzetes verzióban érhető el. Ez az előzetes verzió szolgáltatásszint-szerződés nélkül érhető el, és éles számítási feladatokhoz nem javasoljuk. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik. További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.
Amikor elkezdi a gyors tervezést, egyenként tesztelnie kell a különböző bemeneteket, hogy kiértékelje a parancssor hatékonyságát, nagyon időigényes lehet. Ennek az az oka, hogy fontos ellenőrizni, hogy a tartalomszűrők megfelelően működnek-e, pontos-e a válasz, és így tovább.
A folyamat egyszerűbbé tételéhez használhatja a manuális kiértékelést az Azure AI Studióban, amely egy kiértékelő eszköz, amely lehetővé teszi, hogy folyamatosan iterálja és értékelje a kérést a tesztadatokon egyetlen felületen. Manuálisan is értékelheti a kimeneteket, a modell válaszait, hogy magabiztosan válaszoljon a kérdésre.
A manuális kiértékelés segíthet megérteni, hogy milyen jól teljesít a kérése, és iterálja a kérést, hogy biztosan elérje a kívánt megbízhatósági szintet.
Ebből a cikkből megtudhatja, hogyan:
- Manuális kiértékelési eredmények létrehozása
- Modellválaszok értékelése
- Iterálás a parancssorban, és újraértékelés
- Eredmények mentése és összehasonlítása
- Kiértékelés beépített metrikákkal
Előfeltételek
A manuális kiértékelési eredmények létrehozásához a következőket kell előkészítenie:
Egy tesztadatkészlet az alábbi formátumok egyikében: csv vagy jsonl. Ha nem érhető el adathalmaz, akkor azt is lehetővé tesszük, hogy manuálisan adja meg az adatokat a felhasználói felületről.
Az alábbi modellek egyikének üzembe helyezése: GPT 3.5-ös, GPT 4-es vagy Davinci-modellek. Az üzembe helyezés létrehozásáról további információt a Modellek üzembe helyezése című témakörben talál.
Feljegyzés
A manuális kiértékelés jelenleg csak az Azure OpenAI-modellek esetében támogatott csevegési és befejezési feladattípusok esetében.
Manuális kiértékelési eredmények létrehozása
A Játszótéren válassza a Manuális kiértékelés lehetőséget a modellválaszok manuális felülvizsgálatának megkezdéséhez a tesztadatok és a kérések alapján. A rendszer automatikusan áttér a manuális kiértékelésre , és most már csak tesztadatokat kell hozzáadnia a kérés kiértékeléséhez.
Ez manuálisan is elvégezhető a Bevitel oszlop szövegmezőivel.
Az Adatok importálásával kiválaszthatja a projekt egyik korábbi meglévő adathalmazát, vagy feltölthet egy CSV vagy JSONL formátumú adatkészletet. Az adatok betöltése után a rendszer kérni fogja az oszlopok megfelelő leképezését. Miután végzett, és az Importálás lehetőséget választja, az adatok megfelelően lesznek feltöltve az alábbi oszlopokban.
Feljegyzés
A manuális értékeléshez akár 50 bemeneti sort is hozzáadhat. Ha a tesztadatok több mint 50 bemeneti sorból állnak, az első 50-et feltöltjük a bemeneti oszlopba.
Az adatok hozzáadása után a Futtatás lehetőséggel feltöltheti a kimeneti oszlopot a modell válaszával.
Modellválaszok értékelése
Az egyes válaszokhoz felfelé vagy lefelé mutató hüvelykujj-értékelést is megadhat a parancssori kimenet értékeléséhez. A megadott értékelések alapján ezeket a válaszpontszámokat áttekinthető összefoglalókban tekintheti meg.
Iterálás a parancssorban, és újraértékelés
Az összegzés alapján érdemes lehet módosítani a kérést. A fenti parancssori vezérlőkkel szerkesztheti a parancssori beállításokat. Ez lehet a rendszerüzenet frissítése, a modell módosítása vagy a paraméterek szerkesztése.
A módosítások elvégzése után újrafuttathatja az összeset, hogy frissítse a teljes táblát, vagy olyan sorok újrafuttatására összpontosítson, amelyek első alkalommal nem felelnek meg az elvárásainak.
Eredmények mentése és összehasonlítása
Az eredmények feltöltése után mentheti az eredményeket , hogy megossza az előrehaladást a csapatával, vagy folytassa a manuális értékelést onnan, ahonnan később abbahagyta.
A különböző manuális értékelésekre vonatkozó hüvelykujj-fel- és leértékeléseket úgy is összehasonlíthatja, hogy menti őket, és megtekinti őket a Manuális értékelés alatti Értékelés lapon.
Következő lépések
További információ a generatív AI-alkalmazások kiértékeléséről:
Visszajelzés
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ: https://aka.ms/ContentUserFeedback.
Visszajelzés küldése és megtekintése a következőhöz: