Modellfigyelés generatív AI-alkalmazásokhoz (előzetes verzió)

Az éles modellek monitorozása az AI életciklusának alapvető része. Az adatok és a fogyasztói viselkedés változásai idővel befolyásolhatják a generatív AI-alkalmazást, ami elavult rendszereket eredményez, amelyek negatívan befolyásolják az üzleti eredményeket, és megfelelőségi, gazdasági és hírnévbeli kockázatoknak teszik ki a szervezeteket.

Fontos

A generatív AI-alkalmazások modellmonitorozása jelenleg nyilvános előzetes verzióban érhető el. Ezek az előzetes verziók szolgáltatásszint-szerződés nélkül érhetők el, és éles számítási feladatokhoz nem ajánlottak. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik. További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.

Az Azure Machine Learning-modell generatív AI-alkalmazásokhoz való monitorozása megkönnyíti az LLM-alkalmazások éles környezetben történő monitorozását a biztonság és a minőség érdekében, hogy az a lehető legnagyobb üzleti hatást biztosítsa. A monitorozás végső soron segít fenntartani a generatív AI-alkalmazások minőségét és biztonságát. Képességek és integrációk:

• Éles adatok gyűjtése a Modell adatgyűjtővel.
• A felelős AI-kiértékelési metrikák, például az alapok, a koherencia, a folyékonyság, a relevancia és a hasonlóság, amelyek együttműködnek az Azure Machine Learning gyors folyamatértékelési metrikáival.
• Riasztások konfigurálásának lehetősége a szervezeti célok alapján történő szabálysértésekhez, és rendszeres monitorozás futtatása
• Az eredmények felhasználása az Azure Machine Learning Studióban található munkaterületen található gazdag irányítópulton.
• Integráció az Azure Machine Learning gyorsfolyamat-kiértékelési metrikáival, az összegyűjtött éles adatok elemzése az időalapú riasztások biztosításához, valamint a metrikák időbeli vizualizációja. ​

A modell monitorozásának alapfogalmait az Azure Machine Learning (előzetes verzió) modellmonitorozása című témakörben tekintheti meg. Ebből a cikkből megtudhatja, hogyan monitorozhat egy felügyelt online végpont által támogatott generatív AI-alkalmazást. A lépések a következők:

• Előfeltételek konfigurálása
• A monitor létrehozása
• Monitorozás állapotának megerősítése
• Figyelési eredmények felhasználása

Értékelési metrikák

A metrikákat a következő, speciális kiértékelési utasítások (parancssori sablonok) által konfigurált, a gpt nyelv alábbi nyelvi modelljei generálják, amelyek kiértékelő modellként szolgálnak a szekvencia-sorrendi feladatokhoz. Ez a technika erős empirikus eredményeket és magas korrelációt mutatott az emberi ítélőképességgel a standard generatív AI-kiértékelési metrikákhoz képest. A folyamat gyors kiértékelésével kapcsolatos további információkért tekintse meg a tömeges teszt elküldése és a folyamat kiértékelése (előzetes verzió) című témakört a folyamat gyors kiértékelésével kapcsolatban.

Ezek a GPT-modellek támogatottak, és Azure OpenAI-erőforrásként lesznek konfigurálva:

• GPT-3.5 Turbo
• GPT-4
• GPT-4-32k

Az alábbi metrikák támogatottak. Az egyes metrikákkal kapcsolatos részletesebb információkért lásd : Monitoring evaluation metrics descriptions and use cases

• Alapérték: kiértékeli, hogy a modell által létrehozott válaszok mennyire igazodnak a bemeneti forrásból származó információkhoz.
• Relevancia: kiértékeli, hogy a modell által generált válaszok mennyire relevánsak, és milyen közvetlenül kapcsolódnak az adott kérdésekhez.
• Koherencia: kiértékeli, hogy a nyelvi modell milyen jól képes zökkenőmentesen kimeneti folyamatokat létrehozni, természetesen olvas, és hasonlít az emberi nyelvhez.
• Fluency: kiértékeli a generatív AI előrejelzett válaszának nyelvtudását. Felméri, hogy a létrehozott szöveg mennyire tartja be a nyelvtani szabályokat, a szintaktikai struktúrákat és a szókincs megfelelő használatát, ami nyelvileg helyes és természetes hangvételű válaszokat eredményez.
• Hasonlóság: kiértékeli az alapigaz mondat (vagy dokumentum) és az AI-modell által létrehozott előrejelzési mondat közötti hasonlóságot.

Metrikakonfigurációs követelmények

A generációs biztonság és minőség méréséhez a következő bemenetekre (adatoszlopnevekre) van szükség:

• parancssori szöveg – a megadott eredeti üzenet (más néven "bemenetek" vagy "kérdés")
• befejezési szöveg – a visszaadott API-hívás végleges befejezése (más néven "kimenetek" vagy "válasz")
• környezeti szöveg – az API-hívásnak küldött környezeti adatok, valamint az eredeti kérés. Ha például csak bizonyos minősített adatforrásokból/webhelyről szeretne keresési eredményeket kapni, a kiértékelési lépésekben meghatározhatja. Ez egy nem kötelező lépés, amely a parancssori folyamaton keresztül konfigurálható.
• alap-igazság szöveg - a felhasználó által definiált szöveg, mint az "igazság forrása" (nem kötelező)

Az adategységben konfigurált paraméterek határozzák meg, hogy milyen metrikákat hozhat létre a táblázat szerint:

Metrika	Felszólítás	Teljesítés	Környezet	Alapigazság
Koherencia	Szükséges	Szükséges	-	-
Folyékonyság	Szükséges	Szükséges	-	-
Alapozottság	Szükséges	Szükséges	Szükséges	-
Relevancia	Szükséges	Szükséges	Szükséges	-
Hasonlóság	Szükséges	Szükséges	-	Szükséges

Előfeltételek

1. Azure OpenAI-erőforrás: Elegendő kvótával rendelkező Azure OpenAI-erőforrást kell létrehoznia. Ezt az erőforrást használja a rendszer kiértékelési végpontként.
2. Felügyelt identitás: Hozzon létre egy felhasználó által hozzárendelt felügyelt identitást (UAI), és csatolja a munkaterülethez a felhasználó által hozzárendelt felügyelt identitás csatolása a CLI v2-vel, a következő lépésben meghatározott megfelelő szerepkör-hozzáféréssel című útmutató segítségével.
3. Szerepkör-hozzáférés: Ha a szükséges engedélyekkel rendelkező szerepkört szeretne hozzárendelni, rendelkeznie kell a tulajdonossal vagy a Microsoft.Authorization/roleAssignments/write engedéllyel az erőforráson. A kapcsolatok és engedélyek frissítése több percet is igénybe vehet. Ezeket a további szerepköröket hozzá kell rendelni az UAI-hoz:
   • Erőforrás: Munkaterület
   • Szerepkör: Azure Machine Learning adattudós
4. Munkaterület-kapcsolat: az útmutatót követve egy felügyelt identitást használ, amely a monitorozási metrikák kiszámításához használt Azure OpenAI-végpont hitelesítő adatait jelöli. NE törölje a kapcsolatot a folyamatban való használat után.
   • API-verzió: 2023-03-15-preview
5. Parancssori folyamat üzembe helyezése: Hozzon létre egy parancssori folyamat futtatókörnyezetet az útmutató alapján, futtassa a folyamatot, és győződjön meg arról, hogy az üzembe helyezés a jelen cikk útmutatóként való használatával van konfigurálva
   • Folyamatbemenetek > kimenetek: A figyelő létrehozásakor meg kell neveznie a folyamatkimeneteket, és emlékeznie kell ezekre az oszlopnevekre. Ebben a cikkben a következőket használjuk:
     • Bemenetek (kötelező): "prompt"
     • Kimenetek (kötelező): "befejezés"
       • Kimenetek (nem kötelező): "context" | "alapigazság"
   • Adatgyűjtés: az "Üzembe helyezés" (a parancssori folyamat üzembe helyezési varázslójának 2. lépése) esetében az "inference data collection" kapcsolót engedélyezni kell a Modelladatgyűjtő használatával
   • Kimenetek: A Kimenetek (a parancssori folyamat üzembe helyezési varázslójának 3. lépése) során győződjön meg arról, hogy kiválasztotta a fent felsorolt szükséges kimeneteket (például befejezés | környezet | ground_truth), amelyek megfelelnek a metrikakonfigurációs követelményeknek

Feljegyzés

Ha a számítási példány egy virtuális hálózat mögött található, tekintse meg a hálózatelkülönítést a parancssori folyamatban.

A monitor létrehozása

A monitor létrehozása a Monitorozás áttekintése lapon

Alapszintű monitorozási beállítások konfigurálása

A Monitorozás létrehozása varázslóban módosítsa a modell feladattípusát a parancssori és befejezési típusra, ahogyan az a képernyőképen látható (A) szerint látható.

Adategység konfigurálása

Ha modelladatgyűjtőt használt, válassza ki a két adategységet (bemenetek és kimenetek).

Figyelési jelek kiválasztása

1. A munkaterület-kapcsolat (A) konfigurálása a képernyőképen.
   1. Helyesen kell konfigurálnia a munkaterület kapcsolatát, vagy a következőt látja:
2. Adja meg az Azure OpenAI-kiértékelő üzembehelyezési nevét (B)..
3. (Nem kötelező) Csatlakozzon az éles adatbemenetekhez és -kimenetekhez: az éles modell bemeneteit és kimeneteit a monitorozási szolgáltatás (C) automatikusan összekapcsolja. Szükség esetén testre szabhatja, de nincs szükség műveletre. Alapértelmezés szerint az illesztés oszlopa korrelációs azonosító.
4. (Nem kötelező) Metrikaküszöbök konfigurálása: A példányonként elfogadható pontszám 3/5-kor van rögzítve. A tartomány ([1,99] %) közötti elfogadható teljes átengedési arányt módosíthatja

• Adja meg manuálisan az oszlopneveket a parancssorból (E).. A standard nevek ("prompt" | "befejezés" | "context" | "ground_truth"), de az adategységnek megfelelően konfigurálhatja.

• (nem kötelező) Mintavételezési sebesség beállítása (F)

• A konfigurálás után a jel többé nem fog figyelmeztetést megjeleníteni.

Értesítések konfigurálása

Semmit nem kell tenni. Szükség esetén több címzettet is konfigurálhat.

Monitorozási jel konfigurációjának megerősítése

Sikeres konfigurálás esetén a figyelőnek a következőképpen kell kinéznie:

Monitorozás állapotának megerősítése

Ha sikeresen konfigurálta, a monitorozási folyamat feladata az alábbiakat jeleníti meg:

Eredmények felhasználása

Monitorozás – áttekintési oldal

A monitor áttekintése áttekintést nyújt a jelteljesítményről. További információért adja meg a jelinformációs oldalt.

Jel részletei lap

A jel részleteinek oldalával megtekintheti a metrikákat az idő függvényében (A) és megtekintheti a eloszlás hisztogramjait (B)..

Riasztások feloldása

Csak a jelküszöbök módosíthatók. Az elfogadható pontszám 3/5-kor van rögzítve, és csak az "elfogadható teljes százalékos átviteli sebesség" mezőt lehet módosítani.

Következő lépések

• Modellfigyelés áttekintése
• Modelladatgyűjtő
• A parancssori folyamat első lépései
• Tömeges teszt elküldése és folyamat kiértékelése (előzetes verzió)
• Kiértékelési folyamatok létrehozása