Gépi tanulási modellek hibáinak felmérése
Az aktuális modellkeresési eljárások egyik legnagyobb kihívása az összesített metrikák használata a modellek teljesítményteszt-adathalmazon való pontozásához. Előfordulhat, hogy a modell pontossága nem egységes az adatok alcsoportjaiban, és lehetnek olyan bemeneti kohorszok, amelyeknél a modell gyakrabban meghibásodik. A hibák közvetlen következményei a megbízhatóság és a biztonság hiánya, a méltányossági problémák megjelenése és a gépi tanulásba vetett bizalom elvesztése.
A hibaelemzés elmozdul az összesített pontossági metrikáktól. Átlátható módon teszi elérhetővé a hibák terjesztését a fejlesztők számára, és lehetővé teszi számukra a hibák hatékony azonosítását és diagnosztizálását.
A Felelős AI-irányítópult hibaelemzési összetevője a gépi tanulási szakemberek számára mélyebb ismereteket nyújt a modellhibák eloszlásáról, és segít nekik gyorsan azonosítani az adatok hibás kohorszait. Ez az összetevő a nagyobb hibaarányú adatok kohorszait azonosítja az általános teljesítményteszt hibaarányával szemben. A következőkkel járul hozzá a modell életciklus-munkafolyamatának azonosítási fázisához:
- Döntési fa, amely magas hibaarányú kohorszokat fed fel.
- Hőtérkép, amely azt jeleníti meg, hogy a bemeneti funkciók hogyan befolyásolják a kohorszok hibaarányát.
A hibák eltérései akkor fordulhatnak elő, ha a rendszer bizonyos demográfiai csoportoknál alulteljesít, vagy ritkán megfigyelt bemeneti kohorszok jelennek meg a betanítási adatokban.
Ennek az összetevőnek a képességei az Error Analysis csomagból származnak, amely modellhibaprofilokat hoz létre.
Használjon hibaelemzést, ha a következőket kell elvégeznie:
- Alapos ismereteket szerezhet arról, hogyan oszlanak meg a modellhibák az adathalmazok között, valamint több bemeneti és funkciódimenzió között.
- Az összesített teljesítménymetrikák lebontása a hibás kohorszok automatikus felderítéséhez a célzott kockázatcsökkentési lépések tájékoztatása érdekében.
Hibafa
A hibaminták gyakran összetettek, és több funkciót is magukban foglalnak. Előfordulhat, hogy a fejlesztőknek nehézséget okoz a funkciók összes lehetséges kombinációjának felderítése a kritikus hibákkal rendelkező rejtett adatzsebek felderítéséhez.
A teher csökkentése érdekében a bináris fa vizualizáció automatikusan felosztja a teljesítményteszt adatait értelmezhető alcsoportokra, amelyek váratlanul magas vagy alacsony hibaarányúak. Más szóval a fa a bemeneti funkciók használatával maximálisan elkülöníti a modellhibát a sikertől. Az adat alcsoportot meghatározó csomópontok esetében a felhasználók a következő információkat vizsgálhatják meg:
- Hibaarány: A csomópont azon példányainak egy része, amelyek esetében a modell helytelen. A piros szín intenzitásán keresztül jelenik meg.
- Hibalefedettség: A csomópontba tartozó hibák egy része. Ez a csomópont kitöltési sebességén keresztül jelenik meg.
- Adatábrázolás: A hibafa egyes csomópontjaiban található példányok száma. Ez a csomópont felé irányuló bejövő él vastagságán, valamint a csomópont példányainak teljes számán keresztül jelenik meg.
Hiba intenzitástérképe
A nézet a bemeneti funkciók egydimenziós vagy kétdimenziós rácsa alapján szeleteli az adatokat. A felhasználók kiválaszthatják az elemzéshez szükséges bemeneti funkciókat.
A hőtérkép a nagy hibával rendelkező cellákat sötétvörös színnel jeleníti meg, hogy felhívja a felhasználó figyelmét ezekre a régiókra. Ez a funkció különösen hasznos, ha a hibatémák különbözőek a partíciók között, ami gyakran előfordul a gyakorlatban. Ebben a hibaazonosítási nézetben az elemzést a felhasználók és azok ismerete vagy hipotézisei irányítják, hogy mely funkciók lehetnek a legfontosabbak a hibák megértéséhez.
Következő lépések
- Megtudhatja, hogyan hozhatja létre a Felelős AI-irányítópultot a parancssori felület és az SDK vagy Azure Machine Learning stúdió felhasználói felületen keresztül.
- Tekintse át a támogatott hibaelemzési vizualizációkat.
- Megtudhatja, hogyan hozhat létre felelős AI-scorecardot a Felelős AI-irányítópulton megfigyelt megállapítások alapján.