Megosztás a következőn keresztül:

Modell teljesítménye és méltányossága

  • Cikk

Ez a cikk olyan módszereket ismertet, amelyekkel megismerheti a modell teljesítményét és méltányosságát az Azure Machine Learningben.

Mi a gépi tanulási méltányosság?

A mesterséges intelligencia és a gépi tanulási rendszerek tisztességtelen viselkedést mutathatnak. A tisztességtelen viselkedés meghatározásának egyik módja a károkozás vagy az emberekre gyakorolt hatása. Az AI-rendszerek számos típusú kárt okozhatnak. További információért tekintse meg Kate Crawford NeurIPS 2017-beli keynote-ot.

Az AI által okozott károk két gyakori típusa:

  • A kiosztás sérülése: Az AI-rendszerek bizonyos csoportok számára kiterjesztik vagy visszatartják a lehetőségeket, erőforrásokat vagy információkat. Ilyenek például a felvétel, az iskolai felvétel és a hitelnyújtás, ahol a modell jobban alkalmas lehet a jó jelöltek kiválasztására egy adott csoport között, mint más csoportok között.

  • A szolgáltatásminőség sérülése: Az AI-rendszerek nem működnek olyan jól az emberek egy csoportjánál, mint a másiknál. Előfordulhat például, hogy a hangfelismerő rendszer nem működik olyan jól a nők számára, mint a férfiak esetében.

Az AI-rendszerek tisztességtelen viselkedésének csökkentése érdekében fel kell mérnie és csökkentenie kell ezeket a károkat. A Felelős AI-irányítópult modelláttekintő összetevője hozzájárul a modell életciklusának azonosítási szakaszához azáltal, hogy modellteljesítmény-metrikákat hoz létre a teljes adatkészlethez és az azonosított adatok kohorszaihoz. Ezeket a metrikákat a bizalmas funkciók vagy bizalmas attribútumok szempontjából azonosított alcsoportokban hozza létre.

Feljegyzés

A méltányosság társadalmi-technikai kihívás. A mennyiségi méltányossági metrikák nem rögzítik a méltányosság számos aspektusát, például az igazságosságot és a megfelelő folyamatot. Emellett számos mennyiségi méltányossági mérőszám nem elégíthető ki egyszerre.

A Fairlearn nyílt forráskódú csomag célja, hogy lehetővé tegye az emberek számára a hatás- és kockázatcsökkentési stratégiák értékelését. Végső soron az embereken múlik, hogy mi és gépi tanulási modelleket építenek ki, hogy a forgatókönyveiknek megfelelő kompromisszumokat hozhassanak létre.

A Felelős AI-irányítópult ezen összetevőjében a méltányosság a csoport méltányosságának nevezett megközelítésen keresztül fogalmilag fogalmilag van meg. Ez a megközelítés a következőt kérdezi: "Mely egyének csoportjait fenyegeti a kár?" A bizalmas funkciók kifejezés arra utal, hogy a rendszertervezőnek érzékenynek kell lennie ezekre a funkciókra a csoport méltányosságának értékelésekor.

Az értékelési fázisban a méltányosság az egyenlőtlenségi metrikákon keresztül számszerűsíthető. Ezek a metrikák az arányok vagy különbségek alapján értékelhetik ki és hasonlíthatják össze a modellek viselkedését a csoportok között. A Felelős AI-irányítópult két különböző metrikaosztályt támogat:

  • A modell teljesítményének eltérése: Ezek a metrikák kiszámítják a kiválasztott teljesítménymetrika értékeinek eltérését (különbségét) az adatok alcsoportjaiban. Íme néhány példa:

    • A pontossági arány eltérése
    • A hibaarány eltérése
    • A pontosság eltérése
    • Eltérés a visszahívásban
    • A középérték abszolút hibájának eltérése (MAE)

  • Eltérés a kiválasztási arányban: Ez a metrika az alcsoportok közötti kiválasztási arány (kedvező előrejelzés) különbségét tartalmazza. Erre példa a hitel-jóváhagyási ráta eltérése. A kiválasztási arány az egyes osztályok adatpontjainak 1 (bináris besorolásban) vagy előrejelzési értékek eloszlásának (regresszióban) a töredékét jelenti.

Ennek az összetevőnek a méltányossági felmérési képességei a Fairlearn-csomagból származnak. A Fairlearn a modell méltányossági felmérési metrikáinak és a tisztességtelenség-mérséklési algoritmusoknak a gyűjteményét biztosítja.

Feljegyzés

A méltányossági értékelés nem pusztán technikai gyakorlat. A Fairlearn nyílt forráskódú csomag mennyiségi metrikákat tud azonosítani, amelyek segítenek felmérni a modell méltányosságát, de nem fogja elvégezni az értékelést. Minőségi elemzést kell végeznie a saját modelljei méltányosságának kiértékeléséhez. A korábban említett bizalmas jellemzők egy példa erre a minőségi elemzésre.

Paritáskorlátok a tisztességtelenség mérséklése érdekében

Miután megismerte a modell méltányossági problémáit, a Fairlearn nyílt forráskódú csomagban található kárenyhítő algoritmusokkal enyhítheti ezeket a problémákat. Ezek az algoritmusok támogatják a prediktor viselkedésére vonatkozó korlátozásokat, úgynevezett paritáskorlátokat vagy feltételeket.

A paritásos korlátozások megkövetelik, hogy a prediktor viselkedésének bizonyos aspektusai összehasonlíthatók legyenek a bizalmas jellemzők által definiált csoportok között (például különböző fajokkal). A Fairlearn nyílt forráskódú csomagban található kárenyhítő algoritmusok ilyen paritásos korlátozásokat használnak a megfigyelt méltányossági problémák enyhítésére.

Feljegyzés

A Fairlearn nyílt forráskódú csomag tisztességtelenség-mérséklő algoritmusai javasolt kockázatcsökkentési stratégiákat biztosíthatnak a gépi tanulási modellek tisztességtelenségének csökkentésére, de ezek a stratégiák nem szüntetik meg a tisztességtelenséget. Előfordulhat, hogy a fejlesztőknek más paritáskorlátokat vagy feltételeket kell figyelembe venniük a gépi tanulási modelljeikhez. Az Azure Machine Learninget használó fejlesztőknek maguknak kell meghatározniuk, hogy a kockázatcsökkentés megfelelően csökkenti-e a gépi tanulási modellek tervezett használatában és üzembe helyezésében a tisztességtelenséget.

A Fairlearn-csomag a paritásos korlátozások alábbi típusait támogatja:

Paritáskorlát Cél Gépi tanulási feladat
Demográfiai paritás Foglalási hibák elhárítása Bináris besorolás, regresszió
Kiegyenlített esélyek A kiosztással és a szolgáltatásminőséggel kapcsolatos ártalmak diagnosztizálása Bináris besorolás
Esélyegyenlőség A kiosztással és a szolgáltatásminőséggel kapcsolatos ártalmak diagnosztizálása Bináris besorolás
Korlátolt csoportvesztés A szolgáltatásminőségi ártalmak enyhítése Regresszió

Kárenyhítő algoritmusok

A Fairlearn nyílt forráskódú csomag kétféle tisztességtelenség-mérséklő algoritmust biztosít:

  • Csökkentés: Ezek az algoritmusok egy szabványos feketedobozos gépi tanulási becslést (például LightGBM-modellt) használnak, és újratanított modelleket hoznak létre újrasúlyozott betanítási adatkészletek sorozatával.

    Előfordulhat például, hogy egy adott nem kérelmezője túlsúlyos vagy alacsony súlyú a modellek újratanítása és a nemi csoportok közötti különbségek csökkentése érdekében. A felhasználók ezután kiválaszthatják azt a modellt, amely az üzleti szabályok és a költségszámítások alapján a legjobb kompromisszumot biztosítja a pontosság (vagy egy másik teljesítménymetrika) és az egyenlőtlenségek között.

  • Utófeldolgozás: Ezek az algoritmusok egy meglévő osztályozót és egy bizalmas funkciót vesznek bemenetként. Ezután az osztályozó előrejelzésének átalakításával kényszerítik ki a megadott méltányossági korlátozásokat. Egy utófeldolgozási algoritmus, a küszöbérték-optimalizálás legnagyobb előnye az egyszerűsége és rugalmassága, mivel nem kell újratanulnia a modellt.

Algoritmus Leírás Gépi tanulási feladat Bizalmas funkciók Támogatott paritáskorlátok Algoritmus típusa
ExponentiatedGradient Az A Reductions Approach to Fair Classification (A Reductions Approach to Fair Classification) című cikkben leírt méltányos besorolás feketedobozos megközelítése. Bináris besorolás Kategorikus Demográfiai paritás, kiegyenlített esélyek Csökkentés
GridSearch A méltányos besorolás csökkentési megközelítésében leírt feketedobozos megközelítés. Bináris besorolás Bináris Demográfiai paritás, kiegyenlített esélyek Csökkentés
GridSearch Black-box megközelítés, amely a fair regresszió rácskeresési variánsát valósítja meg a Fair Regresszió: Mennyiségi definíciók és csökkentési alapú algoritmusok című szakaszban leírt, határolt csoportvesztés algoritmusával. Regresszió Bináris Korlátolt csoportvesztés Csökkentés
ThresholdOptimizer Az esélyegyenlőség a felügyelt tanulásban című tanulmányon alapuló utófeldolgozási algoritmus. Ez a technika egy meglévő osztályozót és egy bizalmas funkciót vesz fel bemenetként. Ezután az osztályozó előrejelzésének monoton transzformációját hozza létre a megadott paritáskorlátok kikényszerítéséhez. Bináris besorolás Kategorikus Demográfiai paritás, kiegyenlített esélyek Utófeldolgozás

Következő lépések