Mesterségesintelligencia-/gépi tanulási rendszerek és függőségek fenyegetésmodellezése

Szerzők: Andrew Marshall, Jugal Parikh, Emre Kiciman és Ram Shankar Siva Kumar

Külön köszönet Raul Rojasnak és az AETHER Security Engineering Workstreamnek.

2019. november

Ez a dokumentum az AETHER Engineering Practices for AI (AETHER MI-tervezési eljárások) munkacsoportjának terméke, és kiegészíti a meglévő SDL-fenyegetésmodellezési eljárásokat azáltal, hogy új útmutatást nyújt a veszélyek számbavételére és elhárítására az MI és gépi tanulási területre vonatkozóan. Ez a dokumentum azért készült, hogy referenciaként szolgáljon az alábbi biztonsági terváttekintések során:

1. Mesterséges intelligencián/gépi tanuláson alapuló szolgáltatásokat használó vagy azoktól függő termékek/szolgáltatások

2. Mesterséges intelligencián/gépi tanuláson alapuló termékek/szolgáltatások

A hagyományos biztonsági fenyegetések elhárítása fontosabb, mint valaha. A Biztonságfejlesztési életciklusban meghatározott követelmények elengedhetetlenek egy olyan termék biztonsági alapjainak megalapozásához, amelyre ez az útmutató épít. A hagyományos biztonsági fenyegetések elhárításának elmulasztása lehetővé teszi a jelen dokumentumban tárgyalt mesterséges intelligenciával/gépi tanulással kapcsolatos támadásokat a szoftveres és a fizikai tartományokban egyaránt, valamint a szoftverkészlet alsóbb rétegei biztonságának veszélyeztetését. A terület új biztonsági fenyegetéseinek bemutatásához lásd a mesterséges intelligencia és a gépi tanulás jövőjének biztonságossá tételét a Microsoftnál.

A biztonsági mérnökök és az adatszakértők készségei általában nincsenek átfedésben egymással. Ez az útmutató lehetővé teszi, hogy a két szakterület megbeszéléseket folytathasson az új fenyegetésekről és azok elhárításáról anélkül, hogy a biztonsági mérnököknek adatszakértőkké kellene válniuk, vagy fordítva.

A dokumentum két szakaszra osztható:

1. „A fenyegetésmodellezés legfontosabb új szempontjai” szakasz a mesterséges intelligencia/gépi tanulás fenyegetésmodellezésének új szemléleteit és kérdéseit tárgyalja. Az adatszakértőknek és a biztonsági mérnököknek egyaránt érdemes áttekinteniük, mivel ezt használják majd útmutatóként a fenyegetésmodellezéssel kapcsolatos megbeszélésekhez és az elhárítási lépések priorizálásához.
2. „A mesterséges intelligenciát/gépi tanulást érintő fenyegetések és az elhárításuk módja” című szakasz részletesen ismerteti az egyes támadásokat, valamint a jelenleg a Microsoft-termékeket és -szolgáltatásokat érintő fenyegetések elleni védelemhez használatos elhárítási lépéseket. Ez a szakasz elsősorban azoknak az adatszakértőknek szól, akiknek a fenyegetések modellezése/biztonsági felülvizsgálati folyamata során bizonyos veszélyforrások elhárítását kell megvalósítaniuk.

Ez az útmutató a Ram Shankar Siva Kumar, David O'Brien, Kendra Albert, Salome Viljoen és Jeffrey Snover által létrehozott Adversarial Machine Tanulás Threat Taxonomy köré szerveződik,"Failure Modes in Machine Tanulás" címmel. A jelen dokumentumban részletezett biztonsági fenyegetések osztályozásával kapcsolatos incidenskezelési útmutatásért tekintse meg az AI/ML-fenyegetések SDL-hibasávját. Ezek mind élő dokumentumok, amelyek idővel fejlődni fognak a fenyegetési környezettel.

A fenyegetésmodellezés legfontosabb új szempontjai: A megbízhatósági határok megtekintésének módosítása

Tegyük fel, hogy veszélyeztetik/beszennyezik az adatokat, amelyekből Ön, valamint az adatszolgáltató a betanítást végzi. Ismerje meg, hogyan észlelheti a rendellenes és rosszindulatú adatbejegyzéseket, valamint hogyan tudja megkülönböztetni azokat egymástól, és elvégezni helyreállítást.

Összesítés

A betanítási adattárak és az azokat üzemeltető rendszerek a fenyegetésmodellezési hatókör részét képezik. A gépi tanulásban rejlő legnagyobb biztonsági fenyegetés napjainkban az adatszennyezés, mert a nem megbízható/ellenőrizetlen nyilvános adathalmazok tanulási adatként való használata mellett ezen a területen nincsenek szabványos eljárások ennek észlelésére és elhárítására. Az adatok eredetének ismerete és nyomon követése elengedhetetlen a megbízhatóságuk garantálásához és a „válogatatlan bemenet válogatatlan kimenetet eredményez” betanítási ciklus elkerüléséhez.

Megválaszolandó kérdések a biztonsági felülvizsgálat során

• Hogyan ismerné fel, hogy adatait beszennyezték vagy illetéktelenül módosították?

  – Milyen telemetriával rendelkezik a betanítási adatai minőségi hibáinak észlelésére?

• Felhasználói bemenetekről végzi a betanítást?

  – Milyen típusú ellenőrzést/tisztítást végez a bemeneti tartalmon?

  – A dokumentált adatok hasonlítanak az adathalmazok adatlapjaira?

• Ha online adattárakkal végez betanítást, milyen lépéseket tesz a modell és az adatok közötti kapcsolat biztonsága érdekében?

  – Van mód arra, hogy jelentsék a végfelhasználók forrásait ért illetéktelen hozzáférést?

  – Egyáltalán képesek erre?

• Mennyire bizalmas adatokkal végzi a betanítást?

  – Katalogizálja vagy szabályozza az adatbejegyzések hozzáadását/frissítését/törlését?

• Tartalmazhat a modell kimenete bizalmas adatokat?

  – Az adatokat a forrás engedélyével szerezte be?

• A modell csak a cél eléréséhez szükséges kimenetet eredményezi?

• A modell visszaad nyers megbízhatósági pontszámokat vagy bármilyen más közvetlen kimenetet, amely rögzíthető és duplikálható?

• Milyen hatása van, ha a betanítási adatait a modell támadásával/megfordításával kinyerik?

• Ha a modell kimenetének megbízhatósági szintjei hirtelen csökkennének, meg tudná állapítani, hogy ez hogyan/miért történt, és hogy mely adatok okozták?

• Jól formázott bemenetet határozott meg a modellhez? Mit tesz annak érdekében, hogy a bemenetek megfeleljenek ennek a formátumnak, és mit tesz, ha nem felelnek meg?

• Honnan értesül arról, ha a kimenetek helytelenek, de nem okoznak jelentésekben szereplő hibákat?

• Tudja-e, hogy a betanítási algoritmusok matematikai szinten ellenállnak-e a kártékony bemeneteknek?

• Hogyan állítja helyre a betanítási adatok kártékony beszennyezését?

  – El tudja különíteni/karanténba tudja helyezni a kártékony tartalmat, és újra tudja tanítani az érintett modelleket?

  – Vissza tud állítani egy korábbi modellverziót az ismételt betanításhoz?

• Ellenőrizetlen nyilvános tartalmon használ megerősítő tanulást?

• Az adatok követésekor, ha problémát talál, nyomon tudja követni egészen az adathalmazba való bevezetéséig? Ha nem, akkor problémát jelent mindez?

• Az anomáliák felismeréséhez ismernie kell a betanítási adatok eredetét, és azonosítania kell a statisztikai normákat

  – A betanítási adatok mely elemei vannak kitéve a külső befolyásolásnak?

  – Ki járulhat hozzá a betanításhoz használt adathalmazokhoz?

  – Ön hogyan támadná meg a saját betanítási adatforrásait, ha károkat szeretne okozni a versenytársaknak?

Kapcsolódó fenyegetések és elhárítási módjuk a jelen dokumentumban

• Megzavarás kártékony céllal (az összes változat)

• Adatszennyezés (az összes változat)

Példatámadások

• A jóindulatú e-mailek levélszemétként való besorolásának kikényszerítése, vagy kártékony példa átjuttatása anélkül, hogy a rendszer észlelné

• A támadó létrehozhat mesterséges bemeneteket a helyes besorolás megbízhatósági szintjének csökkentése céljából, különösen a jelentős következményekkel járó forgatókönyvekben

• A támadó véletlenszerű zajt injektál a besorolás alatt álló forrásadatokba a helyes besorolás valószínűségének jövőbeni csökkentése érdekében lebutítva a modellt

• A betanítási adatpontok szennyezése, ami a kiválasztott adatpontok hibás besorolását okozza, és bizonyos műveletek elvégzését/kihagyását eredményezi

A modell(ek) vagy termék/szolgáltatás által elvégezhető azon műveletek azonosítása, amelyek az ügyfélnek kárt okozhatnak az online vagy a fizikai tartományban

Összesítés

A mesterséges intelligencián/gépi tanuláson alapuló rendszerek elleni elhárítatlan támadások hatással lehetnek a fizikai világra is. Minden olyan esemény, amely pszichológiailag vagy fizikailag ártalmas lehet a felhasználókra, végzetes kockázatot jelent a termékére vagy szolgáltatására nézve. Ez kiterjed minden olyan, az ügyfelekkel kapcsolatos bizalmas adatra, amelyet betanításra használnak és a bizalmas adatok esetleges kiszivárgását okozó tervezési döntésekre.

Megválaszolandó kérdések a biztonsági felülvizsgálat során

• Kártékony célú példákkal végzi a betanítást? Milyen hatással vannak a modell kimenetére a fizikai tartományban?

• Milyen hatással van a trollkodás a termékre/szolgáltatásra nézve? Hogyan tudja észlelni és elhárítani?

• Mi kell ahhoz, hogy a modell olyan eredményt adjon vissza, amely félrevezeti a rendszert, és elutasítja a jogosult felhasználók hozzáférését?

• Mit eredményez a modell lemásolása/ellopása?

• Felhasználható a modell arra, hogy egy adott csoporthoz tartozó vagy a betanítási adatokban szereplő személy tagságára lehessen következtetni?

• Okozhatják a támadók a termék hírnevének vagy a megbízhatóságának károsodását, ha arra kényszerítik, hogy bizonyos műveleteket hajtson végre?

• Hogyan kezeli a megfelelő formátumú, de elfogult, például trolloktól származó adatokat?

• A modell ki van téve a használatkor és az abból való lekérdezés során. Felfedheti ez a betanítási adatokat vagy a modell működését?

Kapcsolódó fenyegetések és elhárítási módjuk a jelen dokumentumban

• Tagsági következtetés

• Modellinverzió

• Modell-lopás

Példatámadások

• A betanítási adatok rekonstrukciója és kinyerése a modell ismételt lekérdezésével a maximális megbízhatóságú eredmények érdekében

• A modell duplikálása teljes körű lekérdezés–válasz párosítással

• A modell lekérdezése oly módon, hogy felfedje a betanítási adathalmazban lévő személyes adatok egy részét

• Önvezető autó félrevezetése, hogy figyelmen kívül hagyja a stoptáblákat/közlekedési lámpákat

• Beszélgetőrobotok manipulálása, hogy azok jóindulatú felhasználókkal trollkodjanak

A mesterséges intelligencia/gépi tanulás függőségforrásainak, valamint az adatok/modell ellátási láncában található előtér-megjelenítési rétegek beazonosítása

Összesítés

A mesterséges intelligenciát és a gépi tanulást érő számos támadás az olyan API-khoz való jogosult hozzáféréssel kezdődik, amelyek a modell lekérdezési hozzáférésének biztosítása érdekében érhetők el. Az itt szereplő gazdag adatforrások és gazdag felhasználói élmény miatt a harmadik felek hitelesített, de „nem megfelelő” (szürke zónás) hozzáférése a modellekhez kockázatos, mert a Microsoft által biztosított szolgáltatáson felüli megjelenítési rétegként is funkcionálhat.

Megválaszolandó kérdések a biztonsági felülvizsgálat során

• Mely ügyfelek/partnerek rendelkeznek hitelesítéssel a modell vagy szolgáltatás API-jainak eléréséhez?

  – Működhetnek a szolgáltatáson felüli megjelenítési rétegként?

  – Azonnal vissza tudja vonni a hozzáférésüket a biztonság veszélyeztetése esetén?

  – Mi a helyreállítási stratégia a szolgáltatás vagy a függőségek rosszindulatú használata esetén?

• Építhet harmadik fél előtérrendszert a modell köré olyan módon, hogy más célokra használja, és kárt okozzon a Microsoftnak vagy ügyfeleinek?

• Az ügyfelek közvetlenül Önnek adják át a betanítási adatokat?

  – Hogyan gondoskodik az adatok biztonságáról?

  – Mi történik, ha az kártékony, és a szolgáltatását célozza?

• Hogy néz ki egy vakriasztás? Mit eredményez egy vakriasztás?

• Nyomon tudja követni és mérhetővé tudja tenni a valódi és vakriasztások aránya közötti eltéréseket több modell között?

• Milyen típusú telemetriára van szükség, hogy a modell a felhasználóknak szánt kimenetének megbízhatóságát igazolja?

• Azonosítsa a külső felekhez kapcsolódó függőségeket a gépi tanulási/betanítási adatok ellátási láncában – ne csak a nyílt forráskódú szoftvereket, hanem az adatszolgáltatókat is.

  – Miért használja őket, és hogyan ellenőrzi a megbízhatóságukat?

• Külső féltől származó, előre elkészített modelleket használ, vagy elküldi a betanítási adatokat külső MLaaS-szolgáltatónak?

• Gyűjtse össze a hasonló termékekre/szolgáltatásokra irányuló támadásokról szóló híreket. Annak ismeretében, hogy a mesterséges intelligenciát/gépi tanulást fenyegető számos veszély több modelltípust is érinthet, milyen hatással lennének ezek a támadások a saját termékeire?

Kapcsolódó fenyegetések és elhárítási módjuk a jelen dokumentumban

• Neurális háló újraprogramozása

• Kártékony célú példák a fizikai tartományban

• Rosszindulatú gépitanulás-szolgáltatók betanítási adatokat szereznek meg

• A gépi tanulás ellátási láncának megtámadása

• A kiskapus modell

• Sérült biztonságú, gépitanulás-specifikus függőségek

Példatámadások

• Egy rosszindulatú MLaaS-szolgáltató egy adott megkerülést alkalmazó trójai programmal fertőzi meg a modellt

• Egy ellenséges ügyfél biztonsági rést talál az Ön által használt általános OSS-függőségben, és mesterségesen összeállított betanítási adatokat tölt fel a szolgáltatás hatékonyságának rontása céljából

• Egy gátlástalan partner arcfelismerési API-kat használ, és egy megjelenítési réteget hoz létre a szolgáltatás felett élethű hamisítványok (deep fake-ek) létrehozásához.

A mesterséges intelligenciát/gépi tanulást érintő fenyegetések és az elhárításuk módja

#1: Adversarial Perturbation

Leírás

A megzavarásra épülő támadásokban a támadó titokban módosítja a lekérdezést, hogy a kívánt választ kapja az éles környezetben üzembe helyezett modelltől[1]. Ez a modellbemenet integritásának megsértése, ami fuzz tesztelés jellegű támadásokhoz vezet, amelyek következtében a végeredmény nem feltétlenül egy hozzáférés-megsértés vagy EOP, hanem inkább a modell besorolási teljesítményének befolyásolása. Mindez abban is megnyilvánulhat, hogy a trollok úgy használnak bizonyos célszavakat, hogy a mesterséges intelligencia letiltsa azokat, amivel lényegében megtagadják a szolgáltatást a „letiltott” szóval egyező nevű, jogszerű felhasználók tekintetében.

[24]

Variant #1a: Célzott helytelen besorolás

Ebben az esetben a támadók olyan mintát hoznak létre, amely nem található meg a célosztályozó bemeneti osztályában, de a modell az adott bemeneti osztályként sorolja be. A kártékony célú minta véletlenszerű zajként jelenhet meg az emberi szem számára, a támadók azonban ismeretekkel rendelkeznek a célszámítógép tanulási rendszeréről, így olyan fehér zajt hozhatnak létre, amely nem véletlenszerű, hanem a megcélzott modell bizonyos aspektusait használja ki. A támadó olyan bemeneti mintát biztosít, amely nem szabályos minta, de a célrendszer szabályos osztályként sorolja be.

Példák

[6]

Mitigations

• Az Adversarial Robustness megerősítése az Adversarial Training által kiváltott modell megbízhatóságával [19]: A szerzők a megbízhatósági információkat és a legközelebbi szomszédkeresést kombináló keretrendszert javasolják a megbízhatósági információk és a legközelebbi szomszédkeresés kombinálására, hogy megerősítsék az alapmodellek megbízhatóságát. A keretrendszer segítséget nyújt a helyes és helytelen modell-előrejelzések megkülönböztetésében az alapul szolgáló betanítási eloszlásból mintaként vett pont szomszédságában.

• Attribútumalapú ok-okozati elemzés [20]: A szerzők az adversarial perturbációkkal szembeni rugalmasság és a gépi tanulási modellek által generált egyedi döntések attribútumalapú magyarázata közötti kapcsolatot tanulmányozzák. A beszámolójuk szerint a kártékony célú bemenetek nem hatékonyak az attribúciós térben, vagyis néhány, magas attribúciójú jellemző maszkolása a gépi tanulási modell változással kapcsolatos döntésképtelenségéhez vezet a kártékony célú mintákkal összefüggésben. Ezzel szemben a természetes bemenetek hatékonyak az attribúciós térben.

  [20]

Ezek a megközelítések rugalmasabbá tehetik a gépi tanulási modelleket a kártékony célú támadásokkal szemben, mert a kétrétegű észlelési rendszer megtévesztéséhez nem csak az eredeti modellt kell támadni, hanem arról is gondoskodni kell, hogy a kártékony célú minta számára létrehozott attribúció hasonlítson az eredeti példákra. A sikeres kártékony célú támadáshoz mindkét rendszert egyszerre kell feltörni.

Hagyományos párhuzamok

Jogosultságok szintjének távoli emelése, mivel a támadó már ellenőrzéssel rendelkezik a modell felett

Severity

Critical

Variant #1b: Forrás/Cél helytelen besorolása

Ez a támadás úgy jellemezhető, mint a támadó kísérlete arra, hogy a modell a kívánt címkét adja vissza egy adott bemenethez kapcsolódóan. Ez általában arra kényszeríti a modellt, hogy téves pozitív vagy téves negatív eredményt adjon vissza. A végeredmény a modell besorolási pontossága feletti ellenőrzés észrevétlen átvétele, így a támadó tetszése szerint előidézhet adott megkerüléseket.

Bár ez a támadás jelentősen hátrányos hatással van a besorolás pontosságára, a végrehajtása több idővel járhat, mivel a támadónak nem csak a forrásadatokat kell manipulálnia úgy, hogy már ne legyenek helyesen megcímkézve, hanem kifejezetten a kívánt megtévesztő címkével kell ellátnia őket. Ezek a támadások gyakran több lépéssel/kísérlettel járnak a téves besorolás kikényszerítéséhez [3]. Ha a modell hajlamos továbbítani azokat a tanulási támadásokat, amelyek kikényszerítik a célzott téves besorolást, akkor lehet, hogy a támadó forgalmi lábnyoma nem lesz észlelhető, mivel a mintavételezési támadások offline is végrehajthatók.

Példák

A jóindulatú e-mailek levélszemétként való besorolásának kikényszerítése, vagy kártékony példa átjuttatása anélkül, hogy a rendszer észlelné. Ezek a támadások modellkikerüléses vagy utánzásos támadásként is ismertek.

Mitigations

Reaktív/védelmi célú észlelési intézkedések

• Implementáljon egy minimális időküszöbértéket a besorolási eredményeket biztosító API meghívásai között. Ez a sikeres megzavarás megtalálásához szükséges idő teljes mennyiségének növelésével lelassítja a többlépéses támadás tesztelését.

Proaktív/védelmi intézkedések

• Funkció-denoising for Improving Adversarial Robustness [22]: A szerzők egy új hálózati architektúrát fejlesztenek ki, amely a funkciók denoizálásával növeli a támadók robusztusságát. A hálózatok olyan blokkokat tartalmaznak, amelyek nem helyi eszközökkel vagy más szűrőkkel végzik a jellemzők zajszűrését. A hálózatok teljes körűen be vannak tanítva. A támadások elleni betanítással ötvözve a jellemzők zajszűrését végző hálózatok jelentősen javítják a támadással szembeni hatékonyságot a célzott és tapogatózó jellegű támadások esetén egyaránt.

• Adversarial Training and Regularization:Train with known adversarial samples to build rugalmasság és robusztusság a rosszindulatú bemenetek ellen. Ez a szabályozás egy formájának is tekinthető, amely a bemeneti gradiensek normáját bünteti, és gördülékenyebbé teszi az osztályozó előrejelzési funkcióját (a bemeneti ráhagyást növelve). Ez magában foglalja az alacsonyabb megbízhatósági aránnyal rendelkező helyes besorolásokat is.

Szánjon időt és energiát a több válogatott monoton jellemzővel rendelkező monoton besorolás fejlesztésébe. Ezzel biztosíthatja, hogy a támadó ne tudja elkerülni az osztályozót a negatív osztályból származó jellemzők egyszerű elfedésével [13].

• A DNN-modellek megerősítésére jellemzőtömörítés [18] használható, amellyel észlelhetők a kártékony célú példák. Ez csökkenti a támadó számára elérhető keresési teret az eredeti térben található számos különböző jellemzővektornak megfelelő minták egyetlen mintában történő egyesítésével. A DNN-modellnek az eredeti bemenetre vonatkozó előrejelzését a tömörített bemenetre vonatkozó előrejelzésével összehasonlítva a jellemzőtömörítés segíthet a kártékony példák észlelésében. Ha az eredeti és a tömörített példák jelentősen különböző kimeneteket adnak vissza a modellből, a bemenet valószínűleg kártékony. Az előrejelzések közötti eltérések mérésével és egy küszöbérték kiválasztásával a rendszer megfelelő előrejelzést adhat a szabályos példákra vonatkozóan, és elutasíthatja a kártékony bemeneteket.

  

  [18]

• Certified Defenses against Adversarial Examples [22]: A szerzők egy félig határozott relaxáción alapuló módszert javasolnak, amely egy tanúsítványt ad ki, amely egy adott hálózati és tesztelési bemenet esetén nem kényszerítheti a hibát egy bizonyos érték túllépésére. Másodszor, mivel ez a tanúsítvány differenciálható, a szerzők közösen optimalizálják a hálózati paraméterekkel, egy olyan adaptív szabályozót biztosítva, amely minden támadással szemben fokozza a hatékonyságot.

Válaszintézkedések

• Riasztás kiadása az osztályozók között nagy eltérést mutató besorolási eredményekre, különösen, ha egyetlen felhasználótól vagy felhasználók kis csoportjától származnak.

Hagyományos párhuzamok

Jogosultságok szintjének távoli emelése

Severity

Critical

Variant #1c: Véletlenszerű helytelen besorolás

Ez egy különleges változat, amelyben a támadó célbesorolása a szabályos forrásbesoroláson kívül bármi lehet. A támadás általában zaj a besorolás alatt álló forrásadatokba való véletlenszerű bejuttatásával jár a helyes besorolás valószínűségének jövőbeni csökkentése érdekében [3].

Példák

Mitigations

Ugyanaz, mint az 1a változat.

Hagyományos párhuzamok

Ideiglenes szolgáltatásmegtagadás

Severity

Fontos

Variant #1d: Megbízhatóság csökkentése

A támadó létrehozhat mesterséges bemeneteket a helyes besorolás megbízhatósági szintjének csökkentése céljából, különösen a jelentős következményekkel járó forgatókönyvekben. Ez nagy számú álpozitív eredmény formáját is öltheti, aminek célja a rendszergazda vagy monitorozási rendszerek elárasztása a szabályos riasztásoktól megkülönböztethetetlen megtévesztő riasztásokkal [3].

Példák

Mitigations

• A Variant #1a által érintett műveletek mellett az események szabályozása is alkalmazható az egyetlen forrásból származó riasztások mennyiségének csökkentésére.

Hagyományos párhuzamok

Ideiglenes szolgáltatásmegtagadás

Severity

Fontos

#2a célzott adatmérgezés

Leírás

A támadó célja a betanítási fázisban létrehozott gépi modell beszennyezése, hogy az új adatokra vonatkozó előrejelzések módosuljanak a tesztelési fázisban[1]. A célzott szennyezéses támadásokban a támadók konkrét példákat akarnak tévesen besorolni, hogy elérjék bizonyos műveletek végrehajtását vagy kihagyását.

Példák

Vírusvédelmi szoftver küldése kártevő szoftverként annak rosszindulatúként való téves besorolása érdekében, megszüntetve a megcélzott vírusvédelmi szoftver használatát az ügyfélrendszereken.

Mitigations

• Eltérésérzékelők meghatározása az adateloszlás napi figyeléséhez, és riasztás küldése eltérések esetén

  – A betanítási adatok eltérésének napi rendszerességű mérése, telemetria küldése eltolódás/eltérés esetén

• Bemenet ellenőrzése: tisztítás és integritás-ellenőrzés

• A szennyezés során külső betanítási mintákat juttatnak a rendszerbe. A fenyegetés elhárításához két fő stratégia áll rendelkezésre:

  – Adatok tisztítása/ellenőrzése: szennyező minták eltávolítása a betanítási adatokból – Rendszerindítási összesítés (poggyász) a szennyezéses támadások elleni küzdelem érdekében [14]

  – Negatív hatás elutasításán (Reject-on-Negative-Impact, RONI) alapuló védelem [15]

  -Robusztus Tanulás: Olyan tanulási algoritmusokat válasszon, amelyek mérgezési minták jelenlétében robusztusak.

  -Az egyik ilyen megközelítést a [21] ismerteti, ahol a szerzők két lépésben foglalkoznak az adatmérgezés problémájával: 1) bevezetnek egy új, robusztus mátrix-faktorizációs módszert a valódi altér helyreállításához, és 2) egy új, robusztus elvi összetevő regresszióját az adversarial-példányok eltávolításához az (1) lépésben helyreállított alap alapján. Szükséges és elégséges feltételeket mutatnak be a valódi altér sikeres helyreállításához, valamint a várt előrejelzés-veszteség korlátozásához az alapvetéshez viszonyítva.

Hagyományos párhuzamok

Trójai programmal fertőzött gazdagép, amelynek révén a támadó jelen lehet a hálózaton. A betanítási vagy konfigurációs adatok biztonsága sérült, és a rendszer betölti/megbízhatónak tartja őket a modell létrehozásához.

Severity

Critical

#2b Válogatás nélküli adatmérgezés

Leírás

A cél a megtámadott adathalmaz minőségének/integritásának rontása. Számos adathalmaz nyilvános, nem megbízható vagy moderálatlan, ez pedig további problémákat jelent az adatintegritás megsértésének felismerésére való képesség terén. A nem ismerten sérült biztonságú adatok felhasználása a betanítás során egy ún. „garbage-in/garbage-out” helyzetet eredményez. Ez a kifejezés arra utal, hogy rossz adatokból csak rossz eredményeket lehet kapni. Az észlelést követően az osztályozásnak meg kell határoznia az adatbiztonság sérülésének mértékét, és karanténba kell helyeznie a sérült adatokat/meg kell ismételnie a betanítást.

Példák

Egy vállalat egy közismert és megbízható webhelytől szerzi be a modellek betanításához használt határidős olajügyleti adatokat. Az adatszolgáltató webhelyét ezt követően SQL-injektálási támadással feltörik. A támadó szándékosan beszennyezheti az adathalmazt, és a modell a betanítás során nem érzékeli, hogy az adatok fertőzöttek.

Mitigations

Ugyanaz, mint a 2a változat.

Hagyományos párhuzamok

Hitelesített szolgáltatásmegtagadás valamilyen nagy értékű adategység ellen

Severity

Fontos

#3 Modell inverziós támadásai

Leírás

A gépi tanulási modellekben használt privát funkciók helyreállíthatók [1]. Ezek közé tartozik azon privát betanítási adatok újraépítése, amelyekhez a támadó nem fér hozzá. A biometrikus közösségben más néven hegymászó támadásként is ismert [16, 17]. Ehhez meg kell keresni a visszaadott megbízhatósági szintet maximalizáló, a céllal megfeleltethető osztályozás tárgyát képező bemenetet [4].

Példák

[4]

Mitigations

• A bizalmas adatokkal betanított modellek interfészeihez szigorú hozzáférés-vezérlés szükséges.

• A modell által engedélyezett lekérdezések sebességének korlátozása

• Kapuk kialakítása a felhasználók/hívók és a tényleges modell között az összes lekérdezés bemeneti adatainak ellenőrzésével, továbbá a modell helyes bemenetekre vonatkozó definíciójának nem megfelelő adatok elutasítása, hogy csak a hasznossághoz szükséges minimális mennyiségű információt adja vissza.

Hagyományos párhuzamok

Az információk célzott és védett felfedése

Severity

Ez a standard SDL-hibalista alapértelmezett beállítása szerint a fontos kategóriába kerül, de a bizalmas vagy személyazonosításra alkalmas adatok kinyerése esetében kritikus fontosságúra változna.

#4 Tagsági következtetési támadás

Leírás

A támadó el tudja dönteni, hogy egy adott adatrekord része volt-e a modell betanítási adatkészletének, vagy sem[1]. A kutatók az attribútumok (pl. életkor, nem, kórház) alapján előre tudták jelezni a páciens fő eljárását (pl. a beteg műtétjét).

[12]

Mitigations

A támadás életképességét szemléltető kutatási dokumentumok szerint a differenciált adatvédelem [4, 9] hatékony lehet. Ez a kutatási terület a Microsoftnál még gyermekcipőben jár, ezért az AETHER Security Engineering a szakértelem kutatási befektetésekkel történő növelését szorgalmazza e téren. Ennek a kutatásnak számba kell vennie a differenciált adatvédelmi képességeket, és fel kell mérnie azok kockázatcsökkentés szempontjából vett gyakorlati hasznosságát, majd különféle módokat kell kidolgozniuk a védelmi rendszerek átlátható öröklődéséhez az online szolgáltatási platformokon, hasonlóan ahhoz, ahogyan a Visual Studióban a kód fordítása alapértelmezés szerint engedélyezett biztonsági megoldásokat biztosít, amelyek mind a fejlesztő, mind pedig a felhasználók számára átláthatók.

A neuronkihagyás és a modellhalmozás használata bizonyos mértékig hatékony kockázatcsökkentő megoldás lehet. A neuronkihagyás használata nem csupán egy neurális háló ellenállását növeli az ilyen támadásokkal szemben, de a modell teljesítményét is fokozza [4].

Hagyományos párhuzamok

Adatvédelem. Következtetéseket lehet levonni az adatpontoknak a betanítási készletben való használatáról, maguk a betanítási adatok azonban nem lesznek kiadva

Severity

Ez adatvédelmi problémának minősül, nem biztonságinak. Azért szerepel a fenyegetésmodellezési útmutatóban, mert ez a két terület átfedésben van egymással, de a válaszokat a biztonság helyett itt az adatvédelem szempontok motiválják.

#5 Modelllopás

Leírás

A támadók a modell szabályos lekérdezésével újra létrehozzák az alapul szolgáló modellt. Az új és az alapul szolgáló modell működése azonos[1]. Az újbóli létrehozás után a modell megfordítható úgy, hogy helyreállítsa a jellemzőkre vonatkozó információt, vagy következtessen a betanítási adatokra vonatkozóan.

• Egyenletmegoldás – Az osztályra vonatkozó valószínűségeket API-kimeneten keresztül visszaadó modellek esetében a támadó lekérdezéseket hozhat létre a modell ismeretlen változóinak megállapításához.

• Elérési út megállapítása – Az API-k sajátosságait kihasználó támadással kinyerhetők a bemenet osztályozása során, a fa alapján meghozott „döntések”[7].

• Átadásos támadás – A támadó (feltehetőleg a megcélzott modellnek elküldött előrejelzési lekérdezések kiadásával) be tudja tanítani a helyi modellt, és a segítségével kártékony célú példákat hozhat létre, amelyek átkerülnek a megcélzott modellbe[8]. Ha sikeres a modell kinyerése, és kiderül, hogy az védtelen egy bizonyos típusú kártékony bemenettel szemben, a modell másolatát kinyerő támadó teljesen offline fejleszthet ki új támadásokat az éles környezetben üzembe helyezett modell ellen.

Példák

Azokban a környezetekben, ahol egy gépi tanulási modell szolgál a kártékony viselkedés észlelésére (például a levélszemét azonosítására, a kártevők besorolására és a hálózati rendellenességek észlelésére), a modell kinyerése elősegíti a kikerüléses támadásokat[7].

Mitigations

Proaktív/védelmi intézkedések

• Minimalizálja vagy rejtse el az előrejelzési API-k által visszaadott adatokat, a „megbízható” alkalmazásokkal kapcsolatos hasznosságuk fenntartása mellett[7].

• Adjon meg egy megfelelő formátumú lekérdezést a modell bemeneteihez, és csak teljes, megfelelő és egyező formátumú bemenetek esetén adjon vissza eredményeket válaszként.

• Kerekített megbízhatósági értékek visszaadása. A legtöbb jogszerű hívó nem igényel több tizedesjegyes pontosságot.

Hagyományos párhuzamok

A rendszeradatok nem hitelesített, csak olvasható jellegű illetéktelen módosítása, nagy értékű információk célzott kiadása?

Severity

A biztonsági szempontból érzékeny modellek esetében fontos, egyéb esetben mérsékelt fontosságú

#6 Neurális net-újraprogramozás

Leírás

Egy támadótól származó, speciálisan kialakított lekérdezés révén a gépi tanulási rendszerek úgy programozhatóak át, hogy az általuk végrehajtott feladat eltérjen a létrehozó eredeti szándékától [1].

Példák

Egy arcfelismerési API gyenge hozzáférés-vezérlése lehetővé teszi, hogy külső felek a Microsoft-ügyfelek megkárosítására szánt alkalmazásokban használják őket, például élethű hamisítványokat létrehozó alkalmazásokban.

Mitigations

• Erős ügyfél-kiszolgáló<> kölcsönös hitelesítés és hozzáférés-vezérlés a modell interfészeihez

• A támadó fiókok eltávolítása.

• Az API-kra vonatkozó szolgáltatásiszint-szerződések azonosítása és kikényszerítése. Annak megállapítása, hogy egy adott probléma esetében mi a megoldáshoz szükséges elfogadható idő, valamint annak biztosítása, hogy a probléma nem fordul elő újra az SLA lejárta után.

Hagyományos párhuzamok

Ez egy visszaélési forgatókönyv. Az ilyen esetekben sokkal valószínűbb, hogy egy biztonsági incidens létrehozása helyett egyszerűen letiltja a támadó fiókját.

Severity

Fontos – Kritikus

#7 Adversarial Example in the Physical domain (bits-atoms>)

Leírás

A támadó példa egy rosszindulatú entitás bemenete/lekérdezése, amelynek célja kizárólag a gépi tanulási rendszer félrevezetése [1]

Példák

Ezek a példák a fizikai tartományban is megjelenhetnek. Például megtéveszthetnek egy önvezető autót, amely így nem áll meg a stoptáblánál, mert egy adott színű fénnyel (ez a kártékony célú bemenet) világítanak a táblára, és ez arra kényszeríti a képfelismerő rendszert, hogy a stoptáblát már ne stoptáblának érzékelje.

Hagyományos párhuzamok

Jogosultságok szintjének emelése, távoli kódvégrehajtás

Mitigations

Ezek a támadások azért bontakoznak ki, mert a gépi tanulási réteg (a mesterséges intelligencián alapuló döntéshozatal alatti adat- és az algoritmusréteg) hibáit nem orvosolták. Mint minden más szoftver *vagy* fizikai rendszer, a réteg alatt a cél mindig megtámadható a hagyományos vektorok. Emiatt a hagyományos biztonsági eljárások betartása fontosabb, mint valaha, különösen az MI és a hagyományos szoftverek között használt kezeletlen biztonsági rések rétege (az adat-/algoritmusréteg) miatt.

Severity

Critical

#8 Rosszindulatú ml-szolgáltatók, akik helyreállíthatják a betanítási adatokat

Leírás

Egy rosszindulatú szolgáltató egy kiskapuval rendelkező algoritmus segítségével visszaállíthatja a privát betanítási adatokat. Képesek voltak az arcok és a szövegek rekonstrukciójára kizárólag a modell alapján.

Hagyományos párhuzamok

Az információk célzott felfedése

Mitigations

A támadás életképességét szemléltető kutatási dokumentumok szerint a homomorfikus titkosítás hatékony lehet. Ez a kutatási terület a Microsoftnál jelenleg kevés figyelmet élvez, ezért az AETHER Security Engineering a szakértelem kutatási befektetésekkel történő növelését szorgalmazza e téren. Ennek a kutatásnak számba kell vennie a homomorfikus titkosítás alapelveit, és értékelnie kell azok gyakorlati hasznát a kockázatcsökkentés szempontjából a rosszindulatú gépitanulás-szolgáltatók ellenében.

Severity

PII-adatok esetén fontos, egyéb esetben mérsékelt fontosságú

#9 Az ML ellátási lánc megtámadása

Leírás

Az algoritmusok betanítása érdekében szükséges nagy erőforrások (adatok + számítások) miatt a jelenlegi gyakorlat az, hogy a nagyvállalatok által betanított modelleket újra felhasználják, és kissé módosítják őket a feladathoz (például: A ResNet a Microsoft népszerű képfelismerő modellje). Ezek a válogatott modellek a Model Zoo-ban találhatók (a Caffe népszerű képfelismerő modelleket üzemeltet). Ebben a támadásban a támadó megtámadja a Caffe-ban üzemeltetett modelleket, ezáltal pedig minden felhasználót veszélyeztet. [1]

Hagyományos párhuzamok

• Külső fél nem biztonsági jellegű függőségének sérülése

• Az App Store-ban akaratlanul üzemeltetett kártevők

Mitigations

• Modellek és adatok külső felekkel kapcsolatos függőségeinek minimalizálása, ahol lehetséges.

• Ezeket a függőségeket beépítheti a fenyegetésmodellezési folyamatba.

• Erős hitelesítés, hozzáférés-vezérlés és titkosítás használata a belső és külső felek által biztosított rendszerek között.

Severity

Critical

#10 Backdoor Machine Tanulás

Leírás

A betanítási folyamat egy rosszindulatú harmadik félhez van kiszervezve, aki a betanítási adatok illetéktelen módosításával egy olyan, trójait tartalmazó modellt szállított le, amely célzottan kikényszeríti a téves besorolásokat, például nem rosszindulatúként sorol be egy adott vírust[1]. Ez kockázatot jelent a gépitanulás-szolgáltatókkal kapcsolatos modell-létrehozási forgatókönyvekben.

[12]

Hagyományos párhuzamok

• Külső fél biztonsági jellegű függőségének sérülése

• Sérült szoftverfrissítési mechanizmus

• Hitelesítésszolgáltató sérülése

Mitigations

Reaktív/védelmi célú észlelési intézkedések

• Mire ezt a fenyegetést sikerült észlelni, már megtörtént a baj, ezért a rosszindulatú szolgáltató által biztosított modell és betanítási adatok nem megbízhatóak.

Proaktív/védelmi intézkedések

• Az összes bizalmas modell házon belüli betanítása

• A betanítási adatok katalogizálása, valamint annak ellenőrzése, hogy azok megbízható, erős biztonsági gyakorlatokat alkalmazó harmadik féltől származnak.

• Az MLaaS-szolgáltató és a saját rendszerek közötti interakciók modellezése a veszélyforrások szempontjából.

Válaszintézkedések

• Ugyanaz, mint a külső függőségek sérülése esetében

Severity

Critical

#11 Az ML-rendszer szoftverfüggőségeinek kihasználása

Leírás

Ebben a támadásban a támadó NEM manipulálja az algoritmusokat. Ehelyett a szoftveres biztonsági réseket, például a puffertúlcsordulásokat, illetve a webhelyek közötti szkriptelést[1] használja ki. Még mindig könnyebb a mesterséges intelligencia/gépi tanulás rétege alatti szoftverrétegeket megkárosítani, mint közvetlenül megtámadni a tanulási réteget. Ezért elengedhetetlen fontosságúak a biztonságfejlesztési életciklusban leírt, a hagyományos biztonsági fenyegetések elhárítására irányuló gyakorlatok.

Hagyományos párhuzamok

• Sérült, nyílt forráskódú szoftveres függőség

• Webkiszolgáló biztonsági rése (XSS-, CSRF-, API-bemenetek érvényesítési hibája)

Mitigations

Működjön együtt biztonsági csapatával, és kövesse a megfelelő biztonsági fejlesztési életciklussal/működési biztonsági garanciával kapcsolatos ajánlott eljárásokat.

Severity

Változó; Akár kritikus is lehet a hagyományos szoftveres biztonsági rések típusától függően.

Irodalomjegyzék

[1] Hibamódok a Machine Tanulás, Ram Shankar Siva Kumar, David O'Brien, Kendra Albert, Salome Viljoen és Jeffrey Snover,https://learn.microsoft.com/security/failure-modes-in-machine-learning

[2] AETHER Security Engineering Workstream, Data Provenance/Lineage v-team

[3] Adversarial Examples in Deep Tanulás: Characterization and Divergence, Wei, et al,https://arxiv.org/pdf/1807.00051.pdf

[4] ML-Leaks: Model and Data Independent Membership Inference Attacks and Defenses on Machine Tanulás Models, Salem, et al,https://arxiv.org/pdf/1806.01246v2.pdf

[5] M. Fredrikson, S. Jha, and T. Ristenpart, “Model Inversion Attacks that Exploit Confidence Information and Basic Countermeasures,” konferenciakiadvány: 2015 ACM SIGSAC Conference on Computer and Communications Security (CCS).

[6] Nicolas Papernot & Patrick McDaniel- Adversarial Examples in Machine Learning AIWTB 2017

[7] Stealing Machine Learning Models via Prediction APIs, Florian Tramèr, École Polytechnique Fédérale de Lausanne (EPFL); Fan Zhang, Cornell University; Ari Juels, Cornell Tech; Michael K. Reiter, The University of North Carolina at Chapel Hill; Thomas Ristenpart, Cornell Tech

[8] The Space of Transferable Adversarial Examples, Florian Tramèr , Nicolas Papernot , Ian Goodfellow , Dan Boneh és Patrick McDaniel

[9] Understanding Membership Inferences on Well-Generalized Learning Models Yunhui Long1 , Vincent Bindschaedler1 , Lei Wang2 , Diyue Bu2 , Xiaofeng Wang2 , Haixu Tang2 , Carl A. Gunter1 és Kai Chen3,4

[10] Simon-Gabriel et al., Adversarial vulnerability of neural networks increases with input dimension, ArXiv 2018;

[11] Lyu et al., A unified gradient regularization family for adversarial examples, ICDM 2015

[12] Vad minták: Tíz évvel az Adversarial Machine felemelkedése után Tanulás - NeCS 2019 Battista Biggioa, Fabio Roli

[13] Adversarially Robust Malware Detection UsingMonotonic Classification Inigo Incer et al.

[14] Battista Biggio, Igino Corona, Giorgio Fumera, Giorgio Giacinto és Fabio Roli. Bagging Classifiers for Fighting Poisoning Attacks in Adversarial Classification Tasks

[15] Továbbfejlesztett elutasítás a Negatív HatásVédelem Hongjiang Li és Patrick P.K. Chan

[16] Adler. Vulnerabilities in biometric encryption systems. 5th Int’l Conf. AVBPA, 2005

[17] Galbally, McCool, Fierrez, Marcel, Ortega-Garcia. On the vulnerability of face verification systems to hill-climbing attacks. Patt. Rec., 2010

[18] Weilin Xu, David Evans, Yanjun Qi. Funkcióbeszorítás: Támadó példák észlelése a mély neurális hálózatokban. 2018 Network and Distributed System Security Symposium. Február 18–21.

[19] Reinforcing Adversarial Robustness using Model Confidence Induced by Adversarial Training – Xi Wu, Uyeong Jang, Jiefeng Chen, Lingjiao Chen, Somesh Jha

[20] Attribution-driven Causal Analysis for Detection of Adversarial Examples, Susmit Jha, Sunny Raj, Steven Fernandes, Sumit Kumar Jha, Somesh Jha, Gunjan Verma, Brian Jalaian, Ananthram Swami

[21] Robust Linear Regression Against Training Data Poisoning – Chang Liu et al.

[22] Feature Denoising for Improving Adversarial Robustness, Cihang Xie, Yuxin Wu, Laurens van der Maaten, Alan Yuille, Kaiming He

[23] Certified Defenses against Adversarial Examples – Aditi Raghunathan, Jacob Steinhardt, Percy Liang