Tehdit Modelleme AI/ML Sistemleri ve Bağımlılıkları

Andrew Marshall, Jugal Parikh, Emre Kiciman ve Ram Shankar Siva Kumar

Raul Rojas ve AETHER Güvenlik Mühendisliği Çalışma Akışına Özel Teşekkürler

Kasım 2019

Bu belge, AI Çalışma Grubu için AETHER Mühendislik Uygulamaları'nın teslim edilebilir bir özelliğidir ve yapay zeka ve Makine Öğrenmesi alanına özgü tehdit listeleme ve azaltma konusunda yeni yönergeler sağlayarak mevcut SDL tehdit modelleme uygulamalarını tamamlar. Aşağıdaki güvenlik tasarımı gözden geçirmeleri sırasında başvuru olarak kullanılması amaçlanmıştır:

1. Yapay zeka/ML tabanlı hizmetlerle etkileşim kuran veya bağımlılıkları alan ürünler/hizmetler

2. Çekirdeklerinde yapay zeka/ML ile oluşturulan ürünler/hizmetler

Geleneksel güvenlik tehdidi azaltma her zamankinden daha önemlidir. Güvenlik Geliştirme Yaşam Döngüsü tarafından oluşturulan gereksinimler, bu kılavuzun temel aldığı bir ürün güvenliği temeli oluşturmak için gereklidir. Geleneksel güvenlik tehditlerinin ele alınamaması, hem yazılım hem de fiziksel etki alanlarında bu belgede ele alınan yapay zeka/ML'ye özgü saldırıların etkinleştirilmesine yardımcı olur ve yazılım katmanında daha alt seviyelerde önemsiz uzlaşmaları mümkün kılar. Bu alanda yeni güvenlik tehditlerine giriş için bkz. Microsoft'ta Yapay Zeka ve ML'nin Geleceğinin Güvenliğini Sağlama.

Güvenlik mühendislerinin ve veri bilim insanlarının beceri kümeleri genellikle çakışmaz. Bu kılavuz, her iki disiplinin de güvenlik mühendislerinin veri bilimcisi olmasını gerektirmeden bu yeni tehditler/risk azaltmalar hakkında yapılandırılmış konuşmalar yapmak için bir yol sağlar.

Bu belge iki bölüme ayrılmıştır:

1. "Tehdit Modellemede Önemli Yeni Önemli Noktalar" yeni düşünme yöntemlerine ve tehdit modelleme AI/ML sistemlerinde sorulacak yeni sorulara odaklanır. Hem veri bilimciler hem de güvenlik mühendisleri, tehdit modelleme tartışmaları ve risk azaltma önceliklendirmesi için kendi playbook'ları olacağı için bunu gözden geçirmelidir.
2. "AI/ML'ye Özgü Tehditler ve Bunların Risk Azaltmaları", microsoft ürünlerini ve hizmetlerini bu tehditlere karşı korumak için bugün kullanımda olan belirli saldırılarla ilgili ayrıntıları ve belirli risk azaltma adımlarını sağlar. Bu bölüm öncelikli olarak tehdit modelleme/güvenlik gözden geçirme sürecinin çıkışı olarak belirli tehdit azaltmaları uygulaması gerekebilecek veri bilimciler tarafından hedeflenmiştir.

Bu kılavuz Ram Shankar Siva Kumar, David O'Brien, Kendra Albert, Salome Viljoen ve Jeffrey Snover tarafından oluşturulan "Machine Learning'de Hata Modları" adlı Saldırgan Makine Öğrenmesi Tehdit Taksonomisi etrafında düzenlenmiştir. Bu belgede ayrıntılı olarak açıklanan güvenlik tehditlerini önceliklendirmeye yönelik olay yönetimi kılavuzu için AI/ML Tehditleri için SDL Hata Çubuğu'na bakın. Bunların hepsi, zaman içinde tehdit manzarasıyla birlikte gelişecek canlı belgelerdir.

Tehdit Modellemede Önemli Yeni Önemli Noktalar: Güven Sınırlarını görüntüleme şeklinizi değiştirme

Veri sağlayıcısının yanı sıra, eğittiğiniz verilerin tehlikeye atılmış/zehirlenmiş olduğunu varsayın. Anormal ve kötü amaçlı veri girişlerini algılamanın yanı sıra bunları ayırt edip kurtarabilmeyi öğrenin

Özet

Eğitim Veri depoları ve bunları barındıran sistemler Tehdit Modelleme kapsamınızın bir parçasıdır. Günümüzde makine öğrenmesinde en büyük güvenlik tehdidi, bu alanda standart algılamaların ve risk azaltmaların olmaması nedeniyle veri zehirlenmesidir ve eğitim verileri kaynağı olarak güvenilmeyen/güvenliksiz genel veri kümelerine bağımlılık sağlar. Verilerinizin kökeninin ve soyunun izlenmesi, güvenilirliğinin sağlanması ve "çöp girerse çöp çıkar" eğitim döngüsünü önlemek için gereklidir.

Güvenlik Gözden Geçirmesinde Sorulacak Sorular

• Verileriniz zehirlenmişse veya üzerinde oynanmışsa bunu nasıl bileceksiniz?

  -Eğitim verilerinizin kalitesinde bir dengesizlik algılamak için hangi telemetriye ihtiyacınız var?

• Kullanıcı tarafından sağlanan girişlerden eğitim alıyor musunuz?

  -Bu içerikte ne tür bir giriş doğrulama/temizleme işlemi yapıyorsunuz?

  -Bu verilerin yapısı Veri Kümeleri için Veri Sayfaları'na benzer mi?

• Çevrimiçi veri depolarına karşı eğitim alıyorsanız modelinizle veriler arasındaki bağlantının güvenliğini sağlamak için hangi adımları uygulamanız gerekir?

  -Akışlarının kullanıcılarına güvenlik ihlallerini bildirmenin bir yolu var mı?

  -Bunu yapabilecek durumdalar mı?

• Eğitdiğiniz veriler ne kadar hassastır?

  -Bunu kataloglar mısınız yoksa veri girişlerinin eklenmesini/güncelleştirilmesini/silinmesini denetliyor musunuz?

• Modeliniz hassas veriler çıkışı yapabilir mi?

  -Bu veriler kaynaktan izin alarak mı alındı?

• Model yalnızca hedefine ulaşmak için gerekli sonuçları mı ortaya çıkarmak zorunda?

• Modeliniz ham güvenilirlik puanlarını veya kaydedilip yinelenebilen başka bir doğrudan çıkış döndürdü mü?

• Modelinize saldırarak/modelinizi ters çevirerek eğitim verilerinizin kurtarılmasının etkisi nedir?

• Model çıkışınızın güvenilirlik düzeyleri aniden düşerse, buna neden olan verilerin yanı sıra nasıl/neden olduğunu bulabilir misiniz?

• Modeliniz için iyi biçimlendirilmiş bir giriş tanımlamış mıydınız? Girişlerin bu biçime uygun olduğundan emin olmak için ne yapıyorsunuz ve uymazlarsa ne yaparsınız?

• Çıkışlarınız yanlışsa ancak hataların bildirilmesine neden değilse, bunu nasıl bilebilirsiniz?

• Eğitim algoritmalarınızın matematiksel düzeydeki saldırgan girişlere dayanıklı olup olmadığını biliyor musunuz?

• Eğitim verilerinizin saldırgan kirlenmesinden nasıl kurtulabilirsiniz?

  -Saldırgan içeriği yalıtabilir/karantinaya alabilir ve etkilenen modelleri yeniden eğitebilir misiniz?

  -Yeniden eğitim için önceki bir sürümün modeline geri dönebilir/kurtarabilir misiniz?

• Pekiştirme Öğrenmesi'ni tahakkuk edilmemiş genel içerikte mi kullanıyorsunuz?

• Verilerinizin kökenini düşünmeye başlayın. Bir sorun mu buldunuz, veri kümesine girişine kadar takip edebilir misiniz? Yoksa, bu bir sorun mu?

• Eğitim verilerinizin nereden geldiğini bilin ve anomalilerin nasıl göründüğünü anlamaya başlamak için istatistiksel normları belirleyin

  -Eğitim verilerinizin hangi öğeleri dış etkiye karşı savunmasızdır?

  -Eğittiğiniz veri kümelerine kimler katkıda bulunabilir?

  -Rakiplere zarar vermek için eğitim verisi kaynaklarınıza nasıl saldırırsınız ?

Bu Belgedeki İlgili Tehditler ve Risk Azaltmaları

• Saldırgan Pertürbasyon (tüm varyantlar)

• Veri Zehirlenmesi (tüm varyantlar)

Örnek Saldırılar

• Zararsız e-postaları istenmeyen posta olarak sınıflandırılmaya zorlama veya kötü amaçlı bir örneğin algılanmamış olmasına neden olma

• Özellikle yüksek sonuçlu senaryolarda doğru sınıflandırmanın güvenilirlik düzeyini azaltan saldırgan tarafından hazırlanmış girişler

• Saldırgan, gelecekte doğru sınıflandırmanın kullanılma olasılığını azaltmak için sınıflandırılan kaynak verilere rastgele kirlilik zerk ederek modeli etkili bir şekilde daraltır

• Belirli veri noktalarının yanlış sınıflandırılmasını zorlamak için eğitim verilerinin kirlenmesi, bir sistem tarafından belirli eylemlerin gerçekleştirilmesini veya atlanmasını sağlar

Modellerinizin veya ürününüzün/hizmetinizin gerçekleştirebileceği ve müşterinin çevrimiçi veya fiziksel etki alanında zarar görmesine neden olabilecek eylemleri tanımlama

Özet

Eğer önlenmezse, yapay zeka/ML sistemlerine yapılan saldırılar fiziksel dünyaya ulaşabilir. Kullanıcılara psikolojik veya fiziksel olarak zarar verecek şekilde çarpıtılabilir her senaryo, ürününüz/hizmetiniz için yıkıcı bir risktir. Müşterilerinizin eğitim ve tasarım seçimleri için kullanılan ve hassas veri noktalarını sızdırabilecek herhangi bir duyarlı veri de buna dahildir.

Güvenlik Gözden Geçirmesinde Sorulacak Sorular

• Saldırgan örneklerle eğitiyor musunuz? Fiziksel etki alanındaki model çıkışınız üzerinde ne gibi etkileri vardır?

• Trolleme, ürününüz/hizmetiniz için nasıl görünür? Bunu nasıl algılayabilir ve yanıtlayabilirsiniz?

• Modelinizin, hizmetinizi yasal kullanıcılara erişimi reddetme konusunda kandıran bir sonuç döndürmesi için ne gerekir?

• Modelinizin kopyalanmasının/çalınmasının etkisi nedir?

• Modeliniz, belirli bir gruptaki tek bir kişinin üyeliğini veya yalnızca eğitim verilerinde üyelik elde etmek için kullanılabilir mi?

• Saldırgan, belirli eylemleri gerçekleştirmeye zorlayarak ürününüzde itibar hasarına veya PR ters eğik çizgisine neden olabilir mi?

• Troller gibi düzgün biçimlendirilmiş ancak aşırı taraflı verileri nasıl işlersiniz?

• Modelinizle etkileşim kurmanın veya modelinizi sorgulamanın her yolu için eğitim verilerini veya model işlevselliğini açıklamak için bu yöntem sorgulanabilir mi?

Bu Belgedeki İlgili Tehditler ve Risk Azaltmaları

• Üyelik Çıkarımı

• Model Ters Çevirme

• Model Çalma

Örnek Saldırılar

• Maksimum güvenilirlik sonuçları için modeli tekrar tekrar sorgulayarak eğitim verilerinin yeniden yapılandırılması ve ayıklanması

• Ayrıntılı sorgu/yanıt eşleştirmesi ile modelin kendisini yineleme

• Modeli, eğitim kümesine özel verilerin belirli bir öğesini ortaya çıkaracak şekilde sorgulama

• Kendi kendine giden araba durdurma işaretlerini/trafik ışıklarını yoksaymak için kandırılıyor

• İyi huylu kullanıcıları troll etmek için manipüle edilen konuşma botları

Veri/model tedarik zincirinizdeki tüm yapay zeka/ML bağımlılıklarının kaynaklarını ve ön uç sunu katmanlarını belirleme

Özet

Yapay zeka ve Machine Learning'deki birçok saldırı, bir modele sorgu erişimi sağlamak için ortaya çıkan API'lere meşru erişimle başlar. Burada yer alan zengin veri kaynakları ve zengin kullanıcı deneyimleri nedeniyle, kimliği doğrulanmış ancak "uygunsuz" (burada gri bir alan var) üçüncü taraf erişimi, Microsoft tarafından sağlanan bir hizmetin üzerinde sunu katmanı olarak hareket edebilme özelliği nedeniyle risk oluşturur.

Güvenlik Gözden Geçirmesinde Sorulacak Sorular

• Modelinize veya hizmet API'lerinize erişmek için hangi müşterilerin/iş ortaklarının kimliği doğrulanır?

  -Hizmetinizin üzerinde bir sunu katmanı olarak görev yapabilir mi?

  -Güvenlik ihlalleri durumunda erişimlerini hemen iptal edebilir misiniz?

  -Hizmetinizin veya bağımlılıklarınızın kötü amaçlı kullanımı durumunda kurtarma stratejiniz nedir?

• Üçüncü bir taraf, modelinizi yeniden kullanmak ve Microsoft'a veya müşterilerine zarar vermek amacıyla modelinizin etrafında bir dış cephe oluşturabilir mi?

• Müşteriler size doğrudan eğitim verileri sağlıyor mu?

  -Bu verilerin güvenliğini nasıl sağlarsınız?

  -Ya kötü amaçlıysa ve hizmetiniz hedefse?

• Yanlış pozitif burada nasıl görünür? Yanlış negatifin etkisi nedir?

• Birden çok modelde Gerçek Pozitif ve Yanlış Pozitif oranlarının sapmalarını izleyebilir ve ölçebilir misiniz?

• Model çıkışınızın müşterilerinize güvenilirliğini kanıtlamak için ne tür bir telemetriye ihtiyacınız var?

• ML/Training veri tedarik zincirinizdeki üçüncü taraf bağımlılıklarının tümünü tanımlayın – sadece açık kaynak yazılım değil, aynı zamanda veri sağlayıcılarını da kapsayan.

  -Bunları neden kullanıyorsunuz ve güvenilirliklerini nasıl doğruluyabilirsiniz?

• 3^rd partisinin önceden oluşturulmuş modellerini mi kullanıyorsunuz yoksa 3^rd tarafı MLaaS sağlayıcısına eğitim verileri mi gönderiyorsunuz?

• Benzer ürünlere/hizmetlere yönelik saldırılarla ilgili haber hikayelerinin envanteri. Birçok yapay zeka/ML tehdidinin model türleri arasında aktarıldığını anlamak, bu saldırıların kendi ürünleriniz üzerinde nasıl bir etkisi olabilir?

Bu Belgedeki İlgili Tehditler ve Risk Azaltmaları

• Sinir Ağı Yeniden Programlama

• Fiziksel etki alanındaki Saldırgan Örnekler

• Eğitim Verilerini Kurtaran Kötü Amaçlı ML Sağlayıcıları

• ML Tedarik Zincirine Saldırma

• Arka Kapılı Model

• ML'ye özgü bağımlılıklar kompromize edildi

Örnek Saldırılar

• Kötü amaçlı MLaaS sağlayıcısı modelinize belirli bir baypas ile truva atı yerleştirir.

• Saldırgan müşteri, kullandığınız yaygın açık kaynak yazılım bağımlılığında güvenlik açığı bulur, hizmetinizi tehlikeye atmak amacıyla hazırlanmış eğitim verileri yükünü yükler.

• Ahlaksız iş ortağı yüz tanıma API'lerini kullanır ve Derin Sahteler oluşturmak için hizmetiniz üzerinde bir sunum katmanı oluşturur.

AI/ML'ye Özgü Tehditler ve Bunların Risk Azaltmaları

#1: Saldırgan Pertürbasyon

Açıklama

Pertürbasyon stili saldırılarda saldırgan, üretim tarafından dağıtılan bir modelden istenen yanıtı almak için sorguyu gizlice değiştirir[1]. Bu, sonucun mutlaka bir erişim ihlali veya EOP olması gerekmeyen, ancak bunun yerine modelin sınıflandırma performansını tehlikeye atan, model girdi bütünlüğünün ihlaline yol açan fuzzing tarzı saldırıların yol açtığı bir durumdur. Bu, belirli hedef sözcükleri yapay zeka tarafından yasaklanacak şekilde kullanan troller tarafından da gösterilebilir ve "yasaklanmış" bir sözcükle eşleşen bir ada sahip meşru kullanıcılara hizmeti etkili bir şekilde reddedebilir.

[24]

Değişken #1a: Hedeflenen yanlış sınıflandırma

Bu durumda saldırganlar hedef sınıflandırıcının giriş sınıfında olmayan ancak model tarafından bu giriş sınıfı olarak sınıflandırılan bir örnek oluşturur. Aldatıcı örnek, insan gözlerine rastgele gürültü gibi görünebilir, ancak saldırganlar rastgele olmayan ancak hedef modelin belirli yönlerinden yararlanan beyaz bir gürültü oluşturmak için hedef makine öğrenme sistemi hakkında bilgi sahibidir. Saldırgan, meşru bir örnek olmayan bir giriş örneği verir, ancak hedef sistem bunu meşru bir sınıf olarak sınıflandırır.

Örnekler

[6]

Önlemler

• Modelin Karşıt Eğitim Tarafından Oluşturulan Güveninden Yararlanarak Karşı Saldırıya Dayanıklılığı Artırma [19]: Yazarlar, temel modelin karşı saldırılara karşı sağlamlığını pekiştirmek için güven bilgilerini ve en yakın komşu aramasını birleştiren Son Derece Güvenilir Yakın Komşu (HCNN) adlı bir çerçeve öneriyor. Bu, temel alınan eğitim dağılımından örneklenen bir noktanın mahallesindeki doğru ve yanlış model tahminlerini ayırt etmede yardımcı olabilir.

• Atf temelli Nedensel Analiz [20]: Yazarlar saldırgan pertürbasyonlara dayanıklılık ile makine öğrenmesi modelleri tarafından oluşturulan bireysel kararların atıf tabanlı açıklaması arasındaki bağlantıyı inceler. Saldırgan girişlerin ilişkilendirme alanında sağlam olmadığını, yani yüksek ilişkilendirmeli birkaç özelliği maskelemenin saldırgan örneklerde makine öğrenmesi modelinin kararsızlığının değişmesine yol açtığını bildirir. Buna karşılık, doğal girişler ilişkilendirme alanında sağlamdır.

  [20]

Bu yaklaşımlar makine öğrenmesi modellerini saldırgan saldırılara karşı daha dayanıklı hale getirebilir çünkü bu iki katmanlı biliş sistemini kandırmak yalnızca özgün modele saldırmakla kalmaz, aynı zamanda saldırgan örnek için oluşturulan ilişkilendirmenin özgün örneklere benzer olmasını da gerektirir. Başarılı bir saldırgan saldırı için her iki sistem de aynı anda tehlikeye atılmalıdır.

Geleneksel Paraleller

Saldırgan artık modelinizin denetiminde olduğundan Uzaktan Ayrıcalık Yükseltme

Şiddet

Çok Önemli

Değişken #1b: Kaynak/Hedef yanlış sınıflandırması

Bu, bir saldırganın belirli bir giriş için istenen etiketi döndürmesi amacıyla bir modeli manipüle etme girişimi olarak tanımlanır. Bu genellikle bir modeli yanlış pozitif veya yanlış negatif döndürmeye zorlar. Sonuç, modelin sınıflandırma doğruluğunun sinsi bir şekilde ele geçirilmesidir; bu sayede saldırgan, istediğinde belirli atlamalara neden olabilir.

Bu saldırının sınıflandırma doğruluğuna önemli ölçüde olumsuz bir etkisi olsa da, bir saldırganın bu saldırıyı gerçekleştirmesi daha fazla zaman alabilir. Bunun nedeni, saldırganın kaynak verileri, sadece artık doğru etiketlenmeyecek şekilde değil, aynı zamanda özellikle istenen hileli etiketle etiketlenecek şekilde manipüle etmesi gerekmesidir. Bu saldırılar genellikle birden çok adımı/yanlış sınıflandırmayı zorlama girişimlerini içerir [3]. Modelin, hedeflenen yanlış sınıflandırmayı zorlayan transfer öğrenme saldırılarına karşı savunmasızsa, olası saldırılar çevrimdışı gerçekleştirilebileceğinden fark edilebilir bir saldırgan trafik izi olmayabilir.

Örnekler

Tehlikesiz e-postaların istenmeyen posta olarak sınıflandırılmaya zorlanması veya kötü amaçlı bir örneğin tespit edilmemesine neden olması. Bunlar model kaçınma veya mimikry saldırıları olarak da bilinir.

Önlemler

Reaktif/Savunma Algılama Eylemleri

• Sınıflandırma sonuçları sağlayan API çağrıları arasında en düşük zaman eşiğini uygulayın. Bu, başarı pertürbasyonunu bulmak için gereken genel süreyi artırarak çok adımlı saldırı testini yavaşlatır.

Proaktif/Koruyucu Eylemler

• Saldırgan Sağlamlığı Geliştirmek için Özellik Gösterimi [22]: Yazarlar, özellik gösterimini gerçekleştirerek saldırgan sağlamlığı artıran yeni bir ağ mimarisi geliştirmektedir. Özellikle, ağlar yerel olmayan araçları veya diğer filtreleri kullanarak özelliklerdeki gürültüyü gideren bloklar içerir; tüm ağlar uçtan uca eğitilir. Saldırgan eğitim ile birleştirildiğinde, özellik gidermeye yönelik ağlar hem beyaz kutu hem de kara kutu saldırı senaryolarında saldırgan dayanıklılığını en son teknoloji seviyesinde önemli ölçüde geliştirir.

• Saldırgan Eğitim ve Düzenlileştirme: Kötü amaçlı girişlere karşı dayanıklılık ve sağlamlık oluşturmak için bilinen saldırgan örneklerle eğitin. Bu, giriş gradyanlarının normunu cezalandıran ve sınıflandırıcının tahmin işlevini daha sorunsuz hale getiren (giriş kenar boşluğunun artırılması) bir normalleştirme biçimi olarak da görülebilir. Bu, daha düşük güvenilirlik oranlarına sahip doğru sınıflandırmaları içerir.

Monoton özelliklerin seçimiyle monoton sınıflandırma geliştirmeye yatırım yapın. Bu, saldırganın yalnızca negatif sınıftan [13] özellikleri doldurarak sınıflandırıcıdan kaçamamasını sağlar.

• [18] özellik sıkıştırma, saldırgan örnekleri algılayarak DNN modellerini sağlamlaştırmak için kullanılabilir. Özgün alanda birçok farklı özellik vektörlerine karşılık gelen örnekleri tek bir örnekte birleştirerek bir saldırgan için kullanılabilir arama alanını azaltır. Bir DNN modelinin özgün girişle ilgili tahminini sıkılmış girişteki tahminle karşılaştırarak özellik sıkıştırma, saldırgan örnekleri algılamaya yardımcı olabilir. Özgün ve sıkıştırılmış örneklerin modelden önemli ölçüde farklı çıkışlar üretmesi durumunda, bu girişin karşıt olması olasıdır. Sistem, tahminler arasındaki anlaşmazlıkları ölçerek ve bir eşik değeri seçerek meşru örnekler için doğru tahminde bulunabilir ve saldırgan girişleri reddeder.

  

  [18]

• Saldırgan Örneklere Karşı Sertifikalı Savunmalar [22]: Yazarlar, belirli bir ağ ve test girişi için hiçbir saldırının hatayı belirli bir sınırın üzerine çıkarmasına izin vermeyen bir sertifika sağlayan, yarı tanımlı gevşemeye dayalı bir yöntem öneriyorlar. İkincisi, bu sertifika farklılaşabilir olduğundan, yazarlar bunu ağ parametreleriyle birlikte iyileştirerek tüm saldırılara karşı sağlamlığı teşvik eden uyarlamalı bir düzenlileştirici sağlar.

Yanıt Eylemleri

• Özellikle tek bir kullanıcıdan veya küçük bir kullanıcı grubundan geliyorsa sınıflandırıcılar arasında yüksek varyans içeren sınıflandırma sonuçlarıyla ilgili uyarılar verin.

Geleneksel Paraleller

Uzaktan Ayrıcalık Yükseltme

Şiddet

Çok Önemli

Değişken #1c: Rastgele yanlış sınıflandırma

Bu, saldırganın hedef sınıflandırmasının meşru kaynak sınıflandırması dışında herhangi bir şey olabileceği özel bir varyasyondur. Saldırı genellikle gelecekte doğru sınıflandırmanın kullanılma olasılığını azaltmak için sınıflandırılan kaynak verilere rastgele kirlilik eklenmesini içerir [3].

Örnekler

Önlemler

Değişken 1a ile aynıdır.

Geleneksel Paraleller

Kalıcı olmayan hizmet reddi

Şiddet

Önemli

Değişken #1d: Güvenilirlik Azaltma

Saldırgan, özellikle yüksek sonuçlu senaryolarda doğru sınıflandırmanın güvenilirlik düzeyini azaltmak için girişler oluşturabilir. Bu, yöneticileri veya izleme sistemlerini yasal uyarılardan ayırt edilemeyen sahte uyarılarla bunaltmak için büyük miktarda yanlış pozitif sonuç da oluşturabilir [3].

Örnekler

Önlemler

• Variant #1a kapsamındaki eylemlere ek olarak, tek bir kaynaktan gelen uyarı hacmini azaltmak için olay sınırlama kullanılabilir.

Geleneksel Paraleller

Kalıcı olmayan hizmet reddi

Şiddet

Önemli

hedeflenen veri zehirleme #2a

Açıklama

Saldırganın amacı , eğitim aşamasında oluşturulan makine modelini kirleterek yeni verilerle ilgili tahminlerin test aşamasında değiştirilmesini sağlamaktır[1]. Hedefli zehirlenme saldırılarında, saldırgan belirli eylemlerin gerçekleştirilmesini veya atlanması için belirli örnekleri yanlış sınıflandırmak ister.

Örnekler

AV yazılımını, kötü amaçlı olarak yanlış sınıflandırılmasını sağlamak ve istemci sistemlerde hedeflenen AV yazılımının kullanımını ortadan kaldırmak amacıyla kötü amaçlı yazılım olarak gönderilmesi.

Önlemler

• Günlük olarak veri dağılımına bakmak ve çeşitlemeler hakkında uyarı vermek için anomali algılayıcıları tanımlama

  -Eğitim verisi varyasyonunu günlük olarak ölçün, sapma/kayma için telemetri

• Giriş doğrulama, hem temizleme hem de bütünlük denetimi

• Zehirleme, marjinal eğitim örneklerini ekler. Bu tehditle mücadeleye yönelik iki ana strateji:

  -Veri Temizleme/ doğrulama: Zehirleme saldırılarına karşı mücadele için eğitim verilerinden zehirleme örneklerini kaldırma -Bagging [14]

  -Reject-on-Negative-Impact (RONI) savunması [15]

  -Sağlam Öğrenme: Zehirlenme örnekleri varlığında sağlam olan öğrenme algoritmalarını seçin.

  -Yazarların veri zehirlenmesi sorununu ele aldığı [21] yöntem, iki adımda açıklanmaktadır: birinci adımda, gerçek alt uzayı kurtarmak için yenilikçi ve sağlam matris faktörleme yöntemi tanıtmak, ve ikinci adımda, birinci adımda kurtarılan temele dayalı olarak saldırgan örnekleri ayıklamak için yeni sağlam ana bileşen regresyonu kullanmak. Gerçek alt alanı başarıyla kurtarmak için gerekli ve yeterli koşulları niteler ve temel gerçekle karşılaştırıldığında beklenen tahmin kaybına bağlı bir sınır sunarlar.

Geleneksel Paraleller

Truva atı tarafından ele geçirilmiş ve saldırganın ağda kalıcı olduğu konak. Eğitim veya yapılandırma verileri tehlikeye girer ve model oluşturma için alınır/güvenilir olur.

Şiddet

Çok Önemli

#2b Ayrımcı Veri Zehirleme

Açıklama

Hedef, saldırıya uğrayan veri kümesinin kalitesini/bütünlüğünü bozmaktır. Birçok veri kümesi genel/güvenilmeyen/güvenliksizdir, bu nedenle bu tür veri bütünlüğü ihlallerini ilk etapta tespit etme becerisiyle ilgili ek endişeler oluşturur. Farkında olmadan güvenliği aşılmış veriler üzerinde eğitim, çöpe atma/çöp atma durumudur. Algılandıktan sonra önceliklendirmenin ihlal edilen verilerin kapsamını belirlemesi ve karantinaya alması/yeniden eğitmesi gerekir.

Örnekler

Bir şirket, modellerini eğitmek için petrol vadeli işlemleri verilerini toplamak üzere iyi bilinen ve güvenilir bir web sitesinden veri kazıma yapar. Veri sağlayıcısının web sitesi daha sonra SQL Ekleme saldırısı yoluyla ele geçirilir. Saldırgan veri kümesini istediğiniz zaman zehirleyebilir ve eğitilen modelde verilerin bozuk olduğuyla ilgili bir bildirim yoktur.

Önlemler

Değişken 2a ile aynıdır.

Geleneksel Paraleller

Yüksek değerli bir varlığa karşı kimliği doğrulanmış Hizmet reddi

Şiddet

Önemli

#3 Model Ters Çevirme Saldırıları

Açıklama

Makine öğrenmesi modellerinde kullanılan özel özellikler kurtarılabilir [1]. Bu, saldırganın erişimi olmayan özel eğitim verilerini yeniden yapılandırmayı içerir. Biyometrik toplulukta "tepe tırmanışı saldırıları" olarak da bilinir [16, 17]. Bu, hedefle eşleşen sınıflandırma koşuluna bağlı olarak, döndürülen güven düzeyini en üst düzeye çıkaran girdiyi bulma yoluyla gerçekleştirilir [4].

Örnekler

[4]

Önlemler

• Hassas verilerden eğitilen model arabirimlerinin güçlü erişim denetimine ihtiyacı vardır.

• Model tarafından izin verilen hız sınırı sorguları

• Önerilen tüm sorgularda giriş doğrulaması gerçekleştirerek, modelin giriş doğruluğu tanımına uygun olmayan her şeyi reddederek ve yalnızca yararlı olması için gereken minimum bilgi miktarını döndürerek kullanıcılar/arayanlar ile gerçek model arasındaki geçitleri uygulayın.

Geleneksel Paraleller

Hedefli, gizli Bilgilerin Açığa Çıkması

Şiddet

Bu standart SDL hata kriterlerine göre önemli olarak varsayılır, ancak ayıklanan hassas veya kişisel veriler bunu kritik seviyeye çıkarabilir.

#4 Üyelik Çıkarımı Saldırısı

Açıklama

Saldırgan, belirli bir veri kaydının modelin eğitim veri kümesinin parçası olup olmadığını belirleyebilir[1]. Araştırmacılar, özniteliklere (yaş, cinsiyet, hastane gibi) göre bir hastanın ana prosedürünü (örneğin: Hastanın geçtiği ameliyat) tahmin edebildi [1].

[12]

Önlemler

Bu saldırının uygulanabilirliğini gösteren araştırma çalışmaları, Diferansiyel Gizliliğin [4, 9] etkili bir risk azaltma olacağını gösteriyor. Bu hala Microsoft'un nazal bir alanıdır ve AETHER Güvenlik Mühendisliği bu alanda araştırma yatırımlarıyla uzmanlık geliştirmenizi önerir. Bu araştırmanın, Diferansiyel Gizlilik özelliklerini listeleyip pratik etkinliğini azaltım olarak değerlendirmesi ve ardından Visual Studio'da kod derlemenin geliştirici ve kullanıcılar için şeffaf olan on-byvarsayılan güvenlik korumaları sağlamasına benzer şekilde, çevrimiçi hizmet platformlarımızda bu savunmaların şeffaf bir şekilde devralınması için yollar tasarlaması gerekir.

Nöron dropout ve model yığma kullanımı, belirli bir ölçüde etkili azaltma yöntemleri olabilir. Nöron dökme kullanılması, bir sinir ağının bu saldırıya karşı dayanıklılığını artırmakla kalmaz, aynı zamanda modelin performansını da artırır [4].

Geleneksel Paraleller

Veri Gizliliği. Bir veri noktasının eğitim kümesine dahil edilmesiyle ilgili çıkarımlar yapılıyor ancak eğitim verilerinin kendisi açıklanmıyor

Şiddet

Bu bir gizlilik sorunudur, güvenlik sorunu değildir. Etki alanları çakıştığı için tehdit modelleme kılavuzunda ele alınmaktadır, ancak buradaki tüm yanıtlar Güvenlik tarafından değil Gizlilik tarafından yönlendirilir.

#5 Model Çalma

Açıklama

Saldırganlar, modeli yasal olarak sorgulayarak temel alınan modeli yeniden oluşturur. Yeni modelin işlevselliği, temel alınan modelle aynıdır[1]. Model yeniden oluşturulduğunda, özellik bilgilerini kurtarmak veya eğitim verileri üzerinde çıkarımlar yapmak için tersine çevrilebilir.

• Denklem çözme – API çıkışı aracılığıyla sınıf olasılıkları döndüren bir model için saldırgan, modeldeki bilinmeyen değişkenleri belirlemek için sorgular oluşturabilir.

• Yol Bulma – girişi sınıflandırırken ağaç tarafından alınan 'kararları' ayıklamak için API'nin özelliklerinden yararlanan bir saldırı [7].

• Aktarılabilirlik saldırısı - Saldırgan, hedeflenen modele tahmin sorguları düzenleyerek yerel modeli eğitebilir ve bunu kullanarak hedef modele aktaran saldırgan örnekler oluşturabilir [8]. Modeliniz ayıklanır ve bir tür saldırgan girişe karşı savunmasız bulunursa, üretim tarafından dağıtılan modelinize yönelik yeni saldırılar, modelinizin bir kopyasını ayıklayan saldırgan tarafından tamamen çevrimdışı olarak geliştirilebilir.

Örnekler

ML modelinin istenmeyen posta tanımlama, kötü amaçlı yazılım sınıflandırması ve ağ anomalisi algılama gibi saldırgan davranışları algılamaya hizmet ettiği ayarlarda, model ayıklama kaçınma saldırılarını kolaylaştırabilir [7].

Önlemler

Proaktif/Koruyucu Eylemler

• Tahmin API'lerinde döndürülen ayrıntıları azaltın veya gizleyerek "dürüst" uygulamalara yönelik yararlılıklarını korumaya devam edin [7].

• Model girişleriniz için iyi biçimlendirilmiş bir sorgu tanımlayın ve yalnızca bu biçimle eşleşen tamamlanmış, iyi biçimlendirilmiş girişlere yanıt olarak sonuçları döndürür.

• Yuvarlatılmış güven değerlerini geri döndür. Çoğu meşru kullanıcı çok sayıda ondalık basamak hassasiyetine ihtiyaç duymaz.

Geleneksel Paraleller

Sistem verilerinin kimliği doğrulanmadan, salt okunur şekilde kurcalanması ve yüksek değerli bilgilerin açığa çıkması mı hedefleniyor?

Şiddet

Güvenliğe duyarlı modellerde önemli, Aksi takdirde Orta

#6 Sinir Ağı Yeniden Programlama

Açıklama

Bir saldırgandan özel olarak hazırlanmış bir sorgu sayesinde Makine öğrenmesi sistemleri, oluşturucunun özgün amacından sapan bir göreve yeniden programlanabilir [1].

Örnekler

Yüz tanıma API'sinde zayıf erişim denetimleri, 3^rd partisinin derin sahte oluşturucu gibi Microsoft müşterilerine zarar vermek için tasarlanmış uygulamalara dahil edilmesini sağlar.

Önlemler

• Güçlü istemci-sunucu<> karşılıklı kimlik doğrulaması ve model arabirimlerine erişim denetimi

• Sorunlu hesapların kaldırılması.

• API'leriniz için bir hizmet düzeyi sözleşmesi belirleyin ve uygulayın. Bildirilen bir sorun için kabul edilebilir düzeltme süresini belirleyin ve SLA'nın süresi dolduğunda sorunun artık yeniden üretilmediğinden emin olun.

Geleneksel Paraleller

Bu bir kötüye kullanım senaryosudur. Bu olayda güvenlik olayı açma olasılığınız, suçlunun hesabını devre dışı bırakmaktan daha az olasıdır.

Şiddet

Önemli'den Kritik'e

#7 Fiziksel alandaki Karşıt Örnek (bitler-atomlar>)

Açıklama

Saldırgan bir örnek, yalnızca makine öğrenmesi sistemini yanıltmak amacıyla gönderilen kötü amaçlı bir varlığın girişi/sorgusudur [1]

Örnekler

Bu örnekler, fiziksel alanda, dur işaretine belirli bir renk ışık (saldırgan giriş) tutulduğunda kendi kendine giden bir arabanın dur işaretini algılayamayarak kandırılması ve görüntü tanıma sisteminin artık dur işaretini dur işareti olarak algılamaması gibi şekillerde ortaya çıkabilir.

Geleneksel Paraleller

Yetki Yükseltme, uzaktan kod çalıştırma

Önlemler

Makine öğrenmesi katmanındaki sorunlar (yapay zeka temelli karar vermenin altındaki veri ve algoritma katmanı) azaltılmadığından bu saldırılar kendini gösterir. Diğer tüm yazılımlarda *veya* fiziksel sistemlerde olduğu gibi, hedefin altındaki katman her zaman geleneksel vektörler aracılığıyla saldırıya uğrayabilir. Bu nedenle geleneksel güvenlik uygulamaları, özellikle yapay zeka ve geleneksel yazılımlar arasında kullanılmakta olan aralıksız güvenlik açıkları katmanı (veri/algo katmanı) ile her zamankinden daha önemlidir.

Şiddet

Çok Önemli

#8 Eğitim verilerini kurtarabilen kötü amaçlı ML sağlayıcıları

Açıklama

Kötü amaçlı bir sağlayıcı, özel eğitim verilerinin kurtarıldığı arka kapılı bir algoritma sunar. Yalnızca modele göre yüzleri ve metinleri yeniden yapılandırabiliyorlardı.

Geleneksel Paraleller

Hedeflenen bilgilerin açığa çıkması

Önlemler

Bu saldırının uygulanabilirliğini gösteren araştırma çalışmaları, Homomorfik Şifrelemenin etkili bir risk azaltma olacağını gösteriyor. Bu, Microsoft'ta çok az yatırıma sahip bir alandır ve AETHER Güvenlik Mühendisliği bu alanda araştırma yatırımlarıyla uzmanlık geliştirmenizi önerir. Bu araştırmanın Homomorfik Şifreleme ilkelerini listelemesi ve kötü niyetli Hizmet Olarak ML sağlayıcılarına karşı bunların pratik etkinliğini önlem olarak değerlendirmesi gerekir.

Şiddet

Veriler PII ise önemlidir, aksi halde önemsizdir.

#9 ML Tedarik Zincirine Saldırma

Açıklama

Algoritmaları eğitmek için gereken büyük kaynaklar (veri + hesaplama) nedeniyle, geçerli uygulama büyük şirketler tarafından eğitilen modelleri yeniden kullanmak ve eldeki görev için biraz değiştirmektir (örneğin: ResNet, Microsoft'un popüler bir görüntü tanıma modelidir). Bu modeller bir Model Hayvanat Bahçesi'nde seçilmiştir (Caffe popüler görüntü tanıma modellerini barındırıyor). Bu saldırıda saldırgan Caffe'de barındırılan modellere saldırır ve böylece kuyuyu başkaları için zehirler. [1]

Geleneksel Paraleller

• Üçüncü taraf güvenlik dışı bağımlılığın zafiyeti

• Uygulama mağazası farkında olmadan kötü amaçlı yazılım barındırıyor

Önlemler

• Mümkün olduğunca modeller ve veriler için üçüncü taraf bağımlılıklarını en aza indirin.

• Bu bağımlılıkları tehdit modelleme sürecinize dahil edin.

• Birinci taraf/üçüncü taraf sistemleri arasında güçlü kimlik doğrulaması, erişim kontrolü ve şifreleme sağlayın.

Şiddet

Çok Önemli

#10 Arkadan Giriş Makine Öğrenmesi

Açıklama

Eğitim süreci, eğitim verilerini kurcalayan ve belirli bir virüsü kötü amaçlı olmayan olarak sınıflandırmak gibi hedeflenen yanlış sınıflandırmaları zorlayan truva atlı bir model sunan kötü amaçlı bir üçüncü tarafa yöneliktir[1]. Bu, Hizmet Olarak ML modeli oluşturma senaryolarında bir risktir.

[12]

Geleneksel Paraleller

• Üçüncü taraf güvenlik bağımlılığının kompromisi

• Güvenliği Aşılmış Yazılım Güncelleştirme mekanizması

• Sertifika Yetkilisi ihlali

Önlemler

Reaktif/Savunma Algılama Eylemleri

• Bu tehdit keşfedildikten sonra zarar zaten verilmiştir, dolayısıyla modele ve kötü amaçlı sağlayıcı tarafından sağlanan eğitim verilerine güvenilemez.

Proaktif/Koruyucu Eylemler

• Tüm hassas modelleri şirket içinde eğitin

• Eğitim verilerini kataloglayın veya güçlü güvenlik uygulamalarına sahip güvenilir bir üçüncü taraf tarafından geldiğinden emin olun

• MLaaS sağlayıcısı ile kendi sistemleriniz arasındaki etkileşimi tehdit modeli

Yanıt Eylemleri

• Dış bağımlılığın tehlikeye atılmasıyla aynı

Şiddet

Çok Önemli

#11 ML sisteminin yazılım bağımlılıklarından yararlanma

Açıklama

Bu saldırıda, saldırgan algoritmaları DEĞİŞTİRMEZ. Bunun yerine, arabellek taşması veya siteler arası betik oluşturma[1] gibi yazılım güvenlik açıklarından yararlanılır. Yapay zeka/ML'nin altındaki yazılım katmanlarının güvenliğini aşmak, öğrenme katmanına doğrudan saldırmaktan daha kolaydır, bu nedenle Güvenlik Geliştirme Yaşam Döngüsü'nde ayrıntılı olarak açıklanan geleneksel güvenlik tehdidi azaltma uygulamaları temel önem taşır.

Geleneksel Paraleller

• Tehlikeye Atılmış Açık Kaynak Yazılım Bağımlılığı

• Web sunucusu güvenlik açığı (XSS, CSRF, API girişi doğrulama hatası)

Önlemler

Geçerli Güvenlik Geliştirme Yaşam Döngüsü/operasyonel güvenlik güvencesi en iyi yöntemlerini izlemek için güvenlik ekibinizle birlikte çalışın.

Şiddet

Değişken; Geleneksel yazılım güvenlik açığının türüne bağlı olarak kritik seviyeye kadar değişebilir.

Bibliyografya

[1] Makine Öğrenmesinde Hata Modları, Ram Shankar Siva Kumar, David O'Brien, Kendra Albert, Salome Viljoen ve Jeffrey Snover, https://learn.microsoft.com/security/failure-modes-in-machine-learning

[2] AETHER Güvenlik Mühendisliği çalışma akışı, Data Provenance/Lineage v-team

[3] Derin Öğrenmede Saldırgan Örnekler: Karakterizasyon ve Ayrışma, Wei, ve diğerleri, https://arxiv.org/pdf/1807.00051.pdf

[4] ML-Leaks: Makine Öğrenmesi Modellerinde Model ve Veriden Bağımsız Üyelik Çıkarımı Saldırıları ve Savunmaları, Salem, vb. https://arxiv.org/pdf/1806.01246v2.pdf

[5] M. Fredrikson, S. Jha ve T. Ristenpart, "Güven Bilgisini Kullanan ve Temel Önlemleri İstismar Eden Model Tersine Çevirme Saldırıları", 2015 ACM SIGSAC Bilgisayar ve İletişim Güvenliği Konferansı (CCS) Bildirilerinde.

[6] Nicolas Papernot & Patrick McDaniel- Machine Learning AIWTB 2017'de Saldırgan Örnekler

[7] Tahmin API'leri aracılığıyla Makine Öğrenmesi Modellerini Çalma, Florian Tramèr, École Polytechnique Fédérale de Lausanne (EPFL); Fan Zhang, Cornell Üniversitesi; Ari Juels, Cornell Tech; Michael K. Reiter, Chapel Hill'de Kuzey Carolina Üniversitesi; Thomas Ristenpart, Cornell Tech

[8] Transfer Edilebilir Düşmanca Örneklerin Uzayı, Florian Tramèr, Nicolas Papernot, Ian Goodfellow, Dan Boneh ve Patrick McDaniel

[9] Well-Generalized Öğrenme Modellerinde Üyelik Çıkarımlarını Anlama Yunhui Long1 , Vincent Bindschaedler1 , Lei Wang2 , Diyue Bu2 , Xiaofeng Wang2 , Haixu Tang2 , Carl A. Gunter1 ve Kai Chen3,4

[10] Simon-Gabriel ve diğerleri, Sinir ağlarının saldırgan güvenlik açığı giriş boyutuyla artar, ArXiv 2018;

[11] Lyu et al., Saldırgan örnekler için birleşik gradyan normalleştirme ailesi, ICDM 2015

[12] Vahşi Kalıplar: Saldırgan Makine Öğrenmesinin Yükselişinin Ardından On Yıl - NeCS 2019 Battista Biggioa, Fabio Roli

[13] Tek Yanlısına Karşı Dayanıklı Kötü Amaçlı Yazılım Tespiti: Monotonik Sınıflandırma Inigo Incer ve ark.

[14] Battista Biggio, Igino Corona, Giorgio Fumera, Giorgio Giacinto ve Fabio Roli. Saldırgan Sınıflandırma Görevlerinde Zehirlenme Saldırılarıyla Mücadele için Sınıflandırıcıları Etiketleme

[15] Olumsuz Etki Savunmasının Red edildiği Bir Geliştirme Hongjiang Li ve Patrick P.K. Chan

[16] Adler. Biyometrik şifreleme sistemlerindeki güvenlik açıkları. 5. Uluslararası Konferans AVBPA, 2005

[17] Galbally, McCool, Fierrez, Marcel, Ortega-Garcia. Yüz doğrulama sistemlerinin tepeye tırmanma saldırılarına karşı güvenlik açığı. Patt. Rec., 2010

[18] Weilin Xu, David Evans, Yanjun Qi. Özellik Sıkıştırma: Derin Sinir Ağlarında Saldırgan Örnekleri Algılama. 2018 Ağ ve Dağıtılmış Sistem Güvenliği Sempozyumu. 18-21 Şubat.

[19] Saldırgan Eğitimle Oluşturulan Model Güvenini Kullanarak Saldırgan Dayanıklılığını Artırma - Xi Wu, Uyeong Jang, Jiefeng Chen, Lingjiao Chen, Somesh Jha

[20] Saldırgan Örneklerin Algılanması için Attribution temelli Nedensel Analiz, Susmit Jha, Sunny Raj, Steven Fernandes, Sumit Kumar Jha, Somesh Jha, Gunjan Verma, Brian Jalaian, Ananthram Swami

[21] Eğitim Veri Zehirlenmesine Karşı Sağlam Doğrusal Regresyon – Chang Liu ve diğerleri.

[22] Saldırgan Sağlamlığı Geliştirmek için Özellik Gösterimi, Cihang Xie, Yuxin Wu, Laurens van der Maaten, Alan Yuille, Kaiming He

[23] Saldırgan Örneklere Karşı Sertifikalı Savunmalar - Aditi Raghunathan, Jacob Steinhardt, Percy Liang