Microsoft'ta Yapay Zeka ve Machine Learning’in Geleceğini Garantiye Alma
Andrew Marshall, Raul Rojas, Jay Stokes ve Donald Brinkman
Mark Cartwright ve Graham Calladine’e Özel Teşekkürler
Yönetici Özeti
Yapay Zeka (AI) ve Makine Öğrenmesi (ML) zaten insanların çalışma, sosyalleştirme ve yaşamlarını yaşama şekli üzerinde büyük bir etki oluşturuyor. AI/ML çerçevesinde oluşturulan ürün ve hizmetlerin tüketimi arttıkça, yalnızca müşterilerinizi ve bunların verilerini değil, aynı zamanda yapay zekanızı ve algoritmalarınızı kötüye kullanma, trolleme ve ayıklama işlemlerine karşı korumak için özel eylemlerde bulunma gereği doğuyor. Bu belgede Microsoft'un yapay zeka destekli ürünler tasarlama ve çevrimiçi hizmetler sunma süreçlerinde güvenlik konusunda elde ettiği bazı dersler paylaşılıyor. Bu alanın nasıl ortaya çıkarıldığını tahmin etmek zor olsa da, şu anda ele alınması gereken eyleme dönüştürülebilir sorunlar olduğu sonucuna vardık. Üstelik, müşterilerin uzun vadeli güvenliğini ve verilerinin emniyetini sağlamak için teknoloji sektörünün bir an önce çözüm bulması gereken stratejik sorunlar olduğunu da görüyoruz.
Bu belge yapay zeka tabanlı saldırılar ve hatta yapay zekanın insan saldırganlar tarafından yararlanması ile ilgili değildir. Bunun yerine, microsoft ve sektör iş ortaklarının yapay zeka tabanlı ürün ve hizmetleri tek tek troller veya tüm kurt paketleri tarafından gerçekleştirilen son derece karmaşık, yaratıcı ve kötü amaçlı saldırılara karşı korumak için ele alması gereken sorunlara odaklanıyoruz.
Bu belge tamamen yapay zeka/ML alanına özgü güvenlik mühendisliği sorunlarına odaklanır, ancak InfoSec etki alanının geniş doğası nedeniyle burada ele alınan sorunların ve bulguların gizlilik ve etik etki alanlarıyla bir dereceye kadar örtüştüğü anlaşılmıştır. Bu belge, teknoloji sektörü için stratejik önem taşıyan güçlükleri vurgulasa da, hedef kitlesi, sektör genelindeki güvenlik mühendisliği liderleridir.
İlk bulgularımız şunları gösteriyor:
Bu belgede ele alınan türdeki güvenlik sorunlarında riski azaltmak için mevcut güvenlik uygulamalarına AI/ML'ye özgü destekler eklemek gerekir.
Makine öğrenmesi modelleri, kötü amaçlı girişleri ve zararsız anormal verileri büyük ölçüde birbirinden ayırt edemiyor. Önemli bir eğitim veri kaynağı, 3rd-party katkılarına açık olan, eş zamanlı olmayan, genel veri kümelerinden türetilir. Saldırganların, veri kümelerine katkıda bulunmak için uygun olduklarında veri kümelerinin güvenliğini aşmaları gerekmez. Veri yapısı/biçimlendirmesi doğru kalırsa, zaman içinde düşük güvenilirlikli kötü amaçlı veriler yüksek güvenilirlikli güvenilir verilere dönüşür.
Derin öğrenme modelinde kullanılabilecek çok sayıda gizli sınıflandırıcı/nöron katmanı göz önünde bulundurulduğunda, bu kararların nasıl alındığını kritik bir şekilde anlamadan yapay zeka/ML karar alma süreçlerinin ve algoritmalarının çıkışına çok fazla güven verilir. Bu karartma, "çalışmalarınızı göstermeyi" olanaksız kılıyor ve sorgulandığında AI/ML bulgularını kanıtlayarak savunmayı zorlaştırıyor.
AI/ML, yanlış kararların önemli bir sakatlıkla veya ölümle sonuçlanabileceği tıp alanında ve diğer sektörlerde yüksek değerli karar alma süreçlerini desteklemek için giderek artan bir şekilde kullanılmaktadır. AI/ML'de adli veri raporlama özelliklerinin olmayışı, bu yüksek değerli sonuçların hem mahkemede hem de kamunun görüşünde savunulabilir olmasını engelliyor.
Bu belgenin hedefleri (1) yapay zeka/ML alanına özgü güvenlik mühendisliği sorunlarını vurgulamak, (2) yeni ortaya çıkan tehditlerle ilgili bazı ilk düşünceleri ve gözlemleri ortaya çıkarmak ve (3) olası düzeltmelerle ilgili erken düşünceleri paylaşmaktır. Bu belgedeki güçlüklerden bazıları, sektörün gelecek iki yıl içinde önüne geçmesi gereken sorunlardır, diğerleri de bugün ele almaya zorlandığımız sorunlardır. Bu belgede ele alınan alanları daha ayrıntılı araştırmadan, yapay zeka karar alma süreçlerine matematiksel düzeyde güvenememe veya anlama (ve gerekirse değiştirme) yetersizliğimiz sayesinde gelecekteki yapay zekanın kara kutu haline gelmesini riske atıyoruz [7]. Güvenlik açısından bakıldığında bu, denetim kaybı ve Microsoft'un Yapay Zeka ile ilgili yol gösteren ilkelerinden ayrılma anlamına gelir [3, 7].
Yeni Güvenlik Mühendisliği Zorlukları
Geleneksel yazılım saldırı vektörlerinin ele alınması hala kritik öneme sahiptir, ancak yapay zeka/ML tehdit alanında yeterli kapsamı sağlamaz. Teknoloji sektörünün, AI/ML tabanlı hizmetlerin tasarımındaki ve işleyişindeki boşlukları ele alan yeni çerçeveler oluşturarak ve yeni yaklaşımlar benimseyerek, yeni nesil sorunlarla eski nesil çözümler aracılığıyla mücadele etmekten kaçınması gerekir:
Aşağıda açıklandığı gibi, güvenli geliştirme ve operasyonun temelinde, yapay zekayı ve verileri denetim altında tutarak korumaya ek olarak Dayanıklılık ve İhtiyat kavramları bulunmalıdır. Yapay zekaya özgü destekler, Kimlik Doğrulaması, Görev Ayrımı, Giriş Doğrulama ve Hizmet Reddi riskini azaltma alanlarında gereklidir. Bu alanlara yatırım yapılmadan yapay zeka/ML hizmetleri, tüm beceri düzeylerindeki saldırganlara karşı yokuş yukarı bir mücadeleye devam eder.
Yapay zeka, insanlarla etkileşimlerinde taraflı olmadan başkalarındaki taraflılığı tanıyabilmelidir. Bunu başarmak için, taraflılığa, stereotiplere, argo kullanımına ve diğer kültürel yapılara ilişkin toplu ve gelişen bir anlayış gerekir. Bu tür bir anlayış, yapay zekanın sosyal mühendislik ve veri kümesi üzerinde oynanma saldırılarına karşı korunmasına yardımcı olur. Düzgün uygulanan bir sistem aslında bu tür saldırılardan daha güçlü hale gelir ve genişletilmiş anlayışını diğer AI'lerle paylaşabilir.
Makine Öğrenmesi algoritmaları, kötü amaçlı olarak kullanıma sunulan verileri zararsız "Siyah Kuğu" olaylarından ayırt edebilmelidir [1] sonuçlar üzerinde olumsuz etkisi olan eğitim verilerini reddederek. Aksi takdirde, öğrenme modelleri saldırganlar ve troller tarafından oyun oynamaktan her zaman etkilenmez.
Yapay zekanın yerleşik adli özelliklere sahip olması gerekir. Bu, kuruluşların müşterilere yapay zekaları konusunda şeffaflık ve sorumluluk sağlamasına olanak tanır ve eylemlerinin yalnızca doğrulanabilir değil, aynı zamanda yasal olarak da savunulabilir olmasını sağlar. Bu özellikler ayrıca, "yapay zeka yetkisiz erişim algılama" özelliğinin erken bir formu olarak çalışır ve mühendislerin bir sınıflandırıcının herhangi bir kararı tam olarak ne zaman aldığını, bunu hangi verilerin etkilediğini ve bu verilerin güvenilir olup olmadığını belirlemesini sağlar. Bu alandaki veri görselleştirme özellikleri hızla ilerlemektedir ve mühendislerin bu karmaşık sorunların kök nedenlerini tanımlamasına ve çözmesine yardımcı olmak için söz vermektedir [10].
İnsanların bu şekilde tanımadığı durumlarda bile, yapay zeka hassas bilgileri tanıyıp korumalıdır. Yapay zekadaki zengin kullanıcı deneyimleri, eğitim amacıyla büyük miktarlarda ham veri gerektirir, bu nedenle müşterilerin yapacağı “hassas paylaşım” planlanmış olmalıdır.
Tehditler ve potansiyel risk azaltmaları da dahil olmak üzere bu alanların her biri aşağıda ayrıntılı olarak ele alınmıştır.
Yapay zeka, geleneksel güvenli tasarım/güvenli operasyon modellerine yönelik yeni destekler gerektirir: Dayanıklılık ve İhtiyat tanıtımı
Yapay zeka tasarımcılarının hassas verilerin gizliliğini, bütünlüğünü ve kullanılabilirliğini sağlaması, yapay zeka sisteminin bilinen güvenlik açıklarından arındığından emin olması ve sistem veya kullanıcı verilerine karşı kötü amaçlı davranışlara karşı koruma, algılama ve yanıt denetimleri sağlaması gerekir.
Kötü amaçlı saldırılara karşı geleneksel savunma yöntemleri, ses/video/görüntü tabanlı saldırıların geçerli filtreleri ve savunmaları atlatabildiği bu yeni paradigmada aynı kapsamı sağlamaz. Yeni kötüye kullanımların yapay zekamızın açıklarından yararlanmasını engellemek için yeni tehdit modelleme yönleri araştırmalıdır. Bu, fuzzing veya giriş işleme aracılığıyla geleneksel saldırı yüzeyini tanımlamanın da ötesine gider. (Bu tür saldırılar da yapay zekaya özgü kendi desteklerine sahiptir.) AI/ML alanına özgü senaryoların eklenmesini gerektirir. Ses, video ve hareket gibi yapay zeka kullanıcı deneyimleri, bunlar arasındaki önemli faktörlerdir. Bu deneyimlerle ilişkili tehditler geleneksel olarak modellenmemiştir. Örneğin, video içeriği artık fiziksel etkileri tetikleyecek şekilde uyarlanmıştır. Buna ek olarak, araştırmalar ses tabanlı saldırı komutlarının oluşturulabileceğini göstermektedir [9].
Suçluların, kararlı saldırganların ve trollerin öngörülemezliği, yaratıcılığı ve kötü niyetliliği, yapay zeka çözümlerimize Dayanıklılık ve İhtiyat değerlerini aşılamamızı gerektirir:
Dayanıklılık: Sistem, yapay zeka sistemi ve belirli görevle ilgili olarak normal kabul edilebilir davranış sınırlarının dışında anormal davranışları belirleyebilmeli ve işlemeyi veya zorlamayı önleyebilmelidir. Bunlar AI/ML alanına özgü yeni saldırı türleridir. Sistemler, topluluğun ve oluşturucularının uyduğu yerel yasalar, etik kurallar ve değerler ile çakışacak girişlere karşı koyacak şekilde tasarlanmalıdır. Bu, yapay zekaya "senaryo dışına" çıkan bir etkileşimi belirleme yeteneği verilmesi anlamına gelir. Bu, aşağıdaki yöntemlerle gerçekleştirilebilir:
Benzer kullanıcıların çeşitli büyük kümeleri tarafından ayarlanan normlardan sapan tek tek kullanıcıları belirleyin; örneğin, çok hızlı yazabilen, çok hızlı yanıt veren, uyku moduna geçemeyen veya sistemin diğer kullanıcıların tetikleemediği bazı bölümleri tetikleyen kullanıcılar.
Kötü amaçlı yoklama saldırılarına ve Yetkisiz Ağ Erişimi Sonlandırma Zinciri’nin başlangıcına ilişkin göstergeler olarak bilinen davranış düzenlerini belirleyin.
Birden çok kullanıcının eşgüdümlü bir şekilde hareket ettiğinde bunu fark etme; örneğin, birden çok kullanıcının tümü aynı açıklanamayan ancak kasıtlı olarak hazırlanmış sorguyu verir, kullanıcı sayısında ani artışlar veya yapay zeka sisteminin belirli bölümlerinin etkinleştirilmesindeki ani ani artışlar.
Yapay zeka aynı püf noktalarına yeniden düşmemek için hata düzeltmeleri ve yeniden eğitme gerektirebileceğinden, bu tür saldırılar Hizmet Reddi saldırılarına eşit olarak değerlendirilmelidir. Kritik öneme sahip olan, yaklaşım analizi API'lerini yenmek için kullanılanlar gibi karşı önlemlerin varlığında kötü amaçlı amacı tanımlama yeteneğidir [4].
İsteğe bağlılık: Yapay zeka, erişimi olan tüm bilgilerin sorumlu ve güvenilir bir koruyucusudur. İnsanlar olarak yapay zeka ilişkilerimize şüphesiz belirli bir güven düzeyi atıyoruz. Bir noktada, bu aracılar bizim adımıza diğer aracılar veya diğer insanlarla konuşacaktır. Bir yapay zeka sisteminin, diğer aracıların sistem adına görevleri tamamlaması için bizimle ilgili paylaşması gereken bilgileri yalnızca kısıtlı bir şekilde paylaştığına dair yeterli sağduyuya sahip olduğuna güvenebilmeliyiz. Ayrıca, bizim adımıza kişisel verilerle etkileşim kuran birden çok aracının bunlara genel erişime ihtiyacı olmamalıdır. Birden çok yapay zeka veya bot aracısı içeren herhangi bir veri erişimi senaryosu, erişim ömrünü gereken en düşük ölçüde sınırlamalıdır. Web tarayıcılarının site engellemeye izin vermesi gibi kullanıcılar da verileri reddedebilmeli ve belirli şirketlerden veya yerel ayarlardan aracıların kimlik doğrulamasını reddedebilmelidir. Bu sorunu çözmek, bulut bilişimin ilk yıllarında yapılan bulut tabanlı kullanıcı kimlik doğrulaması yatırımları gibi aracılar arası kimlik doğrulama ve veri erişimi ayrıcalıklarına ilişkin yeni bir anlayış gerektirir.
Yapay zeka, kendisi taraflı olmadan başkalarındaki taraflılığı tanıyabilmelidir
Yapay zeka, herhangi bir gruba veya geçerli sonuca karşı ayrımcılık gözetmeden adil ve kapsayıcı nitelikte olmalıdır. Ancak bunu başarması için temel düzeyde bir taraflılık anlayışına sahip olmalıdır. Yanlılığı, trollemeyi veya alaycılığı tanıyacak şekilde eğitilmeden, yapay zeka en iyi ihtimalle ucuz kahkaha arayanlar tarafından çoğaltılabilir veya müşterilere en kötü durumda zarar verebilir.
Etkili bir şekilde kapsamlı ve gelişen bir kültürel önyargı anlayışı gerektirdiğinden bu tür bir farkındalığa ulaşmak için “iyi kişilerin yapay zekaya kötü şeyler öğretmesi” yöntemi gerekir. Yapay zeka, geçmişte olumsuz etkileşimde bulunduğu bir kullanıcıyı tanıyabilmeli ve ebeveynlerin çocuklarına yabancılara karşı dikkatli olmayı öğretmesine benzer şekilde uygun uyarıyı kullanabilmelidir. Buna yaklaşmanın en iyi yolu, yapay zekayı denetimli/yönetilen/sınırlı bir şekilde dikkatlice trollerle yüzleştirmektir. Bu sayede yapay zeka, “deneme yapan” zararsız bir kullanıcıyla gerçekten kötü amacı olan kişi/trol arasındaki farkı öğrenebilir. Troller, yapay zeka için değerli bir eğitim verileri akışı sağlayarak, yapay zekayı gelecekteki saldırılara karşı daha dayanıklı hale getirir.
Yapay zeka ayrıca üzerinde eğitim yaptığı veri kümelerinde taraflılığı tanıyabilmelidir. Bu kültürel veya bölgesel, belirli bir kişi grubu tarafından kullanılan argo veya bir gruba yönelik belirli bir konuyla ilgili konular/bakış açıları olabilir. Kötü amaçlı olarak sunulan eğitim verilerinde olduğu gibi yapay zekanın da bu verilerin kendi çıkarımları ve kesintileri üzerindeki etkilerine dayanıklı olması gerekir. Bu, temelinde sınır denetimi ile benzerlik gösteren karmaşık bir giriş doğrulama sorunudur. Arabellek uzunlukları ve uzaklıklarla ilgilenmek yerine, arabellek ve sınır denetimleri, çok çeşitli kaynaklardan elde edilen tehlike işareti gösteren sözcüklerdir. Sözcüklerin kullanıldığı konuşma geçmişi ve bağlam da önemlidir. Kapsamlı savunma uygulamalarının geleneksel bir Web Hizmeti API’si ön ucunda koruma sağlamak için kullanılması gibi, taraflılık belirleme ve kaçınma tekniklerinde birden çok koruma katmanından yararlanılmalıdır.
Makine Öğrenmesi Algoritmaları kötü amaçlı olarak kullanıma sunulan verileri zararsız "Siyah Kuğu" olaylarından ayırt edebilmelidir
Saldırganların hem eğitim veri kümesine hem de kullanımdaki model hakkında bilinçli bir anlayışa sahip olduğu hizmetlerden ML modeli/sınıflandırıcı kurcalama ve ayıklama/hırsızlığının teorik potansiyeli hakkında çok sayıda teknik inceleme yayınlanmıştır [2, 3, 6, 7]. Burada fazla kemerleme sorunu, tüm ML sınıflandırıcılarının eğitim kümesi verileri üzerinde denetimi olan bir saldırgan tarafından kandırılabilmesidir. Saldırganların mevcut eğitim kümesi verilerini değiştirebilmesi bile gerekmez, yalnızca bunlara ekleme yapmaları ve ML sınıflandırıcısının kötü amaçlı verileri gerçek anormal verilerden ayırt edememesi yüzünden zaman içinde girişlerini “güvenilir” hale getirmeleri yeterlidir.
Bu eğitim verileri tedarik zinciri sorunu, bizlere "Karar Bütünlüğü" kavramını tanıtır: kötü amaçlı olarak sunulan eğitim verilerini veya kullanıcı girişini, sınıflandırıcı davranışında olumsuz bir etki oluşturmadan önce belirleme ve reddetme olanağı. Buradaki gerekçe, güvenilir eğitim verilerinin güvenilir sonuçlar/kararlar oluşturma olasılığının daha yüksek olmasıdır. Eğitmek ve güvenilmeyen verilere dayanıklı olmak hala çok önemli olsa da, bu verilerin kötü amaçlı doğası, yüksek güvenilirlikli eğitim verilerinin bir parçası olmadan önce analiz edilmelidir. Bu tür önlemler olmadan, yapay zeka trollemeye karşı aşırı tepki vermeye zorlanabilir ve geçerli kullanıcılara hizmet verilmesini reddedebilir.
Bu, denetlenmeyen öğrenme algoritmalarının seçki olarak sunulmayan veya güvenilmeyen veri kümelerinde eğitildiği yerlerde sorun teşkil eder. Bu, saldırganların istedikleri her veriyi biçimin geçerli olması ve algoritmanın bu veriler üzerinde eğitilmesi kaydıyla sunabileceği ve bu veri noktasına eğitim kümesinin geri kalanına eşit derece etkili şekilde güvenileceği anlamına gelir. Saldırgandan gelen yeterli sayıda giriş sayesinde, eğitim algoritması, kirlilik ve anomalileri yüksek güvenilirlikli verilerden ayırt etme özelliğini kaybeder.
Bu tehdide örnek olarak, her dilde tüm dünyadaki dur işaretlerinin bulunduğu bir veritabanı düşünün. Söz konusu olan resim ve dil sayısı nedeniyle bunları bir seçki olarak sunmak çok zor olacaktır. Bu veri kümesine yönelik kötü amaçlı katkılar, sürücüsüz arabalar dur işaretlerini artık tanımayana kadar büyük ölçüde fark edilmez. Veri dayanıklılığı ve karar bütünlüğü azaltmaları, kötü amaçlı verilerin öğrenme modelinin temel bir parçası haline gelmesini önlemek için kötü amaçlı verilerin verdiği eğitim zararlarını belirlemek ve ortadan kaldırmak için burada el ele çalışmak zorunda.
Yapay zeka, şeffaflık ve sorumluluk bilinci sağlamak için yerleşik adli veriler ve güvenlik günlüğü içermelidir
Yapay zeka, sonunda bizim adımıza bir aracı olarak profesyonel kapasitede eylem yapabilir hale gelir ve yüksek etkili karar alma konusunda bize yardımcı olur. Bunun bir örneği, finansal işlemlerin işlenmesine yardımcı olan bir yapay zeka olabilir. Yapay zekadan yararlanılırsa ve işlemler bir şekilde manipüle edilirse, bunun sonuçları bireyden sisteme kadar değişebilir. Yüksek değerli senaryolarda, yapay zekanın bütünlük, saydamlık, sorumluluk ve bazı durumlarda hukuki veya cezai sorumluluğun ortaya çıkabileceği kanıt sağlamak için uygun adli ve güvenlik günlüğüne ihtiyacı vardır.
Temel yapay zeka hizmetleri, geliştiricilerin belirli sınıflandırıcıların kayıtlı durumunu inceleyebildiği algoritma düzeyinde denetim/olay izleme olanaklarına ihtiyaç duyar ve bu da yanlış bir karara yol açmış olabilir. Bu özellik, her sorgulandığında yapay zeka tarafından oluşturulan kararların doğruluğunu ve şeffaflığını kanıtlamak için sektör genelinde gereklidir.
Olay izleme olanakları, şu gibi temel karar alma bilgilerinin bağıntısı ile başlayabilir:
Son eğitim olayının gerçekleştiği zaman dilimi
Eğitim alınan en son veri kümesi girdisinin zaman damgası
Yüksek etkili kararlara ulaşmak için kullanılan önemli sınıflandırıcıların ağırlıkları ve güvenilirliği
Kararda yer alan sınıflandırıcılar veya bileşenler
Algoritmanın ulaştığı son yüksek değerli karar
Bu tür izleme, algoritma destekli karar vermenin çoğu için fazlalıktır. Ancak, belirli sonuçlara yol açan veri noktalarını ve algoritma meta verilerini tanımlama becerisine sahip olmak, yüksek değerli karar almada büyük fayda sağlar. Bu özellikler yalnızca algoritmanın "çalışmasını gösterme" özelliği aracılığıyla güvenilirliği ve bütünlüğü göstermekle kalmaz, aynı zamanda ince ayarlama için de kullanılabilir.
AI/ML'de gerekli olan başka bir adli özellik de kurcalama algılamasıdır. Yapay zekalarımızın taraflılığı tanımasına ve bunlara karşı savunmasız olmamasına ihtiyaç duyduğumuz gibi, bu tür saldırıları algılayıp yanıtlama konusunda mühendislerimize yardımcı olmak için adli özelliklerimizin de olması gerekir. Bu tür adli özellikler, daha etkili sonuçlar için algoritmaların denetlenmesi, hata ayıklaması ve ayarlanmasına olanak sağlayan veri görselleştirme teknikleri [10] ile eşleştirildiğinde çok değerlidir.
Yapay zeka, insanlar yapmasa bile hassas bilgileri korumalıdır
Zengin deneyimler zengin veri gerektirir. İnsanlar, ML'nin eğitilmesi için zaten büyük miktarlarda veri bağışlar. Bu veriler, sıradan video akış sırası içeriğinden, sahtekarlığı algılamak için kullanılan kredi kartıyla satın alma işlemleri/işlem geçmişlerindeki eğilimlere kadar uzanır. Yapay zeka, kullanıcı verilerini işleme konusunda yerleşik bir takdir duygusuna sahip olmalı, fazla paylaşımlı bir kamu tarafından serbestçe gönüllü olduğunda bile her zaman onu korumak için hareket etmelidir.
Karmaşık görevlerini yerine getirmek için yapay zekanın konuştuğu kimliği doğrulanmış bir “eş” grubu olabildiği gibi, yapay zeka bu eşlerle paylaştığı verileri kısıtlama gereksinimini de tanımalıdır.
Yapay Zeka Güvenlik Sorunlarını Gidermeyle İlgili İlk Gözlemler
Bu projenin nascent durumuna rağmen, bugüne kadar derlenen kanıtların aşağıdaki alanların her biri üzerinde daha derin bir araştırma gösterdiğinin, sektörümüzü daha güvenilir ve güvenli yapay zeka/ML ürünleri/hizmetlerine taşımada önemli olduğunu düşünüyoruz. Bu alanda ne yapılmasını görmeyi istediğimizle ilgili ilk gözlemlerimiz ve düşüncelerimiz aşağıda verilmiştir.
Gelecekteki yapay zeka çözümleriyle ortak değerlerimiz olduğundan ve yapay zekanın Asilomar Yapay Zeka İlkeleri’ne uyduğundan emin olmak için AI/ML odaklı sızma testi ve güvenlik inceleme birimleri oluşturulabilir.
- Böyle bir grup, AI/ML tabanlı hizmetleri güvenli hale getirme desteğiyle sektör genelinde kullanılan araçlar ve çerçeveler de geliştirebilir.
- Zaman içinde bu uzmanlık, son 10 yılda geleneksel güvenlik uzmanlığıyla olduğu gibi, mühendislik grupları içinde de organik bir şekilde oluşturulacak.
Bu belgede ele alınan güçlükler azaltılırken yapay zekayı herkesin kullanımına sunmak gibi hedefleri yerine getirme konusunda kuruluşlara destek olan bir eğitim geliştirilebilir.
- Yapay zekaya özgü güvenlik eğitimi, mühendislerin yapay zeka çözümlerine yönelik risklerin ve kullanabilecekleri kaynakların farkında olmalarını sağlar. Bu malzemenin müşteri verilerini korumaya yönelik güncel eğitimle birlikte teslim edilmesi gerekir.
- Bu, her veri bilimcisinin bir güvenlik uzmanı olmasına gerek kalmadan gerçekleştirilebilir. Bunun yerine odak, geliştiricilerin yapay zeka kullanım örneklerine uygulanan Dayanıklılık ve İhtiyat konusunda eğitilmesine yönlendirilir.
- Geliştiricilerin, kuruluşlarında yeniden kullanılan yapay zeka hizmetlerinin güvenli "yapı taşları"nı anlaması gerekir. Alt sistemlerde hataya dayanıklı tasarıma vurgu yapılması gerekir ve bu tasarım kolayca kapatılabilir (örneğin, görüntü işlemcileri, metin ayrıştırıcıları).
ML Sınıflandırıcıları ve temel alınan algoritmaları sağlamlaştırılıp şu anda kullanılmakta olan geçerli eğitim verilerini bozmadan veya sonuçları çarpıtmadan kötü amaçlı eğitim verilerini algılayabilir hale gelebilir.
Negatif Girişte Reddet [5] gibi tekniklerin araştırılması için araştırmacı döngüleri gerekir.
Bu çalışma, matematik doğrulaması, kod içinde kavram kanıtı ve hem kötü amaçlı hem de zararsız anormal verilere yönelik test içerir.
İnsan noktasal hata denetimi/yönetimi, burada özellikle istatistiksel anomaliler bulunduğundan yararlı olabilir.
"Gözetmen sınıflandırıcıları", birden çok yapay zeka genelindeki tehditleri daha evrensel olarak anlayabilmek için oluşturulabilir. Bu, saldırgan artık belirli bir modeli çekemediğinden sistemin güvenliğini önemli ölçüde artırır.
Yapay zekalar, sistemlerindeki tehditleri tanımlamak için birbirine bağlanabilir
Yapay zeka şeffaflığı ve güvenilirliği için bir standart oluşturan merkezi bir ML denetimi/adli veri kitaplığı oluşturulabilir.
- Yapay zekanın yüksek iş etkili kararlarının denetimi ve yeniden oluşturulması için sorgu özellikleri de oluşturulabilir.
Trolleme ve alaycılık gibi eylemleri algılayıp yanıtlamak için farklı kültürel gruplar ve sosyal medya genelinde saldırganların kullandığı argo, yapay zeka tarafından sürekli olarak kaydedilip analiz edilebilir.
Yapay zekalar, teknik, bölgesel veya foruma özgü olan tüm argo türlerine karşı dayanıklı olmalıdır.
Bu bilgi gövdesi, moderatör ölçeklenebilirlik sorunlarını gidermek için içerik filtreleme/etiketleme/engelleme otomasyonunda da kullanılabilir.
Terimlere ilişkin bu genel veritabanı, geliştirme kitaplıklarında barındırılabilir veya bulut hizmeti API'leri aracılığıyla bile farklı yapay zekalar tarafından yeniden kullanılmak üzere kullanıma sunulabilir ve bu da, yeni yapay zekaların eski olanların toplu bilgeliğinden faydalanmasını sağlar.
Mühendislere, yapay zekanın değerlendirmesi için test eğitimi kümelerine çeşitli türde saldırılar ekleyebilme olanağı sunan bir "Makine Öğrenmesi Fuzzing Çerçevesi" oluşturulabilir.
- Bu yalnızca metin vernakülerine değil, görüntü, ses ve hareket verilerine ve bu veri türlerinin permütasyonlarına da odaklanabilir.
Sonuç
Asilomar Yapay Zeka İlkeleri, sürekli olarak insanlığa faydalı olacak şekilde yapay zeka sunumunun karmaşıklığını gösterir. Gelecekteki yapay zekaların zengin ve ilgi çekici kullanıcı deneyimleri sunmak için diğer yapay zekalarla etkileşim kurması gerekir. Bu, Microsoft'un güvenlik açısından "yapay zekayı doğru şekilde elde etmek" için yeterli olmadığı anlamına gelir. Dijital Cenevre Sözleşmesi için dünya çapındaki gönderimimize benzer şekilde, bu belgedeki sorunlara daha fazla görünürlükle sektör uyumu ve işbirliğine ihtiyacımız var [8]. Burada sunulan sorunları ele alarak, müşterilerimizi ve sektör iş ortaklarımızı, yapay zekanın gerçekten herkesin kullanımına sunulduğu ve tüm insanlığın zekasını geliştirdiği bir yola yönlendirmeye başlayabiliriz.
Kaynakça
[1] Taleb, Nassim Nicholas (2007), The Black Swan: The Impact of the Highly Improbable, Random House, ISBN 978-1400063512
[2] Florian Tramèr, Fan Zhang, Ari Juels, Michael K. Reiter, Thomas Ristenpart,Stealing Machine Learning Models via Prediction API'leri
[3] Satya Nadella:Geleceğin Ortaklığı
[4] Claburn, Thomas:Google'ın trol yok eden yapay zekası yazım hatasıyla başa çıkamıyor
[5] Marco Barreno, Blaine Nelson, Anthony D. Joseph, J.D. Tygar:Makine öğrenmesinin güvenliği
[6] Wolchover, Natalie:This Artificial Intelligence Pioneer'ın Birkaç Endişesi Var
[7] Conn, Ariel:Yapay Zekayı İnsan Değerleriyle Nasıl Hizalarız?
[8] Smith, Brad:İnsanların çevrimiçi güvenliğini sağlamak için acil kolektif eylem ihtiyacı: Geçen haftaki siber saldırıdan alınan dersler
[9] Nicholas Carlini, Pratyush Mishra, Tavish Vaidya, Yuankai Zhang, Micah Sherr, Clay Shields, David Wagner, Wenchao Zhou:Hidden Voice Commands
[10] Fernanda Viégas, Martin Wattenberg, Daniel Smilkov, James Wexler, Jimbo Wilson, Nikhil Thorat, Charles Nicholson, Google Research:Big Picture