Aracılığıyla paylaş

Zarar türleri

  • Makale

Bu makale, uygun risk azaltma adımlarının uygulanabilmesi için farklı zarar türleri hakkında farkındalık oluşturur.

Yaralanma riski

Fiziksel yaralanma

Teknolojinin insanlara nasıl zarar verebileceğini veya tehlikeli ortamlar yaratabileceğini düşünün.

Zarar Açıklama Dikkat Edilmesi Gerekenler Örnek
Güvenlik özelliklerine aşırı güven Bu, yeterli insan gözetimi olmadan kararlar almak için teknoloji bağımlılığına işaret eder. İnsanlar onları güvende tutmak için bu teknolojiye nasıl güvenebilir? Bu teknoloji uygun insan gözetimlerini nasıl azaltabilir? Bir sağlık temsilcisi yanlış teşhise neden olabilir ve gereksiz tedavilere yol açabilir.
Yetersiz hata kasası Gerçek dünya testi, çeşitli kullanıcı ve senaryoları yetersiz değerlendirebilir. Bu teknoloji başarısız olursa veya kötüye kullanılıyorsa, insanlar nasıl etkilenebilir? Bir insan hangi noktada müdahale edebilir? Test edilmeyen alternatif kullanımlar var mı? Sistem hatası kullanıcıları nasıl etkiler? Otomatik bir kapı acil tahliye sırasında tekerlekli sandalyeyi algılayamadıysa, erişilebilir bir geçersiz kılma düğmesi yoksa bir kişi kapana kısılabilir.
İyi durumda olmayan ajanlara maruz kalma Üretim ve teknolojinin elden çıkarılması, işçilerin ve yakındaki sakinlerin sağlığını ve refahını tehlikeye atabilir. Bileşenlerinizin veya cihazlarınızın üretiminden hangi olumsuz sonuçlar çıkabilir? Yetersiz güvenlik önlemleri, dijital bileşen üretimi sırasında çalışanları toksinlere maruz bırakabiliyordu.

Duygusal veya psikolojik yaralanma

Kötüye kullanılan teknoloji ciddi duygusal ve psikolojik sıkıntılara yol açabilir.

Zarar Açıklama Dikkat Edilmesi Gerekenler Örnek
Otomasyonda fazla mesai Yanlış yönlendirilmiş inançlar, kullanıcıların bir insanınkine göre dijital bir temsilcinin güvenilirliğine güvenmesine neden olabilir. Bu teknoloji doğrudan kişiler arası geri bildirimleri nasıl azaltabilir? Güvenilir bilgi kaynaklarıyla bu teknoloji arabirimi nasıl olabilir? Yapay bir aracıya bağımlı olmak bir kişiyi nasıl etkileyebilir? Bir sohbet botu, eğitimli bir profesyonel yerine ilişki tavsiyesi veya ruh sağlığı danışmanlığı için kullanılabilir.
Gerçekliğin bozulması veya ışıklanma Kasıtlı olarak kötüye kullanıldığında teknoloji güveni zedeleyebilir ve birinin gerçeklik duygusunu bozabilir. Bu, dijital medyayı veya fiziksel ortamları değiştirmek için kullanılabilir mi? IoT cihazı, eski samimi bir iş ortağının uzaktan izlenmesini ve denetlenebilmesini sağlayabilir.
Azaltılmış benlik saygısı/itibar hasarı Bazı paylaşılan içerik zararlı, yanlış, yanıltıcı veya reddedilebilir. Bu teknoloji kişisel bilgileri uygunsuz bir şekilde paylaşmak için nasıl kullanılabilir? Bilgileri kötüye kullanmak ve insanları yanlış tanıtmak nasıl manipüle edilebilir? Sentetik medya "intikam porno", yüzleri değiştirebilir, olmayan bir videoya katılan bir kişinin yanılsamasını oluşturabilir.
Bağımlılık/dikkat ele geçirme Teknoloji, refaha bakılmaksızın uzun süreli etkileşim için tasarlanabilir. Bu teknoloji, kullanıcı değeri sağlamanın ötesinde sürekli etkileşimi hangi yollarla ödüllendirebilir veya teşvik edebilir? Video oyunu yağma kutularındaki değişken düşüş oranları, oyuncuların oynamaya devam etmelerine ve öz bakımlarını ihmal etmelerine neden olabilir.
Kimlik hırsızlığı Kimlik hırsızlığı, kişisel kimlik bilgileri, itibar ve temsil üzerinde denetimin kaybolmasına neden olabilir. Bu teknolojiyle bir birey nasıl kimliğine bürünülebilir? Bu teknoloji yanlış bir bireyi gerçek bir kullanıcı olarak yanlışlıkla nasıl tanıyabilir? Yapay ses yazı tipi, bir kişinin sesini taklit edebilir ve banka hesabına erişmek için kullanılabilir.
Yanlış yönlendirme Bu, sorumlu olmadığı bir eyleme veya içeriğe sahip bir kişiye kredilendirmeyi içerir. Bu teknoloji bir eylemi bir bireye veya gruba hangi yollarla ilişkilendirebilir? Bir eylem yanlış bir şekilde ilişkilendirildiyse, birisi nasıl etkilenebilir? Yüz tanıma, bir polis soruşturması sırasında bir bireyi yanlış tanımlayabilir.

Sonuç olarak sunulan hizmetlerin reddi

Fırsat kaybı

Otomatik kararlar kaynaklara, hizmetlere ve refah için gerekli fırsatlara erişimi sınırlandırabilir.

Zarar Açıklama Dikkat Edilmesi Gerekenler Örnek
İstihdam ayrımı Bazı kişilerin, liyakatle ilgili olmayan özelliklere göre iş başvurusunda bulunmaları veya iş güvenliğini sağlamaları engellenebilir. Bu teknolojinin istihdamla ilgili önerileri veya kararları etkileme yolları var mı? Yapay zekayı işe almak, röportajlar için kadın isimlerine sahip daha az aday önerebilir.
Konut ayrımcılığı Bu, insanların konutlara erişimini reddetmeyi veya konut başvurusu yapabilmeyi içerir. Bu teknoloji konutla ilgili önerileri veya kararları nasıl etkileyebilir? Genel konut kuyruğa alma algoritması, uluslararası sese sahip adları olan kişilerin kuponları daha uzun süre beklemesine neden olabilir.
Sigorta ve fayda ayrımı Bu, yanlı standartlar nedeniyle insanların sigortasını, sosyal yardımlarını veya tıbbi denemeye erişimi reddetmeyi içerir. Bu teknoloji erişim, maliyet, sigorta tahsisi veya sosyal yardımları belirlemek için kullanılabilir mi? Sigorta şirketi, artan sarhoş sürüş riskine işaret eden algoritmik tahminler nedeniyle gece vardiyalarında çalışan sürücüler için daha yüksek ücretler alabilir.
Eğitim ayrımcılığı Eğitime erişim, değiştirilemeyen bir özellik nedeniyle reddedilebilir. Erişim, maliyet, konaklama veya eğitimle ilgili diğer sonuçları belirlemek için bu teknoloji nasıl kullanılabilir? Duygu sınıflandırıcısı, renk öğrencilerinin beyaz karşılıklarından daha az etkileşimde olduğunu yanlış bildirebilir ve bu da notların düşmesine neden olabilir.
Dijital bölünme/teknolojik ayrımcılık Teknolojinin yararlarına orantısız erişim, bazı insanları topluma katılmak için daha az bilgili veya donanımlı bırakabilir. Bu teknolojiden en iyi şekilde yararlanmak için hangi önkoşul becerileri, donanım veya bağlantı gereklidir? Ekipman, bağlantı veya diğer ürün işlevleri açısından bu teknolojiye diğerlerinden daha erken erişim elde eden belirli kişilerin etkisi ne olabilir? İçerik azaltma, kırsal öğrencilerin sınıf eğitim video akışlarına erişmesini engelleyebilir.
Seçim kaybı/ağ ve filtre kabarcığı İnsanlara sadece inançlarına uyan ve bu inançları pekiştiren bilgiler sunmak. Bu teknoloji insanların kullanabileceği seçimleri ve bilgileri nasıl etkileyebilir? Bu teknoloji gelecekteki davranışları veya tercihleri tahmin etmek için hangi geçmiş davranışları veya tercihleri temel alabilir? Haber akışı yalnızca mevcut inançları doğrulayan bilgiler sunabilir.

Ekonomik kayıp

Finansal araçlar, ekonomik fırsat ve kaynaklarla ilgili kararların otomatikleştirilmesi, mevcut toplumsal eşitsizlikleri ve refahı engelleyebilir.

Zarar Açıklama Dikkat Edilmesi Gerekenler Örnek
Kredi ayrımı Kişiler, ekonomik fayda ile ilgili olmayan özelliklere bağlı olarak finansal araçlara erişim reddedilebilir. Bu teknoloji, karar almak için mevcut kredi yapılarını nasıl kullanıyor olabilir? Bu teknoloji, bir kişinin veya grubun kredi puanı alma veya sürdürme becerisini nasıl etkileyebilir? Daha yüksek giriş fiyatı teklifleri yalnızca daha düşük sosyoekonomik posta kodlarındaki evlere gönderilebilir.
Mal ve hizmetlerin diferansiyel fiyatlandırması Mal veya hizmetler, üretim veya teslimat maliyetiyle ilgili olmayan nedenlerle farklı fiyatlarla sunulabilir. Bu teknoloji mal veya hizmetlerin fiyatlandırmasını belirlemek için nasıl kullanılabilir? Bu teknolojinin kullanımı için insanlara maliyeti belirleme ölçütleri nelerdir? Erkekler veya kadınlar için belirtilen ürünler için daha fazla ücretlendirilebilir.
Ekonomik sömürü Kişiler, haysiyetini veya refahını etkileyen bir şey üzerinde çalışmak zorunda kalabilir veya yanlış yönlendirilebilir. bu teknolojiye yönelik eğitim verilerinin üretilmesinde insan emeğinin rolü neydi? Bu iş gücü nasıl edinildi? bu teknolojinin desteklenmesinde insan emeğinin rolü nedir? Bu iş gücünün nereden gelmesi bekleniyor? Yapay zeka sistemlerini eğitmek için insanlara biyometrik verileri için finansal olarak para ödeme.
Bireysel uzmanlığın devalüasyonu Teknoloji, ücretli insan uzmanlığının veya işgücünün kullanımını destekleyemeyebilir. Bu teknoloji mevcut bir iş gücünü kullanma gereksinimini nasıl etkileyebilir? Yapay zeka ajanları, tıbbi görüntülemenin değerlendirilmesi için doktorların/radyograficilerin yerini alır.

İnsan hakları ihlali

Haysiyet kaybı

Teknoloji, insanların dünyayı nasıl algılayıp birbirlerine değer vermelerini, etkileşim kurmalarını ve tanımalarını etkileyebilir. İnsanlar arasındaki onur ve saygı değişimine müdahale edilebilir.

Zarar Açıklama Dikkat Edilmesi Gerekenler Örnek
insansızlaştırma Bir kişinin insanlığının görünürlüğünü kaldırma, azaltma veya gizleme. Bu teknoloji, bir kişinin temsil edilme şeklini basitleştirmek veya soyutlamak için nasıl kullanılabilir? Bu teknoloji, insanlar ve dijital dünya arasındaki ayrımı nasıl azaltabilir? İnsansız hava aracı gözetimindeki varlık tanıma ve sanal katman, insan eylemlerinin algılanan sorumluluklarını azaltabilir.
Genel shaming Bu, kişilerin özel, hassas veya sosyal açıdan uygunsuz malzemelerini açığa çıkarmak anlamına gelebilir. Taşımalar veya eylemler veri toplama yoluyla nasıl ortaya çıkabilir? Bir fitness uygulaması, sosyal medyada bir kullanıcının GPS konumunu ortaya çıkararak Bir Alkollüler Anonim toplantısına katılımı gösterebilir.

Özgürlük kaybı

Yasal, yargısal ve sosyal sistemlerin otomatikleştirilmesi, yanlılıkları pekiştirebilir ve zarar verici sonuçlara yol açabilir.

Zarar Açıklama Dikkat Edilmesi Gerekenler Örnek
Tahmine dayalı polislik Geçmiş kayıtlara dayanarak şüpheli davranışları veya suç amacını ortaya çıkararak. Bu, insan polislik veya ceza adaleti kararlarını nasıl destekleyebileceğinden ya da değiştirebileceğinden? Bir algoritma birçok alanda tutuklama tahmin edebilir, bu nedenle polis bu sayının eşleştiğinden veya aşıldığından emin olur.
Sosyal denetim Uygunluk, insan davranışlarının olumlu veya olumsuz olarak açıkça belirtilmesiyle pekiştirilebilir veya teşvik edilebilir. Bu teknolojiyi hangi tür kişisel veya davranışsal veriler besleyebilir? Nasıl elde edilir? Bu verilerden hangi çıkışlar türetilebilir? Bu teknolojinin belirli davranışları teşvik etmek veya caydırmak için kullanılması muhtemel mi? Otoriter hükümet, insanların nerede alışveriş yaptıklarına ve kiminle zaman geçirdiklerine bağlı olarak "güvenilir" bir puan belirlemek için sosyal medya ve e-ticaret verilerini kullanır.
Etkili çare kaybı Bu, bir karara itiraz etme fırsatının rasyonalitesini veya eksikliğini açıklayamama anlamına gelir. İnsanlar bu teknolojinin verdiği kararların nedenini nasıl anlayabilir? Bu teknolojiye güvenen bir kişi kararlarını nasıl açıklayabilir? İnsanlar bu teknolojinin aldığı bir kararı nasıl sorgulayabilir veya sorgulayabilir? Sanığa otomatik hapis cezası veya mahkeme öncesi tahliye kararı açıklanmaz.

Gizlilik kaybı

Teknoloji kullanımımız tarafından oluşturulan bilgiler, bilgileri olmayan biri hakkında olguları belirlemek veya varsayımlarda bulunmak için kullanılabilir.

Zarar Açıklama Dikkat Edilmesi Gerekenler Örnek
Özel hayata müdahale Bir kişinin paylaşmayı seçmediği bilgileri gösterme. Bu teknoloji özel hayatın bazı kısımlarını çıkarsamak için bilgileri nasıl kullanabilir? Bu çıkarımlara dayalı kararlar, bir kişinin herkese açık olmasını istemediği şeyleri nasıl ortaya çıkarabilir? Görev izleme yapay zekası, evlilik dışı bir ilişki çıkardığı kişisel desenleri izleyebilir.
Zorlamalı ilişkilendirme Topluma katılmak için teknoloji veya gözetim kullanımına katılım gerektirme. Topluma veya kuruluş üyeliğine katılım için bu teknolojinin kullanılması nasıl gerekli olabilir? Bir şirketin toplantı odası transkripsiyonunda biyometrik kayıt yapay zeka, iş teklifi mektubunda belirtilen bir gereksinimdir.
Özgürce ve tamamen kişilik geliştirememe Bu, kişinin kendini gerçek anlamda ifade etme veya kendi kendini geliştirme için dış yolları keşfetme becerisinin kısıtlanması anlamına gelebilir. Sistem veya ürün belirli kişilik özelliklerine yönelik pozitif ve negatif çağrışımları hangi şekilde atfeder? Ürün veya sistem kullanımı, serbest ifadeyi engelleyen devlet veya işveren gibi varlıklara nasıl bilgi verebilir? Akıllı toplantı sistemi, kişisel koçluk ve mentorluk oturumları dahil olmak üzere iş arkadaşları arasındaki tüm tartışmaları kaydedebilir.
Asla affedilmedi Dijital dosyalar veya kayıtlar hiçbir zaman silinmeyebilir. Bu üründen veriler ne ve nerede depolanıyor ve bunlara kim erişebilir? Teknoloji etkileşimi sonrasında kullanıcı verileri ne kadar süreyle depolanır? Kullanıcı verileri nasıl güncelleştirilir veya silinir? Bir genç kullanıcının sosyal medya geçmişi, platformu aştıktan uzun süre sonra aranabilir durumda kalabilir.
Hareket veya montaj özgürlüğü kaybı Bu, istenen anonimlikle fiziksel veya sanal dünyada gezinememe anlamına gelir. Bu teknoloji, fiziksel ve sanal alanda kişileri hangi yollarla izleyebilir? Gerçek dünyada takip edilmesini sağlayan bir video oyununa kaydolmak için gerçek bir ad gerekebilir.

Çevre üzerindeki etkisi

Ortam, gereken bulut bilişim miktarından perakende paketlemeye kadar bir sistem veya ürün yaşam döngüsündeki her karardan etkilenebilir. Çevre değişiklikleri tüm toplulukları etkileyebilir.

Zarar Açıklama Dikkat Edilmesi Gerekenler Örnek
Kaynakların kötüye kullanım veya tükenmesi Teknolojinin ham maddelerini elde etmek, nasıl güçlendirilmiş olduğu da dahil olmak üzere, çevre ve sakinleri için olumsuz sonuçlara yol açar. Bu teknolojiyi oluşturmak veya çalıştırmak için hangi malzemeler gereklidir? Bu teknolojiyi oluşturmak veya çalıştırmak için hangi enerji gereksinimleri gerekir? Bazı elektronik üretim için gerekli nadir toprak mineralleri ve metallerin toplanması nedeniyle yerel bir topluluk yerlerinden edilebilir.
Elektronik atık Elektroniklerin onarılamaması, geri dönüştürülememesi veya başka bir şekilde sorumlu bir şekilde atılamaması nedeniyle kolektif refah kalitesinin azalması. Bu teknoloji, malzemeleri geri dönüştürerek veya kullanıcıların kendi kendini onarmasına izin vererek elektronik atıkları nasıl azaltabilir? Yeni sürümler yayınlandığında veya geçerli/geçmiş sürümler çalışmayı durdurduğunda bu teknoloji elektronik atıklara nasıl katkıda bulunabilir? Atılan elektronik cihazların içindeki toksik malzemeler su kaynağına sızarak yerel halkları hasta edebilir.
Karbon emisyonları İyileştirilmiş olmayan bulut çözümlerinin çalıştırılması gereksiz karbon emisyonlarına ve elektrik atıklarına yol açarak iklime zarar verebilir. Bulut iş yüklerinizin ve çözümlerinizin ne kadar iyileştirilmiş olduğu hakkında içgörüleriniz var mı? Çözümünüzün iklim üzerindeki etkisi nedir ve iş yüklerinizi dağıttığınız bölgeye göre farklılık gösterir mi? Bulut verimliliği için iyileştirilmiş veya düzgün tasarlanmamış çözümlerin çalıştırılması, iklim üzerinde daha ağır bir ücrete yol açarak gereksiz karbon emisyonlarına ve elektrik israflarına neden olabilir.

Sosyal ve demokratik yapıların erozyonu

Düzenleme

Teknolojinin son derece kişiselleştirilmiş ve manipülatif deneyimler oluşturabilmesi, bilinçli bir vatandaşlığı ve toplumsal yapılara olan güveni zedeleyebilir.

Zarar Açıklama Dikkat Edilmesi Gerekenler Örnek
Yanlış Sahte bilgileri yasal veya güvenilir bilgiler olarak yok etme. Bu teknoloji yanlış bilgi oluşturmak için nasıl kullanılabilir? Güvenilir yanlış bilgileri yaymak için nasıl kullanılabilir? Bir siyasi liderin sentetik konuşmasının oluşturulması seçime yol gösterir.
Davranışsal sömürü Bu, istenen tepkiyi vermek için kişisel tercihleri veya davranış kalıplarını kötüye kullanmak anlamına gelir. Bu teknoloji davranış desenlerini gözlemlemek için nasıl kullanılabilir? Bu teknoloji işlevsiz veya maladaptif davranışları teşvik etmek için nasıl kullanılabilir? Bağlı perakende ortamında alışveriş alışkanlıklarını izlemek, dürtü alışverişçileri ve istifçiler için kişiselleştirilmiş teşviklere yol açar.

Sosyal zarar

Büyük ölçekte, teknolojinin insanları etkileme şekli topluluklar içindeki sosyal ve ekonomik yapıları şekillendirmektedir. Diğerlerini dışlarken bazılarını içeren veya bu öğelerden yararlanan öğeleri daha da ingrain edebilir.

Zarar Açıklama Dikkat Edilmesi Gerekenler Örnek
Güç eşitsizliğinin amplifikasyonu Bu, mevcut sınıf veya ayrıcalık ayrımlarını kalıcı hale gelebilir. Bu teknoloji mevcut sosyal, ekonomik veya sınıf ayrımlarının olduğu bağlamlarda nasıl kullanılabilir? Daha fazla güç veya ayrıcalığı olan kişiler teknolojiyi orantısız bir şekilde nasıl etkileyebilir? bir iş web sitesine kaydolmak için bir konut adresi ve telefon numarası gerektirmek, evsiz bir kişinin başvurmasını engelleyebilir.
Stereotip güçlendirme Bu, geçmişe veya istatistiksel olarak az temsil edilen kişiler hakkında bilgisiz "geleneksel bilgeliği" kalıcı hale gelebilir. Bu teknoloji mevcut sosyal normları veya kültürel stereotipleri pekiştirmek veya güçlendirmek için nasıl kullanılabilir? Bu teknoloji tarafından kullanılan veriler yanlılıkları veya stereotipleri yansıtmasına nasıl neden olabilir? "CEO" için yapılan bir resim aramasının sonuçları öncelikli olarak Kafkasyalı erkeklerin fotoğraflarını gösterebilir.
Bireysellik kaybı Bu, benzersiz bir perspektifi ifade edememe olabilir. Bu teknoloji, çoğunluk görüşlerini veya "grup düşüncesini" nasıl büyütebilir? Buna karşılık, benzersiz ifade biçimleri nasıl gizlenebilir? Bu teknoloji tarafından toplanan veriler insanlara geri bildirimde hangi şekillerde kullanılabilir? Video oyunu avatarı tasarlamada sınırlı özelleştirme seçenekleri, bir oyuncunun çeşitliliğinin kendini ifade etmelerini engeller.
Temsil kaybı Genelleştirmenin geniş kategorileri gerçek kimlikleri gizler, küçültür veya siler. Bu teknoloji kimlik seçeneklerini nasıl kısıtlayabilir? Kişileri otomatik olarak etiketlemek veya kategorilere ayırmak için kullanılabilir mi? Otomatik fotoğraf başlık, konuya yanlış cinsiyet kimliği ve yaşı atar.
Beceri düşüşü ve yer değiştirme Otomasyonda aşırı dayanıklılık, el ile becerilerin atrofisine yol açar. Bu teknoloji erişilebilirliği ve el ile denetimleri kullanma becerisini hangi yollarla azaltabilir? Pilotlar yalnızca aletlere güvenmek için eğitildiği için otomasyona aşırı güvenmek uçağın gerçek yönünün ölçülememesine neden olabilir.

Zararları değerlendirme

Olası zararların geniş bir listesini oluşturduktan sonra, her zarar kategorisi için olası büyüklüğü değerlendirerek ZararLar Modelinizi tamamlamanız gerekir. Bu, odak alanlarınızın önceliğini belirlemenizi sağlar. Başvuru için aşağıdaki örnek zararlar modeline bakın:

Katkıda bulunan faktör Açıklama
Önem Teknoloji bir bireyin veya grubun refahını nasıl etkileyebilir?
Ölçek Refah üzerindeki etki popülasyonlar veya gruplar arasında ne kadar geniş bir düzeyde yaşanabilir?
Olasılık Teknolojinin bireyin veya grubun refahını etkileme olasılığı nedir?
Sıklık Bir kişi veya grup, teknolojinin refahı üzerinde ne sıklıkta bir etki yaşar?

Sonraki Adımlar

Ürün geliştirme çalışmanıza yol göstermek için geliştirdiğiniz Harms Modelini kullanın:

  • Zarara neden olabilecek olarak tanımladığınız paydaşlardan daha fazla bilgi alın.
  • En yüksek zarar potansiyeline sahip olduğunu tanımladığınız alanları ele almak için hipotez geliştirin ve doğrulayın.
  • İçgörüleri teknoloji geliştirme süreci boyunca kararlarınızla tümleştirin: veri toplama ve model eğitimi, sistem mimarisi, kullanıcı deneyimi tasarımı, ürün belgeleri, geri bildirim döngüleri ve teknolojinin iletişim özellikleri ve sınırlamaları.
  • Topluluk Jürisi'ne bakın.
  • Azure Machine Learning ve açık kaynak FairLearn paketini kullanarak adaletsizliği değerlendirin ve azaltın.

Diğer Sorumlu yapay zeka araçları:

Ek başvurular: