共用方式為

傷害類型

  • 發行項

本文會建立不同類型的傷害意識，以便實作適當的緩和步驟。

受傷風險

身體受傷

請考慮技術如何傷害人們或創造危險的環境。

傷害 描述 考慮（秒） 範例
安全性功能的過度依賴 這指出，依賴技術在沒有充分人力監督的情況下做出決策。 人們如何依賴這項技術來保護它們的安全？ 這項技術如何減少適當的人為監督？ 醫療保健代理可能會誤診疾病，導致不必要的治療。
故障不足 真實世界測試可能不足以考慮一組不同的使用者和案例。 如果這項技術失敗或誤用，人們將如何受到影響？ 人能干預什麼時間？ 是否有尚未測試的替代用途？ 系統失敗如何影響使用者？ 如果自動門在緊急疏散時無法偵測到輪椅，如果沒有無障礙的覆寫按鈕，可能會被困。
暴露在狀況不良的代理程式 製造業以及技術處置可能會危及工人和附近居民的健康和福祉。 您的元件或裝置製造可能會產生哪些負面結果？ 安全措施不足可能會使工人在數位零部件製造期間暴露出毒素。

情感或心理傷害

誤用的技術可能導致嚴重的情感和心理痛苦。

傷害 描述 考慮（秒） 範例
自動化上的過度依賴 誤導的信念可讓使用者信任數位代理程式對人類的可靠性。 這項技術如何減少直接人際意見反應？ 這項技術如何與信任的資訊來源互動？ 對人工代理程式的唯一依賴如何影響一個人？ 聊天機器人可以依賴關係諮詢或心理健康諮詢，而不是受過培訓的專業。
扭曲現實或氣燈 當故意濫用時，技術可能會破壞信任，扭曲某人的現實感。 這可以用來修改數位媒體或實體環境嗎？ IoT 裝置可以從遠處啟用對前親密合作夥伴的監視和控制。
降低自尊/聲譽損害 某些共享內容可能是有害、虛假、誤導或詆毀。 這項技術如何用來不適當地共享個人資訊？ 如何操縱誤用資訊和歪曲他人？ 綜合媒體的“報復色情”可以交換臉，創造一個人參與視頻的錯覺誰沒有。
成癮/注意力劫持 技術可以設計為長時間的互動，而不考慮福祉。 這項技術會以何種方式獎勵或鼓勵持續互動，而無法提供用戶價值？ 視頻遊戲搶劫箱中的可變下降率可能導致玩家繼續玩和忽視自我照顧。
身分識別竊取 身分識別竊取可能會導致失去對個人認證、聲譽和代表權的控制。 個人如何模擬這項技術？ 這項技術如何錯誤地將錯誤的個人辨識為真實使用者？ 綜合語音字型可以模仿人的聲音，並用來存取銀行帳戶。
Misattribution 這包括將他們不負責之動作或內容的人歸功於他們。 這項技術會以何種方式將動作歸因於個人或群組？ 如果動作被錯誤歸咎於動作，該如何受到影響？ 臉部辨識在警方調查期間可能會誤判個人。

拒絕衍生服務

商機損失

自動化決策可能會限制對資源、服務和福祉至關重要的機會存取。

傷害 描述 考慮（秒） 範例
就業歧視 有些人可能會被拒絕申請或根據與優點無關的特性保護工作。 這項技術是否會影響與就業相關的建議或決策？ 招聘 AI 可能會建議較少具有女性聲音姓名的候選人進行面試。
住房歧視 這包括拒絕人們獲得住房或申請住房的能力。 這項技術如何影響與住房相關的建議或決策？ 公共住房排隊演算法可能導致具有國際聲音名稱的人等待更長的代金券。
保險和福利歧視 這包括拒絕人員保險、社會援助或因偏見標準獲得醫療試驗。 這項技術可以用來判斷保險或社會福利的存取、成本、分配？ 由於演算法預測顯示酒後駕駛風險增加，保險公司可能會為司機收取更高的夜間班費。
教育歧視 由於不變的特性，可能拒絕獲得教育。 這項技術如何用來判斷與教育相關的存取、成本、住宿或其他結果？ 情感分類器可能會錯誤地報告有色學生比白人學生少，導致成績較低。
數字鴻溝/技術歧視 不成比例地獲得技術的好處可能會使一些人不太知情或有能力參與社會。 需要哪些必要條件技能、設備或連線能力，才能充分利用這項技術？ 在設備、連線或其他產品功能方面，選擇早期存取這項技術的人員可能會有什麼影響？ 內容節流可能會防止農村學生存取教室教學影片摘要。
失去選擇/網路和篩選泡泡 只提供符合並強化信仰的信息給人們。 這項技術如何影響人們可用的選擇和資訊？ 這項技術可能依賴哪些過去的行為或喜好設定來預測未來的行為或喜好設定？ 新聞摘要只能提供證實現有信仰的資訊。

經濟損失

自動化與金融工具、經濟機會和資源相關的決策，可以放大現有的社會不平等，阻礙福祉。

傷害 描述 考慮（秒） 範例
信用歧視 根據與經濟優點無關的特性，人員 可能被拒絕獲得金融工具。 這項技術如何依賴現有的信用結構來做出決策？ 這項技術如何影響個人或群組取得或維護信用分數的能力？ 較高的入門費率優惠只能送到低社會經濟郵遞區號編碼的房屋。
商品和服務的差異定價 由於與生產或交付成本無關的原因，商品或服務可能會以不同的價格提供。 這項技術如何用來判斷商品或服務的定價？ 決定此技術使用成本的準則為何？ 根據男性或女性的指定，可以收取更多費用的產品。
經濟剝削 人員 可能被迫或誤導，以處理影響其尊嚴或福祉的東西。 人類工作力在為這項技術產生訓練數據方面扮演了什麼角色？ 這支員工是如何獲得的？ 人類勞動在支援這項技術方面扮演什麼角色？ 此員工預期來自何處？ 向經濟上貧困的人支付生物特徵辨識數據來訓練 AI 系統。
個人專業知識貶值 技術可能會取代使用付費人類專業知識或工作力。 這項技術如何影響僱用現有員工的需求？ AI 代理程式會取代醫生/無線電學家，以評估醫學影像。

侵犯人權

尊嚴損失

技術可以影響人們如何看待世界，並相互認識、參與和重視。 人們之間的榮譽和尊重的交流可能會受到干擾。

傷害 描述 考慮（秒） 範例
非人化 拿掉、減少或遮蔽人性可見度。 這項技術如何用來簡化或抽象某人的呈現方式？ 這項技術如何減少人類與數位世界的區別？ 無人機監視中的實體辨識和虛擬重疊可以減少人類行動的感知責任。
公眾羞辱 這可能意味著暴露人們的私用、敏感性或社會不適當的材料。 如何透過數據匯總來顯示移動或動作？ 健身應用程式可以在社交媒體上顯示使用者的 GPS 位置，表示出席酒鬼匿名會議。

自由損失

自動化法律、司法和社會系統可以強化偏見，並導致有害後果。

傷害 描述 考慮（秒） 範例
預測性警務 根據歷程記錄推斷可疑行為或犯罪意圖。 這如何支援或取代人類治安或刑事司法決策？ 演算法可以預測數個區域逮捕，因此警方確保它們符合或超過該數位。
社交控制 通過公開將人類行為指定為正面或負面行為，可以加強或鼓勵符合性。 哪些類型的個人或行為數據可能會饋送這項技術？ 如何取得？ 哪些輸出會衍生自此數據？ 這項技術是否可能用來鼓勵或勸阻某些行為？ 專制政府使用社交媒體和電子商務數據，根據人們在何處購物，以及他們花時間的人來判斷“值得信任”的分數。
失去有效的補救 這意味著無法解釋提出決定的理由或缺乏機會。 人們如何瞭解這項技術做出決策的原因？ 依賴這項技術的個人如何解釋其決策？ 人們如何競爭或質疑這項技術做出的決定？ 自動監禁或審判前釋放決定不向被告解釋。

隱私權遺失

我們使用技術所產生的資訊可用來判斷事實，或對不知情的人進行假設。

傷害 描述 考慮（秒） 範例
干擾私人生活 透露一個人未選擇共享的資訊。 這項技術如何使用資訊來推斷私人生活的部分？ 根據這些推斷做出的決定如何揭露一個人不想要公開的事情？ 工作追蹤 AI 可以監視其推斷婚外事務的個人模式。
強制關聯 要求參與使用技術或監視參與社會。 參與社會或組織成員資格需要如何使用這項技術？ 公司會議室轉譯 AI 中的生物特徵辨識註冊是工作報價信中規定的需求。
無法自由和全面發展個性 這可能意味著限制一個人能夠真實表達自己或探索自我發展的外部途徑。 系統或產品以何種方式將正面與負面內涵歸結於特定個性特徵？ 如何使用產品或系統向政府或僱主等禁止自由表達的實體透露資訊？ 智慧型會議系統可以記錄同事之間的所有討論，包括個人教練和指導課程。
永不原諒 數位檔案或記錄可能永遠不會刪除。 要從此產品儲存哪些數據，以及誰可以存取它？ 在技術互動之後儲存用戶數據多久？ 如何更新或刪除用戶數據？ 一個青少年的社交媒體歷史在他們超越平臺后，可以保持可搜索的時間。
失去移動或元件自由 這表示無法以想要的匿名方式瀏覽實體或虛擬世界。 這項技術會以何種方式監視實體和虛擬空間的人員？ 註冊可啟用真實世界跟蹤的視頻遊戲時，可能需要實名。

環境衝擊

環境可能會受到系統或產品生命週期中每個決策的影響，從零售封裝所需的雲端運算量。 環境變化可能會影響整個社區。

傷害 描述 考慮（秒） 範例
資源開發或耗盡 獲得技術的原材料，包括其供電方式，會導致環境及其居民產生負面影響。 需要哪些材料才能建置或執行這項技術？ 建置或執行這項技術需要哪些能源需求？ 由於收穫一些電子製造所需的稀土礦物和金屬，當地社區可能會流離失所。
電子廢物 由於無法修復、回收或其他負責任地處置電子產品，因此降低集體福祉的品質。 這項技術如何通過回收材料或允許使用者自行修復來減少電子廢物？ 當新版本發行或目前/過去版本停止運作時，這項技術對電子浪費有何貢獻？ 廢棄電子設備內的有毒材料可以浸入供水中，使當地居民生病。
碳排放量 執行未優化的雲端解決方案可能會導致不必要的碳排放和電力浪費，對氣候造成損害。 您是否有深入解析雲端工作負載和解決方案的優化程度？ 您的解決方案對氣候有何影響，而且會根據您部署工作負載的區域而有所不同？ 執行未針對雲端效率優化或設計正確設計的解決方案，會導致氣候損失更大，導致不必要的碳排放和電力浪費。

社會和民主結構的侵蝕

操作

技術創造高度個人化和操縱體驗的能力可能會破壞知情的公民和社會結構的信任。

傷害 描述 考慮（秒） 範例
誤傳 偽裝假資訊為合法或可信的資訊。 這項技術如何用來產生錯誤資訊？ 它怎麼可以用來傳播可信的錯誤資訊？ 一位政治領袖的合成言論產生搖搖晃晃的選舉。
行為惡意探索 這表示利用個人喜好設定或行為模式來引發想要的反應。 這項技術如何用來觀察行為模式？ 這項技術如何用來鼓勵功能失調或不良行為？ 在聯網零售環境中監視購物習慣會導致對衝動購物者和囤積者的個人化獎勵。

社會損害

大規模地，技術影響人們在社區內塑造社會和經濟結構的方式。 它可以進一步插入包含或受益的元素，同時排除其他元素。

傷害 描述 考慮（秒） 範例
權力不平等的放大 這可能會延續現有的類別或許可權差異。 這項技術如何在現有的社會、經濟或階級差異的情況下使用？ 擁有更多權力或特權的人會如何不成比例地影響這項技術？ 要求在工作網站上註冊住宅地址和電話號碼，可以防止無家可歸者申請。
造型增強 這可能使歷史上或統計上沒有代表性的人的「傳統智慧」永久化。 這項技術如何用來強化或放大現有的社會規範或文化陳規定型觀念？ 這項技術使用的數據會如何反映偏差或刻板印象？ 對“CEO”進行圖像搜索的結果主要可以顯示高加索男子的照片。
失去個性 這可能無法表達唯一的觀點。 這項技術如何放大多數意見或「群體思考」？ 相反地，如何隱藏唯一的表達式形式？ 以何種方式將這項技術收集的數據用於意見反應給人員？ 在設計視頻遊戲虛擬人偶時，有限的自定義選項會抑制玩家多樣性的自我表達。
表示遺失 一般化的廣泛類別模糊、減少或清除真實身分識別。 這項技術如何限制身分識別選項？ 它可以用來自動標記或分類人員嗎？ 自動相片 標題 指派不正確的性別認同和年齡給主旨。
技能降低和自滿 過度依賴自動化會導致手動技能的萎縮。 這項技術可能會降低使用手動控件的輔助功能和功能？ 過度依賴自動化可能會導致無法測量飛機的真實方向，因為飛行員已經接受過訓練，只依賴儀器。

評估傷害

一旦您產生一份廣泛的潛在危害清單，您應該評估每個傷害類別的潛在程度，以完成您的傷害模型。 這可讓您設定焦點區域的優先順序。 如需參考，請參閱下列範例損害模型：

成因 定義
嚴重性 這項技術對個人或群體的福祉有何影響？
調整 在人群或群體中，對福祉的影響有多大？
Probability 影響個人或群體福祉的技術有多可能？
頻率 個人或群組會如何從技術中體驗到對其福祉的影響？

後續步驟

使用您開發的危害模型來引導您的產品開發工作：

  • 從您識別為可能遭受傷害的利害關係人尋求更多資訊。
  • 開發和驗證假設，以解決您識別為具有最高危害潛力的區域。
  • 將深入解析整合到整個技術開發程式中的決策：數據收集和模型定型、系統架構、用戶體驗設計、產品檔、意見反應迴圈，以及技術的通訊功能和限制。
  • 探索 社群陪審團。
  • 使用 Azure 機器學習 和開放原始碼 FairLearn 套件來評估及減輕不公平性。

其他負責任的 AI 工具：

其他參考：