應用程式卡:Microsoft Security Copilot

什麼是申請卡或平台卡?

Microsoft 的應用程式與平台卡旨在幫助您了解 AI 技術的運作方式、應用程式擁有者可做出影響應用程式效能與行為的選擇,以及考量整個應用程式的重要性,包括技術、人員與環境。 應用程式卡是為 AI 應用製作,平台卡則是為 AI 平台服務製作。 這些資源可以支援您自家應用程式的開發或部署,並可與受影響的使用者或利害關係人分享。

作為負責任 AI 承諾的一部分,Microsoft 遵循 六大核心原則:公平、可靠性與安全、隱私與安全、包容性、透明度與問責制。 這些原則嵌入於負責任的 AI Standard 中,指導團隊設計、建置及測試 AI 應用。 應用卡與平台卡在落實這些原則中扮演關鍵角色,透過透明化能力、預期用途及限制。 為了深入了解,建議讀者參考 Microsoft 的《負責任 AI 透明度報告 》及 Microsoft 企業 AI 服務行為準則,該準則說明如何負責任地與 AI 互動。

概觀

Microsoft Security Copilot 是一款由 AI 驅動的生成式安全解決方案,協助提升防禦者的效率與能力,以機器速度與規模提升安全成果。 它提供自然語言輔助副駕駛體驗,協助資安專業人員與 IT 管理員處理各種端到端情境,包括事件回應、威脅搜尋、情報蒐集及態勢管理。

Security Copilot 的設計初衷是整合。 它提供沉浸式獨立體驗https://securitycopilot.microsoft.com,並與Microsoft安全產品整合,包括Microsoft Defender 全面偵測回應、Microsoft Sentinel、Microsoft Intune、Microsoft Entra 及 Microsoft Purview,並支援第三方服務。

目標使用者包括 SOC 分析師、IT 管理員、資料安全與身份管理員、合規分析師,以及資安領導者,如資訊安全長 (CISO) 。

Security Copilot 已獲得 ISO 42001 認證,該認證證明有獨立第三方審查了 Microsoft 在持續開發、部署及運作中有效管理風險與機會所需的框架與能力Microsoft AI。

欲了解更多資訊,請參閱「什麼是 Microsoft Security Copilot?」、「Microsoft Security Copilot 體驗」以及「Security Copilot 代理程式的應用程式卡」。

重要術語

下表提供了與 Microsoft Security Copilot 相關的關鍵術語詞彙表。

術語 定義
代理程式 Security Copilot 代理透過整合的資料來源與外掛處理來自客戶環境的訊號,分析資料並產生建議。 代理程式也可能在設定權限內執行指定範圍的動作,這些動作需要適當的使用者或管理員批准。 客服人員的配置範圍從簡單的提示與回應體驗,到更自動化、半自主且由人工監督的工作流程皆有。 例如,釣魚分流代理和漏洞修復代理。
代理人身份 代理人用來與 Microsoft 服務認證並存取執行任務所需的資料的憑證。 在設定過程中,管理員可選擇使用 Microsoft Entra Agent ID) 建立專用身份 (,或讓代理繼承設定使用者的憑證。 身份的選擇決定了代理人能存取哪些資料。
資料來源 透過外掛或整合到地面回應系統存取的結構化或非結構化資料。
嵌入式經驗 從其他 Microsoft 安全產品內部存取 Security Copilot 功能,例如 Microsoft Defender 全面偵測回應或 Microsoft Sentinel。 Security Copilot 側車面板直接將 AI 協助置於該產品的情境中。
基礎設置 向大型語言模型提供與使用者提示相關的上下文輸入來源的過程。 透過讓 Security Copilot 能透過外掛及 Microsoft 安全產品存取組織資料,Security Copilot 能提供更準確且具情境相關性的回應。
大型語言模型 (大型語言模型) AI 模型以大量文字資料訓練,預測字序中的單字。 LLM 能執行多種任務,如文字生成、摘要、翻譯、分類等。
插件 一系列相關工具,透過 API 讓 Security Copilot 存取 Microsoft 及非 Microsoft 服務與公開網站的資源,擴展其功能。 外掛為 Security Copilot 產生的回應和輸出增添更多上下文。
後製 Security Copilot 在將回應還給使用者之前,進行精煉與準備的一系列動作。 後處理包括透過插件進行額外的接地通話、負責任的 AI 檢查、安全性、合規性及隱私檢查。
提示 使用者傳送給 Security Copilot 以執行特定任務或獲取資訊的自然語言文字。 例如,總結 此事件並建議補救措施。
提示本 一系列依序執行的提示,建立在先前回應的基礎上,以完成特定的安全相關任務。 提示書可在圖書館使用,或由使用者自行製作與分享。
紅隊測試 專家用來評估系統的限制與脆弱性,以及測試計畫緩解措施成效的技術。 紅隊測試用於識別潛在風險,與系統性風險測量不同。
負責任的 AI Microsoft 的政策、研究與工程實踐,皆根植於其 AI 原則,並透過 負責任 AI 標準實施。 欲了解更多資訊,請參閱 Fluent RAI 指引
安全運算單元 (SCU) SCU 是用來執行 Security Copilot 工作負載並在各體驗中提供一致效能的運算能力單位。 Security Copilot 容量以 SCU 計算,可透過配置或超額容量模型消耗。 欲了解更多資訊,請參閱「了解SCU」。
Security Copilot 回應 AI 產生的輸出會回傳給使用者提示,包括摘要、建議或可能包含程式碼與視覺化的行動。
安全作業中心 (SOC) 專門的安全團隊或設施,專注於持續監控、分析及回應組織內的網路安全事件。 SOC 分析師是 Security Copilot 的主要目標使用者之一。
保全商店 一個類似市集的體驗,讓使用者能發現並啟用合作夥伴共同打造的 Security Copilot 代理與擴充功能。
工作階段 一個包含提示、回應及用於產生輸出的相關資料的有界互動情境。 會話上下文是獨立的,不會在不同會話間共享。 會話資料的存取由使用者權限和工作區角色所規範,提示與回應被視為客戶資料,不會用於訓練基礎模型。
獨立體驗 沉浸式 Security Copilot 入口網站體驗可直接存取https://securitycopilot.microsoft.com
租用戶 Microsoft Entra ID 中的組織邊界,用以隔離 Security Copilot 的身份、存取權限與資料。 所有工作空間、使用者與互動皆在此範圍內運作,並受租戶層級權限與安全控管。

主要特色或能力

下表的主要功能與能力描述了 Microsoft Security Copilot 的設計目標及其在支援任務中的表現。

功能或特性 描述
事件調查與應變 Security Copilot 協助資安專業人員分流與調查事件,透過產生複雜安全警示摘要、將 Microsoft Defender 全面偵測回應、Microsoft Sentinel 及其他整合產品間的訊號進行關聯,並提供逐步修復指引。
威脅情報 Security Copilot 能搜尋 Microsoft Defender 威脅情報文章與個人資料、威脅分析報告及漏洞揭露出版物,以呈現與提示相符的相關情報。
腳本分析與 KQL 查詢產生 Security Copilot 能分析可疑腳本或惡意軟體,並將自然語言轉換成 KQL 查詢,使各級團隊成員都能執行進階的搜尋與技術分析任務。
安全性狀態管理 Security Copilot 幫助使用者了解環境中的優先風險,並透過與 Microsoft Defender 全面偵測回應、Microsoft Entra 及 Microsoft Intune 整合,找出改善態勢的機會。
安全政策建立與管理 使用者可以定義新政策,與現有衝突政策交叉參照,並以淺顯語言摘要政策,以管理複雜的組織情境。
Promptbooks 提示簿是一連串的提示,執行以完成特定的安全任務。 使用者可以從共享函式庫執行提示書,或自行建立並分享。
Agents Security Copilot 支援能在管理員授權範圍內自動化並協助安全與 IT 營運任務的代理。 代理行動由設定的身份、存取控制與觸發器所控制,並設計為在安全工作流程中由人工監督運作。 Microsoft 自建代理涵蓋安全產品組合,涵蓋 SOC 作業、威脅狩獵、威脅情報、身份管理、端點管理及資料安全。 管理員負責設定每個代理的身份、權限與觸發器。 關於特定代理及其使用情境的詳細資訊,請參見 「預期用途」。
File upload 使用者可直接將檔案上傳至 Security Copilot 會話中,讓 Copilot 在產生回應時能分析、摘要或交叉比對上傳內容。
多語言支援 Security Copilot 支援多種語言的提示與回應。 欲了解更多資訊,請參閱 支援語言

預期用途

Microsoft Security Copilot 專為需要 AI 輔助支援、涵蓋各種安全與 IT 營運任務的安全專業人士及 IT 管理員而設計。 輔助副駕駛體驗幫助使用者更有效率地工作,呈現相關脈絡、產生可行指引,並減少手動分析的時間。 一些預期的使用案例範例包括:

  • 事件調查與應變:產生複雜警示摘要,將整合安全產品(如 Microsoft Defender 全面偵測回應)與 Microsoft Sentinel 進行關聯,並提供逐步修復指導。 分析師可以提出後續問題,逐步精進調查。

  • 威脅情報蒐集:根據自然語言提示,呈現有關威脅行為者、惡意軟體及漏洞的相關情報,將資訊整合成量身打造的摘要。

  • 腳本分析與逆向工程:以淺顯語言解釋可疑腳本或命令列活動,識別惡意行為,並突顯被入侵的跡象。

  • KQL 查詢生成:將自然語言提示轉換成現成的 KQL 查詢,用於進階搜尋與日誌分析。

  • 安全態勢管理:識別優先風險並建議改善組織安全態勢的行動。

  • 安全政策制定與管理:協助起草、審查及摘要政策,並識別缺口或衝突。

  • 利害關係人報告:產出針對不同受眾量身打造的報告,包括技術摘要與執行簡報。

  • 重複安全工作流程的提示簿:允許使用者執行或建立多步驟工作流程,以標準化重複性的安全任務。

模型與訓練資料

Microsoft Security Copilot 利用Azure OpenAI 大型語言模型 (Azure銷售的 Foundry Models) 大型語言模型,來驅動自然語言體驗。 這些模型並未以 Security Copilot 客戶資料訓練。 模型能力在推理、速度、限制及支援情境上有所不同。

Security Copilot 也透過外掛與接地整合安全專屬知識與脈絡,為大型語言模型提供相關的組織資料、威脅情報及權威內容,而非透過模型訓練。

效能

Security Copilot 設計用於企業安全環境中,該環境中會產生大量即時安全訊號,涵蓋 Microsoft 安全性 產品及組織設定的其他資料來源。

與通用大型語言模型不同,Security Copilot 提供:

  • 跨結構化安全資料的即時訊號處理
  • 將多個資料來源相關聯的調查推理
  • 以客戶資料為基礎的實證輸出
  • 持續收集資料以維持持續的可視性

使用者透過自然語言提示與 Security Copilot 互動。 系統透過主動外掛、資料來源和大型語言模型處理這些輸入,產生回應。

輸出主要是文字內容,包括摘要說明、建議行動、逐步指引、程式碼片段 (如 KQL 查詢) ,以及針對利害關係人量身打造的格式化報告。 當系統產生回應時,會在程序日誌中顯示中間步驟,提供雙重檢查流程與來源的機會。 使用者可隨時取消、編輯、重播或刪除提示,回應可置頂、分享及匯出以促進協作。

限制

了解 Microsoft Security Copilot 的限制對於確保其有效且負責任地使用非常重要。 雖然 Security Copilot 強化了安全工作流程,但它並非為所有情境設計。 選擇使用情境時,請參考 Microsoft 企業 AI 服務行為準則 及以下考量事項:

  • 準確性與完整性:Security Copilot 可能產生不準確、不完整或過時的回應。 輸出品質取決於可用資料來源、啟用的整合功能以及使用者提供的上下文。 使用者應運用人為判斷並驗證關鍵輸出。
  • 偏見、刻板印象與無根據的內容:儘管有防護措施,輸出仍可能包含偏見、刻板印象或無根據的結論,這是由於大型語言模型的機率性。 使用者應批判性評估回應,尤其是在敏感或高衝擊情境中。
  • 領域專屬範圍:Security Copilot 針對安全相關任務進行優化,如事件調查與威脅分析。 超出此領域的提示可能導致回應不準確或不那麼相關。
  • 使用限制與延遲:使用 Security Copilot 可能會受到容量限制及效能考量。 產生回應,包括執行整合與安全檢查,可能會產生延遲。 組織應監控 SCU) (的使用情況,以維持穩定的效能。
  • 預覽狀態:部分 Security Copilot 功能可能仍在預覽階段。 預覽功能應視為預發布功能,且輸出內容應在採取行動前進行審查。
  • 提示與上下文限制:Security Copilot 在大型語言模型固有的標記與上下文限制內運作。 冗長的提示或長時間互動可能超過這些限制,導致回應被截斷或不那麼理想。 重新框架或簡化提示詞可能改善結果。
  • 依賴資料來源與設定:回應基於可用資料,包括連接的 Microsoft 服務、第三方整合及使用者輸入。 若相關資料來源無法取得、啟用或不即時,結果可能缺乏完整性或準確性。
  • 腳本與程式碼產生:Security Copilot 可能會產生程式碼或在回應中包含程式碼。 回應可能看似有效,但在語義或語法上不正確,或無法準確反映請求者的意圖。 產生的程式碼不應在未經適當驗證、測試與審查程序的情況下部署到生產環境。 使用者還必須驗證所產生程式碼所使用的參數是否與原始請求相符。 例如,如果代理在特定時間範圍內執行警報,請確認所產生程式碼的時間範圍與自然語言提示中指定的時間範圍相符。
  • 資料存取與權限邊界:Security Copilot 在現有組織權限與資料存取控制範圍內運作。 回應僅限於使用者被授權存取的資料。 底層系統中權限設定錯誤可能影響結果的相關性或完整性。
  • 政府雲端環境:Security Copilot 目前並非為某些政府雲端環境設計。

評價

效能與安全評估透過檢視 AI 應用是否可靠且安全運作,透過檢視其根基性、相關性與連貫性等因素,並識別產生有害內容的風險。 以下評估是在已具備安全元件的情況下進行的,這些元件也在《 安全元件與緩解措施》中有詳細說明。

品質與安全的評估資料

我們的評估數據是客製化打造,用以評估 AI 應用在安全與品質關鍵領域的表現,模擬真實世界情境與風險。 我們首先根據跨領域研究與專家意見,找出相關的評估面向。 這些關切轉化為有針對性的評估目標,並指導評估指標的制定。

為了安全,我們會設計對抗性提示,誘發不良或邊緣情況的回應,然後由受過訓練的 AI 標註器評分,評估是否符合 Microsoft 的安全標準。 為了品質,我們設計符合情境的評分標準提示,包括評估檢索增強生成 (RAG) 應用與代理。

資料集來自多元來源,包括合成資料集與公開資料集,以模擬真實世界的使用者情境。 利用精選資料集,兩種評估都經過反覆優化與人為比對,以提升指標效能與可靠性。 此方法論奠定了可重複且嚴謹評估的基礎,反映客戶如何利用評估來打造更優秀且更安全的 AI。

自訂評估

透過迴歸測試、精選提示資料集及生產環境對齊範例,進行客製化評估以驗證模型在接地、對抗性穩健性及有害內容情境下的表現。 評估比較了 GPT 模型間的輸出,利用內部工具評估接地性,以及 Azure OpenAI 內容過濾以驗證防越提示注入智慧財產權侵害的防護。 結果顯示表現穩定或提升,包括在敵對情境下的強大防護率及更精確的接地精度。

有害內容處理在各模型間保持一致,並以註解模式運作以支援安全導向的應用,並透過更多大規模測試確認各類別的高防護率。 迴歸測試是為了驗證內容本身不具傷害性,是否被歸類為有害內容。

使用者回饋對於提升 Security Copilot 至關重要。 使用者可透過以下選項提供回饋: 需改進不適當外觀正確 。 這些回饋直接傳送給 Microsoft,並用來透過持續迭代優化提升平台效能。

安全組件與緩解措施

透過紅隊測試等流程識別潛在風險與誤用並進行測量,我們制定了減輕措施以降低潛在傷害。 以下清單中,我們將描述其中一些緩解措施。 我們將持續評估 Microsoft Security Copilot 的體驗,以提升產品效能與緩解措施。

  • 有害內容過濾與防護措施:Security Copilot整合Microsoft開發的防護措施 (內容過濾) 及濫用偵測模型,作為Azure OpenAI 服務基礎的一部分。 這些神經分類模型能偵測並過濾包括仇恨、性、暴力及自殘等多個嚴重程度的有害內容。 可選的分類模型也能偵測越獄風險、已知的文字或程式碼內容,以及間接提示注入攻擊。 這些分層控制有助於防止 AI 產生違反 Microsoft 安全標準的回應。

  • 安全系統設計:Microsoft 為 Security Copilot 開發了一套安全系統,旨在減少故障並防止濫用,包括有害內容註解、操作監控及其他防護措施。 Azure OpenAI 服務責任 AI 緩解需求不直接適用於 Security Copilot 客戶,因為 Security Copilot 是代表客戶實施這些緩解措施。

  • 使用者回饋循環:平台內建回饋機制: 需改進不適當外觀正確 等選項,讓使用者能直接向 Microsoft 回報有問題且有用的輸出。 這些回饋推動持續改進循環,當發現錯誤或不一致時,能迅速修正與調整模型。

  • 資料加密與存取保護:Security Copilot 處理的客戶資料在傳輸中及靜止時均加密,詳見 Microsoft 產品與服務資料保護附錄。 預設情況下,沒有人類使用者能存取資料庫,網路存取僅限於部署Security Copilot應用程式的私人網路;若事件回應) (需要人員存取,則必須經授權Microsoft員工核准提升權限及網路存取權限。 請參閱合規。

  • 階段部署方式:Security Copilot 透過邀請制搶先體驗計畫釋出功能,讓 Microsoft 能在更廣泛開放前收集回饋並優化功能。

隨著學習深入,我們對風險繪製、衡量與管理的方法將持續演進,並已根據客戶反饋進行改進。

部署與採用 Microsoft Security Copilot 的最佳實務

負責任的 AI 是 Microsoft 與其客戶之間的共同承諾。 雖然 Microsoft 以安全、公平與透明為核心打造 AI 系統,但客戶在負責任地部署與使用這些技術時,扮演著關鍵角色。

Security Copilot 代理的設計目的是增強人類專業知識,而非取代。 客戶仍負責審查產出、驗證決策,並確保遵守適用法律、法規及組織政策。

部署者與終端使用者應:

  • 在使用 Security Copilot 處理重大決策或敏感領域時,請謹慎並評估結果:重大決策是指可能對個人就業、法律服務、醫療的取得產生法律或重大影響,或可能導致身體、心理或經濟損害的決策。 金融服務、醫療保健及法律等敏感領域因可能對不同族群產生不成比例的影響而需特別關注。 在這些領域使用 AI 做決策時,客戶應確保受影響的利害關係人能理解決策過程、申訴決策並更新相關輸入資料。

  • 評估法律與法規考量:客戶需評估使用任何 AI 服務與解決方案時可能面臨的特定法律與監管義務,這些服務可能不適用於所有產業或情境。 此外,AI 服務或解決方案並非設計用於適用服務條款及相關行為準則所禁止的用途。

  • 啟用並維護相關外掛:Security Copilot 回應的品質與準確性,很大程度上取決於所啟用的外掛。 管理員應確保適當的 Microsoft 及第三方外掛被設定與維護,讓使用者能收到貼近情境且具背景性的回應。

終端使用者應:

  • 撰寫有效的提示:撰寫清晰且具體的提示是使用 Security Copilot 取得更好成果的關鍵。 請包含相關背景,如事件編號、資產名稱或時間範圍。 必要時反覆生成提示,並持續審查並驗證 AI 生成的回應。 欲了解更多資訊,請參閱 Security Copilot 的提示提示

  • 適當時行使人類監督:人類監督是與 AI 系統互動的重要保障。 雖然我們持續改進 Security Copilot,AI 系統仍可能犯錯。 產生的輸出可能不準確、不完整、有偏見,或因輸入不明確或底層模型的限制而與您的預期目標不完全一致。 使用者應先檢視 Security Copilot 產生的回應,確認其符合期望與需求,然後再採取行動。

  • 注意過度依賴的風險:過度依賴 AI 發生在使用者接受錯誤或不完整的 AI 輸出時,主要是因為 AI 輸出中的錯誤可能難以被察覺。 對資安專業人員而言,過度依賴可能導致錯過威脅、錯誤事件結論,或基於錯誤建議而改變政策。 Security Copilot 包含 AI 揭露並引用來源資料以協助降低此風險,但使用者仍應確認回應的準確性。 使用者可以查看代理節點地圖,該映射提供代理工作流程中執行的步驟高階視圖。

  • 在敏感領域部署或設計代理 AI 時,請謹慎:使用者在配置及部署代理 AI 系統時,必須實施適當的人工監督,尤其是在代理行動不可逆或影響深遠的領域。 在創建自主代理 AI 時,應採取額外預防措施,這條規則由 Microsoft Enterprise AI 服務行為準則所描述。

部署者應:

  • 謹慎配置 RBAC 與代理權限:管理員負責為使用者與代理者配置基於角色的存取控制。 權限應該遵循最小權限原則。 代理人員應僅被授權存取其指定任務所需的資料與行動。

  • 監控使用情況並檢視活動:管理員 (擁有者) 可利用Security Copilot使用監控儀表板檢視會話層級資料,如使用量隨時間、會話發起者及會話中使用的外掛。 這種可視性幫助組織了解 Security Copilot 在提示詞、提示簿與代理程式中的應用。 欲了解更多資訊,請參閱「管理使用」。

  • 管理資料共享設定:業主可隨時設定客戶資料共享偏好,並必須依照組織的隱私與合規要求檢視並更新這些設定。 欲了解更多資訊,請參閱 Microsoft Security Copilot 中的隱私與資料安全

  • 教育使用者了解能力與限制:有效且負責任地使用 Security Copilot 需要使用者了解系統能做什麼、不能做什麼。 部署者應提供培訓與指導,協助使用者有效與 Security Copilot 互動,包括在採取行動前驗證 AI 產生輸出的重要性。

了解更多關於 Security Copilot 的資訊

如需更多關於負責任使用 Microsoft Security Copilot 的指引,請參閱以下文件:

了解更多關於負責任 AI 的資訊