什麼是應用程式卡或平台卡？
Microsoft 的應用程式和平台卡片旨在協助您瞭解我們的 AI 技術的運作方式、應用程式擁有者可以做出的影響應用程式效能和行為的選擇，以及考慮整個應用程式的重要性，包括技術、人員和環境。 為 AI 應用程式建立應用程式卡，為 AI 平台服務建立平台卡片。 這些資源可以支援您自己的應用程式的開發或部署，並且可以與受其影響的使用者或利害關係人共用。
作為對負責任 AI 的承諾的一部分，Microsoft 遵守 六個核心原則：公平、可靠性和安全性、隱私權和安全性、包容性、透明度和問責制。 這些原則已內嵌在負責任的 AI Standard 中，可引導團隊設計、建置及測試 AI 應用程式。 應用程式和平台卡透過提供有關功能、預期用途和限制的透明度，在實施這些原則方面發揮關鍵作用。 為了進一步了解，鼓勵讀者探索 Microsoft 的 負責任 AI 透明度報告 和 Microsoft 企業 AI 服務行為準則，其中概述了如何負責任地與 AI 互動。
概觀
Microsoft Security Copilot 是一種生成式 AI 支援的安全性解決方案，可協助提高防禦者的效率和能力，以改善電腦速度和規模的安全性結果。 Security Copilot 提供自然語言的輔助 Copilot 體驗，可協助安全性專業人員和 IT 系統管理員處理各種端對端案例，包括事件回應、威脅搜捕、情報收集和狀態管理。
Security Copilot 在設計時考慮到整合，並在 提供https://securitycopilot.microsoft.com沉浸式獨立體驗。 該平台與 Microsoft 安全性產品組合中的產品無縫整合，例如 Microsoft Defender 全面偵測回應、Microsoft Sentinel、Microsoft Intune、Microsoft Entra 和 Microsoft Purview 及支援的第三方服務。
Security Copilot 代理程式會產生輸出，並可以根據客戶定義的設定邏輯、權限和觸發程序執行動作。 客戶可以使用自主 Security Copilot 代理程式來自動化安全工作流程、加快回應時間、確定風險優先順序並減少手動工作負載，同時保留完全控制。 代理自主權是指代理在定義的邊界內獨立採取行動的能力。
系統管理員 (Security Copilot 擁有者) 透過 Security Copilot 入口網站和安全性存放區探索和部署代理程式，某些代理程式也會出現在內嵌的 Microsoft 安全性產品體驗中。 管理員設定代理的身分識別，並為代理設定角色型存取控制 (RBAC) 。
目標使用者包括 SOC 分析師、IT 管理員、資料安全性和身分識別管理員、合規性分析師，以及安全性領導者，例如資訊安全長 (CISO) 。
Security Copilot 擁有 ISO 42001 認證，確認獨立協力廠商已檢閱 Microsoft 適用必要的架構和功能，以有效管理與 Microsoft AI 系統持續開發、部署和作業相關聯的風險和機會。
如需詳細資訊，請參閱什麼是 Microsoft Security Copilot？、Microsoft Security Copilot 體驗和 Security Copilot 的應用程式卡片。
重要術語
下表提供與 Microsoft Security Copilot 代理程式相關的關鍵詞彙彙表。
| 術語 | 定義 |
|---|---|
| 代理程式 | Security Copilot 代理程式透過整合式資料來源和外掛程式處理來自客戶環境的訊號、分析資料，並產生建議。 當出現提示時，代理也可以在設定的權限內執行限定範圍的動作，這需要適當的使用者或管理員核准。 代理的範圍從簡單的提示和響應體驗到在人工監督下更自動化、半自主的工作流程。 |
| 代理程式動作 | 代理程式根據權限執行的作業，例如擷取資料、產生輸出或修改設定。 |
| 代理程式資訊清單 | 定義代理程式功能、工具和行為的組態檔案。 它控制代理程式在 Security Copilot 中的運作方式，並以 YAML 檔案格式呈現。 |
| 內嵌體驗 | 從另一個 Microsoft 安全性產品存取 Security Copilot 功能，例如 Microsoft Defender 全面偵測回應或 Microsoft Sentinel。 Security Copilot 側車面板會直接在該產品的內容中顯示 AI 協助。 |
| 基礎設置 | 向與使用者提示相關的大型語言模型提供內容相關輸入來源的過程。 藉由讓 Security Copilot 透過外掛程式和 Microsoft 安全性產品存取組織資料，Security Copilot 可以提供更準確且與內容相關的回應。 |
| 大型語言模型 (LLM) | AI 模型經過大量文字資料訓練，可依序預測單字。 LLM 能夠執行各種任務，例如文本生成、摘要、翻譯、分類等。 |
| 合作夥伴建置的代理程式 | 由 Microsoft 合作夥伴發佈並透過安全性存放區提供以解決特定安全性使用案例的代理程式。 |
| 外掛程式 | 一組相關工具，可透過 API 讓 Security Copilot 存取來自 Microsoft 和非 Microsoft 服務及公用網站的資源，藉以擴充其功能。 外掛程式可為 Security Copilot 產生的回應和輸出新增更多內容。 |
| 後續處理 | Security Copilot 執行的動作集，以精簡和準備 LLM 回應，再將其傳回給使用者。 此後續處理包括透過外掛程式進行的其他基礎呼叫、負責任的 AI 檢查、安全性、合規性和隱私權檢查。 |
| 提示 | 使用者傳送至 Security Copilot 以執行特定工作或取得資訊的自然語言文字。 例如， 摘要此事件並建議補救步驟。 |
| 提示簿 | 以先前的回應為基礎依序執行的一系列提示，以完成特定的安全性相關工作。 提示書可以從文件庫使用，也可以由使用者建立和共用。 |
| 紅隊測試 | 專家用來評估系統的局限性和漏洞以及測試計劃緩解措施有效性的技術。 紅隊測試用於識別潛在風險，與系統化的風險衡量不同。 |
| 負責任的 AI | Microsoft 的原則、研究和工程做法以 AI 原則為基礎，並透過 負責任的 AI 標準付諸實踐。 如需詳細資訊，請參閱 Fluent RAI 指引。 |
| SCU) (安全性運算單元 | SCU 是用來執行 Security Copilot 工作負載的計算容量單位，並在其體驗中提供一致的效能。 Security Copilot 容量以 SCU 為單位進行測量，可以透過佈建或超額容量模型來取用。 如需詳細資訊，請參閱 瞭解 SCU。 |
| SOC) (安全性營運中心 | 專門的安全團隊或設施專注於持續監控、分析和回應組織內的網路安全事件。 SOC 分析師是 Security Copilot 的主要目標使用者。 |
| 獨立體驗 | 可直接在 存取https://securitycopilot.microsoft.com沉浸式 Security Copilot 入口網站體驗。 |
| 租用戶 | Microsoft Entra ID 中的組織邊界，用於隔離 Security Copilot 的身分識別、存取權和資料。 租用戶通過租用戶層級權限和安全控制管理所有工作區、使用者和互動。 |
| 觸發程序 | 告知代理程式開始執行其工作流程的事件或條件。 觸發程序可以是以時間為基礎 (例如，威脅情報簡報代理程式的每週排程) 或由使用者或管理員) 按需手動執行的 (。 觸發程序是在代理程式設定期間設定。 |
主要特性和功能
下表中的主要特性和功能說明 Microsoft Security Copilot 的設計目的，以及它在支援的工作中的執行方式。
| 功能或功能 | 描述 |
|---|---|
| 事件調查與回應 | Security Copilot 可透過產生複雜安全性警示的摘要、跨 Microsoft Defender 全面偵測回應、Microsoft Sentinel 和其他整合式產品相互關聯的訊號，並提供逐步補救指導方針，協助安全性專業人員進行Microsoft Defender 全面偵測回應來分級和調查事件。 |
| 威脅情報 | Security Copilot 可以搜尋 Microsoft Defender 威脅情報文章和設定檔、威脅分析報告，以及弱點揭露出版物，以呈現與提示一致的相關情報。 |
| 安全性警示分級 | Security Copilot 包含安全性警示分類代理程式，可協助安全性小組識別真實攻擊和誤判，以大規模分類警示，讓分析師能夠專注於調查具有透明、逐步推理的真實威脅，以支援每個決策。 |
| 指令碼分析和 KQL 查詢產生 | Security Copilot 可以分析可疑的指令碼或惡意程式碼，並將自然語言轉譯為 KQL 查詢，讓所有技能層級的小組成員都能執行進階搜捕和技術分析工作。 |
| 安全性狀態管理 | Security Copilot 可協助使用者瞭解其環境中的優先風險，並透過與 Microsoft Defender 全面偵測回應、Microsoft Microsoft Entra 和 Microsoft Intune 整合來找出改善態勢的機會。 |
| 安全性原則建立和管理 | 使用者可以定義新原則，將它們與現有衝突原則交叉參照，並以淺顯語言摘要原則，以管理複雜的組織內容。 |
| 專案關係人報告 | Security Copilot 可以產生報告，摘要說明針對目標受眾 （例如高階主管或安全性小組） 量身打造的內容、未解決問題和保護措施。 |
| Promptbooks | 提示書是為了完成特定安全性工作而執行的提示序列。 使用者可以從共用庫執行提示書，或建立和共用自己的書庫。 |
| Agents | Security Copilot 支援代理程式，在系統管理員授與的權限內，自動化並協助安全性和 IT 作業工作。 代理透過設定的身分識別、存取控制和觸發器採取動作，並在安全工作流程中進行人工監督。 Microsoft 建置的代理程式涵蓋安全性產品組合，涵蓋 SOC 作業、威脅搜捕、威脅情報、身分識別管理、端點管理和資料安全性。 管理員在設定期間設定每個代理程式的身分識別、權限和觸發程序。 使用者可以檢閱代理程式的觸發器、資料存取、身分識別和動作權限 (例如讀取或寫入) ，以瞭解代理程式如何在其定義的範圍內運作。 如需特定代理程式及其使用案例的詳細資訊，請參閱 預期用途。 |
| 多語言支援 | Security Copilot 支援多種語言的提示和回應。 如需詳細資訊，請參閱 支援的語言。 |
Security Copilot 是 AI 支援的安全性解決方案，可作為輔助和自主代理系統運作。 若要瞭解代理程式自主性，請考慮：
- 啟用觸發程序 – 哪些條件或使用者動作會導致代理程式執行
- 存取權限 — 代理可以使用的資料、系統或資源
- 動作權限 – 代理程式有權自行採取哪些動作
下列各節說明核心客服專員功能，這些核心客服專員功能是客服專員如何推理、規劃、記憶、調整和擴展其聯繫範圍。
推理
Security Copilot 代理程式使用基礎大型語言模型來分析可用的內容、評估訊號，並決定最適當的動作方案。 例如，網路釣魚分類代理程式會評估電子郵件內容、寄件者信譽和行為訊號，以產生具有自然語言依據的分類判斷。 代理程式會透明地呈現其推理，以便分析師可以在對結論採取行動之前檢閱、驗證或覆寫結論。
規劃
代理根據定義的觸發器進行操作，這些觸發器指示代理系統啟動結構化的行動序列以實現目標。 代理程式可以設定為：
- 按排程自動執行 (例如，威脅情報簡報代理程式每七天執行一次) 。
- 視需要手動執行。
這種設計為代理提供了一個目標導向的執行模型，系統可以在其中分析何時以及如何採取行動以完成其任務。
記憶體
Security Copilot 代理程式可以隨著時間保留資訊，稱為記憶體。 記憶體允許代理程式將過去的輸入整合到未來的行為中，具體取決於代理程式的設計和配置方式。
記憶可以包含使用者提供的意見反應。 客服專員可以使用此回饋來調整其後續互動中的回應或操作。
適應性
Security Copilot 代理程式的設計旨在根據使用者意見反應和作業內容進行調整，同時繼續在其設定的身分識別、權限和觸發程序所定義的範圍內運作。
- 意見反應迴圈： Security Copilot 擁有者和參與者可以提供有關代理程式回應的意見反應。 此回饋儲存在代理程式的記憶體中，並可能影響未來的輸出，具體取決於代理程式的設計和組態。
- 內容基礎：在提示處理期間，Security Copilot 會使用基礎來擴充提示。 此程式會納入相關的組織資料、啟用的外掛程式和威脅情報，使回應反映目前的情境。
- 可設定的身分識別和權限：安裝後可以更新代理程式，以修改身分、觸發程序和參數。 這使代理能夠與不斷變化的工作流程和需求保持一致。
擴充性
- 插件：代理使用插件通過 API 訪問外部服務，包括信譽查找、威脅情報和端點數據。 支援 Microsoft 建置和合作夥伴建置的外掛程式。 如需詳細資訊，請參閱 外掛程式概觀。
- 連接器：邏輯應用程式和 Copilot Studio 連接器包裝了 Security Copilot API，使開發人員和使用者能夠從外部自動化工作流程呼叫平台。 如需詳細資訊，請參閱 連接器概觀。
- 自訂代理程式：開發人員可以建立針對特定使用案例量身打造的自訂代理程式，並透過開發人員平台將其新增至 Security Copilot 生態系統。 如需詳細資訊，請參閱 開發自訂代理程式。
- 安全性存放區：您可以從內建的代理程式庫和安全性存放區探索並部署預先建立的 Microsoft 和合作夥伴代理程式。
- 內嵌體驗：代理程式不僅在 Security Copilot 獨立入口網站中運作，而且還內嵌在更廣泛的 Microsoft 安全性生態系統中，包括 Microsoft Defender 全面偵測回應、Microsoft Sentinel、Microsoft Intune、Microsoft Entra 和 Microsoft Purview。
預期用途
Microsoft Security Copilot 代理程式專為安全性專業人員和 IT 系統管理員設計，可支援安全性工作流程，例如情報收集和相互關聯。 代理可以在管理員定義的權限內操作，並幫助簡化可能需要大量手動工作的任務，同時保持人員控制。 預期代理使用案例的一些範例包括：
威脅情報簡報：威脅情報簡報代理通過關聯Microsoft Defender 威脅情報數據、Defender 外部受攻擊面管理 (EASM) 信號和實時客戶上下文來生成及時、詳細的威脅情報報告。 安全分析師可以使用此代理程式，以幾分鐘內產生的報告取代數小時或數天的手動情報收集和關聯。
安全資料分析 (Microsoft Defender 全面偵測回應) ：安全分析師代理程式可協助安全分析師快速識別、評估大量安全資料的風險並確定其優先順序。 代理程式會執行基本分析工作 （例如模式分析、趨勢分析和視覺化），以及進階工作 （例如異常偵測、叢集、風險評分和預測建模）。 它整合來自 Microsoft Defender 全面偵測回應、Microsoft Sentinel Log Analytics、Microsoft Sentinel 資料湖 和上傳的 CSV 檔案的資料，在互動式、無程式碼的聊天體驗中產生具有完整證據追蹤的優先深入解析。
安全性作業和事件回應 (Microsoft Defender 全面偵測回應) ：
- 網路釣魚分類代理程式會在使用者回報的網路釣魚電子郵件提交時進行評估，以透明的推理將判決結果分類，並納入分析師隨時間的意見反應。
- 動態威脅偵測代理程式會持續在背景執行，透過將警示、事件、異常和威脅情報相互關聯，來發現 Defender 和 Microsoft Sentinel 環境中的隱藏威脅和差距。
威脅搜捕 (Microsoft Defender 全面偵測回應) ： 威脅搜捕小幫手可使用自然語言進行端對端威脅搜捕。 它會產生 KQL 查詢、解釋結果、呈現深入解析，並引導分析師完成完整的搜捕工作階段，以更快且更有信心地尋找威脅。
身分識別與存取管理 (Microsoft Entra) ：
- 條件式存取最佳化代理程式會分析條件式存取原則，並根據 Microsoft 最佳做法和零信任原則提出改進建議。
- 身分識別風險管理代理程式可協助身分識別管理員調查潛在風險並採取行動來保護關鍵資產。
端點管理 (Microsoft Intune) ：
- 弱點補救代理程式會使用 Defender 資料來監視弱點，並透過 AI 導向的風險評定優先補救。
- 原則設定代理程式可讓系統管理員匯入文件或撰寫一般語言指示，以在 Intune 設定目錄中尋找相符的設定並建立原則。
- 變更檢閱代理程式會評估 Intune 中核准要求的影響，並為系統管理員可採取的動作提出建議。
資料安全性調查 (Microsoft Purview) ：
- 內部風險管理中的分類代理程式會根據使用者、檔案和活動風險來評估警示，並自動將它們排序為優先類別，以協助安全性小組專注於最高風險案例。
- 資料外洩防護中的 Purview 分類代理程式會根據敏感度風險、外流風險和原則風險來評估 DLP 警示，協助資料安全性系統管理員針對最重大的事件採取行動。
自訂代理工作流程：開發人員可以使用自然語言處理、上傳代理資訊清單，或使用針對其組織的特定安全性使用案例量身打造的 MCP 工具來建置和部署自訂代理程式，透過外掛程式和連接器將代理程式功能延伸至 Microsoft 和非 Microsoft 服務。 如需詳細資訊，請參閱 自訂代理程式。
當客服專員和使用者需要協作以獲得引導式體驗來解決問題時，您也可以建立互動式聊天代理程式。 如需詳細資訊，請參閱 互動式代理程式。
模型和訓練資料
Microsoft Security Copilot 使用Azure OpenAI 大型語言模型 (LLM) 來自 Azure 出售的鑄造模型來提供自然語言體驗。 這些模型不會針對 Security Copilot 客戶資料進行訓練。 模型功能在推理、速度、限制和支援的案例方面各不相同。
Security Copilot 也透過外掛程式和基礎整合安全特定知識和內容，在推斷時為 LLM 提供相關的組織資料、威脅情報和權威內容，而不是透過模型訓練。
效能
Security Copilot 是專為在企業安全性環境中運作而設計，在這種環境中，會跨 Microsoft 安全性產品和組織設定的其他資料來源產生大量即時安全性訊號。 它整合了來自這些來源的訊號，將結構化日誌資料的即時處理與調查推理相結合。 這旨在幫助檢測、分析和跟蹤跨多個數據源的安全事件的來源和影響。
Security Copilot 會在 Microsoft 的超大規模基礎結構和特定安全性協調流程層上執行，其旨在支援跨重複的威脅偵測和調查案例的可調整且有彈性的效能。
代理程式會透過系統管理員設定的權限，執行定義的安全性工作，藉以擴充 Security Copilot 對安全性訊號採取行動的能力。 代理根據可用訊號進行推理，規劃和執行結構化行動，並產生基於即時組織和威脅情報資料的分類決策、情報報告和補救指導等輸出。 代理執行透過逐步節點映射是透明的，允許分析師審查產生的 (步驟，而不是對每個節點) 採取的特定動作進行深入摘要，並驗證跨運行的結果。
效能可靠性可透過預先設定的 Microsoft 建置代理程式和自訂代理程式進一步提供支援，這些代理程式會針對代表性工作流程和自訂代理程式進行測試，其中資訊清單 YAML 檔案可透過指定功能、工具、觸發程序和作業界限，協助提升更一致的行為。 當清單指令被明確定義時，代理人可能能夠更好地解釋其任務、選擇適當的行動並在其預期範圍內運作。 如需詳細資訊，請參閱 自訂代理程式。
對於互動式代理程式，效能主要透過代理程式與使用者之間的反覆交換來塑造。 客服專員會產生初始回應，使用者根據客服專員顯示的內容，透過後續提示來完善上下文。 這種來回交互允許用戶逐步引導代理獲得比單次自主運行產生的更準確和有針對性的結果。 如需詳細資訊，請參閱 互動式代理程式。
限制
瞭解 Security Copilot 的限制對於確保其在安全且有效的界限內使用非常重要。 雖然鼓勵客戶在其安全性工作流程中使用 Security Copilot，但請務必注意，Security Copilot 並非針對所有可能的情況所設計。 選擇使用案例時，請參閱 Microsoft 企業 AI 服務管理辦法 以及下列考量：
- 公開預覽狀態：某些代理程式處於公開預覽，在一般可用性之前可能會進行大幅修改。 Microsoft 不以明確或隱含的方式擔保這些功能。 與任何 AI 輸出一樣，客戶必須先檢閱代理的決策，然後才能根據其輸出採取行動。
- 準確性和完整性：就像任何 AI 支援的技術一樣，Security Copilot 無法做好所有工作。 回應可能不準確、不完整或過時，特別是在未啟用相關外掛程式或無法透過使用者輸入或組織內容取得最新資料時。 使用者應始終運用人類判斷並驗證關鍵輸出，而不是僅僅依賴人工智慧產生的回應。
- 網域特定範圍：Security Copilot 的設計目的是要回應與安全性網域相關的提示，例如事件調查和威脅情報。 安全範圍之外的提示可能會導致回應缺乏準確性和全面性。
- 指令碼和程式碼產生：Security Copilot 可能會產生程式碼或在回應中包含程式碼。 回應可能看起來有效，但在語義或語法上可能不正確，或者可能無法準確反映請求者的意圖。 在沒有適當驗證、測試和檢閱程序的情況下，不應將產生的程式碼部署到生產環境中。 使用者還必須驗證產生的程式碼使用的任何參數是否與原始請求一致。 例如，如果代理程式在特定時間範圍內對警示進行操作，請確認產生的程式碼中的時間範圍與自然語言提示中指定的時間範圍相符。
- 提示長度限制：系統可能無法處理長提示，例如包含數十萬個字元的提示。 基礎 LLM 有權杖限制，過於冗長的查詢或延伸工作階段可能會溢出權杖空間。 發生這種情況時，Security Copilot 會嘗試套用風險降低措施，以確保輸出一律可用，即使內容不是最佳狀態也一樣;不過，這些風險降低措施不一定有效，您可能需要嘗試不同的提示或外掛程式。
- 使用限制和延遲： 平台的使用可能受到使用限制或容量節流的限制。 產生回應，包括透過外掛程式進行 API 呼叫以及在顯示回應之前檢查回應，可能需要時間並且需要高 GPU 容量。 組織應監控其 SCU 消耗並根據需要調整配置的容量，以避免意外的服務中斷。
- 偏見、刻板印象和毫無根據的內容：儘管對使用者提示和 LLM 輸出實施了負責任的人工智慧控制，但人工智慧服務是容易出錯且有機率的。 這使得全面阻止所有不當內容變得具有挑戰性，這可能會導致人工智慧產生的輸出中潛在的偏見、刻板印象或毫無根據的內容。
- 政府與 Microsoft 主權公用/私人雲端： 這些環境目前不支援 Security Copilot。
- 工作特定的代理程式界限：代理程式只適用於其設計要執行的特定工作。 如需詳細資訊，請參閱 預期使用案例 一節。 它們不適合任何其他任務，也不應在定義的範圍之外重新利用。
- 節點對應詳細資料：代理節點對應提供代理工作流程期間所執行步驟的高階檢視。 每個節點代表流程中的一個步驟，並顯示所用技能的標題，以及基本中繼資料，例如完成狀態、持續時間和時間戳記。 節點地圖旨在顯示操作順序，但它不提供有關每個步驟中做出的特定操作或決策的詳細資訊。 由於節點映射僅提供摘要信息，因此可能無法完全捕獲每個操作的上下文或複雜性。
- 客服專員意見反應和記憶體透明度：當使用者將意見反應提交給客服人員以儲存在記憶體中時，客服人員不會提供其對意見反應的解釋摘要。 為了提高未來輸出的準確性，使用者應提供清晰、簡潔和具體的回饋。 提交給代理的回饋可能會被儲存並用於影響未來的輸出。 但是，對此儲存意見反應的可見性可能會因客服專員體驗和使用者角色而異。 如需詳細資訊，請參閱 提供意見反應。
評估
效能和安全性評估透過檢查基礎性、相關性和一致性等因素，同時識別產生有害內容的風險，來評估 AI 應用程式是否可靠且安全地運作。 以下評估是在已經就位的安全組件的情況下進行的，這些組件也在 安全組件和緩解措施中進行了描述。
品質與安全的評估資料
我們的評估資料是客製化的，用於評估人工智慧應用程式在安全和品質等關鍵領域的效能，模擬真實場景和風險。 我們首先根據多學科研究和專家意見確定相關評估方面。 這些擔憂轉化為有針對性的評估目標並指導評估指標的製定。
為了安全起見，我們會建立對抗性提示，以引出不想要或極端情況的回應，然後使用 AI 輔助的註釋者進行評分，該註釋者經過訓練，可以評估是否符合 Microsoft 的安全標準。 對於品質，我們會製作與案例相關的評分指標提示，包括評估檢索增強生成 (RAG) 應用程式和代理程式。
資料集是從不同來源策劃的，包括合成和公共資料集，以模擬真實世界的使用者場景。 使用精選的數據集，兩種評估都會進行迭代細化和人工調整，以提高指標的有效性和可靠性。 此方法構成了可重複、嚴格評估的基礎，這些評估反映了客戶如何使用評估來構建更好、更安全的 AI。
自訂評估
進行自訂評估，以使用迴歸測試、精選提示資料集和與生產對齊的範例來驗證模型在基礎、對抗穩健性和有害內容場景中的效能。 評估比較了 GPT 模型之間的輸出，使用內部工具來評估基礎性，並使用 Azure OpenAI 內容篩選來驗證針對越獄、提示注入和智慧財產權違規的保護。 結果顯示一致或改進的性能，包括對抗性場景中的強大保護率和更高的接地精度。
有害內容處理在模型之間保持一致，並在註釋模式下運行以支援以安全為中心的用例，額外的大規模測試確認了跨類別的高保護率。 系統會進行迴歸測試，以驗證無害內容並未被歸類為有害。
Security Copilot 代理程式由其產品和研究團隊根據客戶的使用案例和設計輸入進行評估。 代理系統的安全性也通過專門的紅隊演習進行了評估。 Microsoft 也已完成對 Security Copilot 服務的滲透測試，以驗證防止未經授權存取的防護。
現在 Security Copilot 已發行，使用者意見反應對於協助 Microsoft 改善系統至關重要。 使用者可以選擇針對 Security Copilot 的代理程式回應提供意見反應。 此意見反應會直接傳送給 Microsoft，並用於透過持續的反覆改進來改善平台的效能。 如需詳細資訊，請參閱 提供意見反應。
安全元件和緩和措施
當我們透過紅隊測試等流程識別潛在風險和濫用並進行測量時，我們開發了緩解措施來減少潛在的傷害。 我們會繼續評估 Microsoft Security Copilot 體驗，以改善產品效能和緩和措施。 下列清單說明其中一些緩和措施：
- 有害內容篩選和護欄：Security Copilot 整合Microsoft開發的護欄 (內容篩選器) 和濫用偵測模型，作為 Azure OpenAI 服務基礎的一部分。 這些神經分類模型可偵測並篩選多個嚴重程度層級的有害內容，包括仇恨、性、暴力和自殘等類別。 選用的分類模型也會偵測越獄風險、已知的文字或程式碼資料，以及間接提示插入攻擊。 這些多層控制項有助於防止 AI 產生違反 Microsoft 安全標準的回應。
- 設計目的是將不可復原的動作降到最低：Microsoft 設計的代理程式案例旨在將不可逆的動作降到最低，並讓使用者掌控重要的決策。 對於自訂代理程式，非Microsoft設計的代理程式，代理程式開發人員可以修改代理程式行為，以確保將不可逆的動作降到最低。
- 安全系統設計：Microsoft 為 Security Copilot 開發了一套安全系統，旨在緩解失敗並防止濫用，包括有害內容註釋、操作監視及其他保護措施。 Azure OpenAI 服務負責任 AI 風險降低需求不會直接套用至 Security Copilot 客戶，因為 Security Copilot 會代表客戶實作這些風險降低措施。
- 使用者回饋循環：客服專員傳回回應後，使用者可以提供回饋。 根據配置，使用者也可以提交額外的書面回饋，以提供有關其體驗的背景資訊。 Microsoft 會收集並使用提交的意見反應來改善產品品質、識別問題，並排定增強 Security Copilot 體驗優先順序。
- 代理程式身分識別管理和角色型存取控制 (RBAC) ： 每個 Security Copilot 代理程式都會在受控身分識別或使用者帳戶下執行，讓系統管理員能夠控管其有權存取的資料。 每個代理程式都有 RBAC 控制項，並且代理程式在處理的資料方面可能會受到進一步的限制。 透過限制每個代理的權限，系統可以降低未經授權的資料暴露風險，並確保所有自動化操作都是可審計和可追溯的。
- 資料加密與存取保護：Security Copilot 處理的客戶資料會在傳輸和待用中都進行加密，如 Microsoft 產品與服務資料保護增補合約中所述。 根據預設，沒有人類使用者可以存取資料庫，且網路存取僅限於部署 Security Copilot 應用程式的私人網路;如果需要人工存取 (事件回應) ，則必須由授權的 Microsoft 員工核准，提升存取權限和網路存取權。 請參閱 合規性。
- 分階段部署方法：Security Copilot 透過僅限邀請的搶先體驗計畫發行功能，讓 Microsoft 在更廣泛提供之前收集意見反應並精簡功能。
隨著我們了解更多資訊，我們對應、衡量和管理風險的方法不斷發展，並根據客戶收到的回饋進行改進。
部署和採用 Microsoft Security Copilot 的最佳做法
負責任的 AI 是 Microsoft 與其客戶之間的共同承諾。 雖然 Microsoft 建置的 AI 系統以安全、公平和透明度為核心，但客戶在自己的環境中負責任地部署和使用這些技術方面扮演著關鍵角色。
Security Copilot 代理程式的設計目的是要增強人類的專業知識，而不是取代。 客戶仍然負責審查輸出、驗證決策並確保遵守適用的法律、法規和組織政策。
部署者和使用者應該：
使用 Security Copilot 進行衍生決策或涉及敏感性網域時，請務必謹慎行事並評估結果： 衍生決策是那些可能對個人獲得就業、法律服務、醫療保健的機會產生法律或重大影響，或可能導致身體、心理或財務傷害的決策。 金融服務、醫療保健和法律等敏感領域需要特別小心，因為可能會對不同人群產生不成比例的影響。 在這些領域使用 AI 進行決策時，客戶應確保受影響的專案關係人能夠瞭解決策的做出方式、對決策提出申訴，以及更新任何相關的輸入資料。
評估法律與法規考量：客戶在使用任何 AI 服務和解決方案時，需要評估潛在的特定法律和法規義務，這可能不適合在每個產業或案例中使用。 此外，AI 服務或解決方案並非為適用服務條款和相關行為準則所禁止的方式所設計，且不得以禁止的方式使用。
啟用並維護相關外掛程式： Security Copilot 回應的品質和正確性顯著取決於已啟用的外掛程式。 系統管理員應確保設定並維護適當的 Microsoft 和第三方外掛程式，讓使用者收到有根據內容相關的回應。
使用者應該：
撰寫有效的提示：撰寫清楚、具體的提示是使用 Security Copilot 獲得更好結果的關鍵。 包含相關內容，例如事件識別碼、資產名稱或時間範圍。 視需要逐一查看並重新產生提示，並一律檢閱和驗證 AI 產生的回應。 如需詳細資訊，請參閱 Security Copilot 的提示。
在適當的時候進行人工監督： 人工監督是與 AI 系統互動時的重要保障。 雖然我們持續改善 Security Copilot，但 AI 系統可能會犯錯。 由於輸入的模糊性或基礎模型的限制，產生的輸出可能不準確、不完整、有偏見或與您的預期目標不完全一致。 使用者應檢閱 Security Copilot 產生的回應，並在採取行動之前確認其符合其期望和需求。
注意過度依賴的風險：當使用者接受不正確或不完整的 AI 輸出時，就會出現過度依賴 AI，主要是因為 AI 輸出中的錯誤可能難以偵測。 對於安全專業人員來說，過度依賴可能會導致錯過威脅、不正確的事件結論或基於有缺陷的建議而改變政策。 Security Copilot 包含 AI 揭露，並引用來源資料來協助降低此風險，但使用者仍應確保驗證回應的正確性。 使用者可以檢閱代理節點地圖，該地圖提供代理工作流程期間所執行步驟的高階檢視。
在敏感性網域中部署或設計代理程式 AI 時請務必謹慎： 在代理程式動作不可逆或影響重大的網域中設定和部署代理程式 AI 系統時，使用者必須實作適當的人工監督。 建立自主代理程式 AI 時，應採取額外的預防措施，如 Microsoft 企業 AI 服務管理辦法中所述。
部署者應該：
仔細配置 RBAC 和代理權限：管理員負責為使用者和代理設定基於角色的存取控制。 權限應遵循最低權限原則。 應僅授予代理對其指定任務所需的資料和操作的存取權限。
監控使用情況並檢閱活動：管理員 (擁有者) 可以使用Security Copilot使用情況監控儀表板來檢閱工作階段層級資料，例如一段時間內的使用情況、工作階段啟動器和工作階段期間使用的外掛程式。 此可視性可協助組織瞭解在提示、提示手冊和代理程式中使用 Security Copilot 的方式。 如需詳細資訊，請參閱 管理使用情況。
管理資料共用設定：擁有者可以隨時設定客戶資料共用喜好設定，而且必須根據其組織的隱私權和合規性需求來檢閱和更新這些設定。 如需詳細資訊，請參閱 Microsoft Security Copilot 中的隱私權和資料安全性。
教育使用者了解功能和限制：有效且負責任地使用 Security Copilot 需要使用者瞭解系統可以和無法執行的動作。 部署者應提供訓練和指引，協助使用者有效地與 Security Copilot 互動，包括在採取行動之前驗證 AI 產生的輸出的重要性。
深入了解 Security Copilot 代理程式
如需負責任使用 Microsoft Security Copilot 的詳細資訊，請參閱下列文件：