濫用監視
Azure OpenAI 服務會偵測並減少反覆出現內容和/或行為的情況,這些內容和/或行為表明服務的使用方式可能違反管理辦法或其他適用的產品條款。 如需如何處理資料的詳細資料,請參閱資料、隱私權和安全性頁面。 使用此形式申請修改的濫用監視: Azure OpenAI 有限存取權檢閱:已修改的濫用監視。
濫用監視的元件
濫用監視有數個元件:
內容分類:分類器模型會偵測在使用者提示 (輸入) 和完成 (輸出) 中不當的語言和/或影像。 如內容篩選頁面上的詳細資料所述,系統會尋找內容需求中所定義的傷害類別,並指派嚴重性層級。
濫用模式擷取:Azure OpenAI 服務的濫用監視會查看客戶使用模式,並採用演算法和啟發學習法來偵測潛在濫用的指標。 例如,偵測到的模式會考慮客戶提示和完成中偵測到不當內容的頻率和嚴重性。
人為檢閱和決策:當如上所述,透過內容分類和濫用模式擷取標記提示和/或完成時,獲得授權的 Microsoft 員工可能會評估標記的內容,並根據預先定義的指導方針和原則,來確認或更正分類或判斷。 只有獲得授權的 Microsoft 員工,在小組管理員授與的 Just-In-Time (JIT) 要求核准下,才能夠透過安全存取工作站 (SAW) 存取資料,以供人工檢閱。 若是部署在歐洲經濟區的 Azure OpenAI 服務資源,獲得授權的 Microsoft 員工位於歐洲經濟區域。
通知和動作:當根據上述三個步驟確認濫用行為的閾值時,客戶就會透過電子郵件收到其判斷的通知。 除了嚴重或週期性濫用的情況之外,客戶通常都有解釋或補救的機會,並導入機制,防止濫用行為再發。 無法處理行為 (週期性或嚴重濫用),可能會導致客戶對 Azure OpenAI 資源和/或功能的存取權遭到暫停或終止。
下一步
- 深入了解驅動 Azure OpenAI 的基礎模型。
- 深入了解以了解並降低與應用程式相關聯的風險:Azure OpenAI 模型的負責任 AI 做法概觀。
- 深入了解如何處理與內容篩選和濫用監視有關的資料:Azure OpenAI 服務的資料、隱私權和安全性。