在 Azure OpenAI Studio 中使用風險和 保管庫 監視 （預覽）

當您搭配內容篩選使用 Azure OpenAI 模型部署時，您可能會想要檢查篩選活動的結果。 您可以使用該資訊來進一步調整篩選設定，以符合特定業務需求和負責任 AI 原則。

Azure OpenAI Studio 會針對每個使用內容篩選設定的部署，提供風險與 保管庫 監視儀錶板。

存取風險和 保管庫 監視

若要存取風險與 保管庫 監視，您需要其中一個支援的 Azure 區域中的 Azure OpenAI 資源：美國東部、瑞士北部、法國中部、瑞典中部、加拿大東部。 您也需要使用內容篩選組態的模型部署。

移至 Azure OpenAI Studio ，並使用與 Azure OpenAI 資源相關聯的認證登入。 選取左側的 [ 部署] 索引 標籤，然後從清單中選取您的模型部署。 在部署的頁面上，選取頂端的 [風險與 保管庫 ty] 索引卷標。

內容偵測

[ 內容偵測 ] 窗格會顯示內容篩選活動的相關信息。 內容篩選設定會如內容篩選檔中所述套用。

報表描述

內容篩選資料會以下欄位方式顯示：

• 封鎖的要求計數和封鎖率總計：此檢視會顯示經過一段時間篩選之內容數量和速率的全局檢視。 這可協助您了解使用者有害要求的趨勢，並查看任何非預期的活動。
• 依類別封鎖的要求：此檢視會顯示針對每個類別封鎖的內容量。 這是所選時間範圍內有害要求的全方位統計數據。 它目前支援仇恨、性、自我傷害和暴力等傷害類別。
• 依類別分組的區塊速率：此檢視會顯示一段時間后每個類別的封鎖率。 它目前支援仇恨、性、自我傷害和暴力等傷害類別。
• 依類別的嚴重性分佈：此檢視會顯示在整個選取的時間範圍內，針對每個傷害類別偵測到的嚴重性層級。 這不限於 封鎖 的內容，而是包含內容篩選所標幟的所有內容。
• 依類別排序的嚴重性速率分佈：此檢視會顯示每個傷害類別的偵測到嚴重性層級的速率。 選取索引標籤，以在支援的類別之間切換。

建議動作

調整內容篩選設定，以進一步符合業務需求和負責任 AI 原則。

潛在的濫用用戶偵測

[ 潛在濫用使用者偵測 ] 窗格會利用用戶層級的濫用報告來顯示其行為導致封鎖內容之使用者的相關信息。 目標是協助您檢視有害內容的來源，以便採取響應式動作，以確保模型會以負責任的方式使用。

若要使用潛在的濫用用戶偵測，您需要：

• 套用至部署的內容篩選組態。
• 您必須在聊天完成要求中傳送使用者標識碼資訊（例如，請參閱完成 API 的用戶參數）。

  警告

  使用 GUID 字串來識別個別使用者。 請勿在 [使用者] 欄位中包含敏感性個人資訊。

• 設定為儲存使用者分析結果的 Azure 數據總管資料庫（指示如下）。

設定 Azure 數據總管資料庫

為了保護使用者信息的數據隱私權及管理數據的許可權，我們支援客戶自備記憶體的選項，以取得以符合規範且完全控制的方式儲存的詳細可能濫用用戶偵測深入解析（包括使用者 GUID 和依類別儲存有害要求的統計數據）。 請遵循下列步驟加以啟用：

1. 在 Azure OpenAI Studio 中，流覽至您想要設定使用者濫用分析的模型部署，然後選取 [ 新增數據存放區]。
2. 填寫必要資訊，然後選取 [ 儲存]。 建議您建立新的資料庫來儲存分析結果。
3. 連接資料存放區之後，請採取下列步驟來授與許可權，將分析結果寫入連線的資料庫：
   1. 移至 Azure 入口網站 中的 Azure OpenAI 資源頁面，然後選擇 [身分識別] 索引標籤。
   2. 針對系統指派的身分識別，將狀態開啟，並複製產生的標識碼。
   3. 移至 Azure 入口網站 中的 Azure 數據總管資源，選擇資料庫，然後選擇您建立的特定資料庫來儲存使用者分析結果。
   4. 選取許可權，並將系統管理員角色新增至資料庫。
   5. 貼上先前步驟中產生的 Azure OpenAI 身分識別，然後選取所搜尋的身分識別。 現在，您的 Azure OpenAI 資源的身分識別已獲授權，可讀取/寫入記憶體帳戶。
4. 將已連線 Azure 數據總管資料庫的存取權授與需要檢視分析結果的使用者：
   1. 移至您已連線的 Azure 資料總管資源，選擇 訪問控制 ，並為需要存取結果的使用者新增 Azure 數據總管叢集的讀者 角色。
   2. 選擇 資料庫 ，然後選擇連線到儲存用戶層級濫用分析結果的特定資料庫。 選擇 許可權 ，併為需要存取結果的使用者新增 資料庫的讀取者 角色。

報表描述

潛在的濫用使用者偵測依賴客戶透過其 Azure OpenAI API 呼叫傳送的用戶資訊，以及要求內容。 顯示下列深入解析：

• 可能濫用的用戶計數總計：此檢視會顯示一段時間後偵測到的潛在濫用用戶數目。 這些是偵測到濫用模式的使用者，以及可能帶來高風險的使用者。
• 潛在的虐待使用者清單：此檢視是偵測到潛在虐待使用者的詳細清單。 它會為每個使用者提供下列資訊：
  • UserGUID：這是由客戶透過 Azure OpenAI API 中的 [使用者] 欄位傳送。
  • 濫用分數：這是模型分析每個使用者的要求和行為所產生的數位。 分數正規化為 0-1。 較高的分數表示濫用風險較高。
  • 濫用分數趨勢：所選時間範圍內濫用分數的變化。
  • 評估日期：分析結果的日期。
  • 完全濫用要求比例/計數
  • 依類別的濫用比例/計數

建議動作

將此數據與擴充的訊號結合，以驗證偵測到的使用者是否確實濫用。 如果是，請採取回應式動作，例如節流或暫停使用者，以確保負責任地使用您的應用程式。

下一步

接下來，在 Azure OpenAI Studio 中建立或編輯內容篩選組態。

• 使用 Azure OpenAI 服務設定內容篩選