如何使用 Azure OpenAI 服務設定內容篩選
整合至 Azure OpenAI 服務中的內容篩選系統與核心模型一起執行，包括 DALL-E 映像產生模型。 其使用多類別分類模型集成來偵測四類有害內容 (暴力、仇恨、性和自殘)，分別為四個嚴重性層級 (安全、低、中和高)，並使用選用二分法分類器，以偵測公用存放庫中的越獄風險、現有文字和程式碼。 預設內容篩選設定設定為在提示和完成的所有四類內容危害類別的中等嚴重性閾值下進行篩選。 這表示偵測到的嚴重性層級為中或高的內容將被篩選，而偵測到嚴重性層級為低或安全的內容則不會。 在此處深入了解內容類別、嚴重性層級和內容篩選系統行為。 越獄風險偵測和受保護的文字和程式碼模型預設為選用且為關閉狀態。 針對越獄和受保護的材料文字和程式碼模型，可設定功能可讓所有客戶開啟及關閉模型。 模型預設為關閉狀態，且可依案例開啟。 某些案例中必須開啟某些模型，才能保留客戶著作權承諾的涵蓋範圍。
注意
所有客戶都能夠修改內容篩選，並設定嚴重性閾值 (低、中、高)。 需要核准才能部分或完全關閉內容篩選。 受控客戶只能透過以下表單申請完整的內容篩選控制：Azure OpenAI Limited Access Review: Modified Content Filters (英文)。 目前無法成為受控客戶。
可以在資源層級設定內容篩選。 建立了新設定後，就可以將其與一個或多個部署相關聯。 如需模型部署的詳細資訊，請參閱資源部署指南。
必要條件
- 您必須擁有 Azure OpenAI 資源和大型語言模型 (LLM) 部署，才能設定內容篩選。 請遵循快速入門以開始使用。
了解內容篩選可設定性
Azure OpenAI 服務包含套用至所有模型的預設安全設定，不包括 Azure OpenAI Whisper。 依預設，這些設定會為您提供負責任的體驗，包括 內容篩選模型、封鎖清單、提示轉換、內容認證等等。 在此處閱讀相關資訊。
所有客戶也可以設定內容篩選，並建立針對其使用案例需求量身打造的自訂安全原則。 可設定性功能允許客戶分別調整提示和完成的設定，以篩選不同嚴重性層級的每個內容類別之內容，如下表所示。 偵測到嚴重性層級為「安全」的內容會在註釋中標記，但不受限於篩選且無法設定。
| 篩選的嚴重性 | 可針對提示設定 | 可針對完成設定 | Description |
|---|---|---|---|
| 低、中等、高 | Yes | Yes | 最嚴格的篩選設定。 偵測到的嚴重性層級為低、中和高的內容將被篩選。 |
| 中、高 | Yes | Yes | 偵測到嚴重性層級為低的內容不會被篩選，中和高的內容將被篩選。 |
| 高 | Yes | Yes | 偵測到嚴重性層級為低和中的內容不會被篩選。 僅篩選嚴重性層級為高的內容。 |
| 沒有篩選 | 如果已核准1 | 如果已核准1 | 無論偵測到的嚴重性層級如何，都不會篩選任何內容。 需要核准1。 |
| 僅限標註 | 如果已核准1 | 如果已核准1 | 停用篩選功能，因此不會封鎖內容，但標註會透過 API 回應傳回。 需要核准1。 |
1 針對 Azure OpenAI 模型，只有獲核准內容篩選的客戶才有完整的內容篩選控制和關閉內容篩選。 透過此窗體套用已修改的內容篩選： Azure OpenAI 有限存取權檢閱：已修改的內容篩選。 針對 Azure Government 客戶，請透過下列形式申請修改的內容篩選： Azure Government - 要求 Azure OpenAI 服務修改的內容篩選。
輸入 (提示) 和輸出 (完成) 的可設定內容篩選條件，可供下列 Azure OpenAI 模型使用：
- GPT 模型系列
- GPT-4 Turbo Vision GA* (
turbo-2024-04-09) - GPT-4o
- GPT-4o mini
- DALL-E 2 和 3
無法設定的內容篩選
- o1-preview
- o1-mini
*僅適用於 GPT-4 Turbo Vision GA，不適用於 GPT-4 Turbo Vision 預覽版
內容篩選設定是在 Azure AI Studio 中的資源內建立，並且可與部署相關聯。 在這裡深入了解可設定性。
客戶須負責確保整合 Azure OpenAI 的應用程式符合規範。
了解其他篩選
除了預設傷害類別篩選之外，您還可以設定下列篩選類別。
| 篩選類別 | 狀態 | 預設設定 | 適用於提示或完成？ | 描述 |
|---|---|---|---|---|
| 針對直接攻擊 (越獄) 的提示防護 | GA | 另一 | 使用者提示 | 篩選 / 標註可能會有越獄風險的使用者提示。 如需標註的詳細資訊，請造訪 Azure OpenAI 服務內容篩選。 |
| 針對間接攻擊的提示防護 | GA | 另一 | 使用者提示 | 篩選 / 標註間接攻擊又稱為間接提示攻擊或跨網域提示插入攻擊，這是潛在的弱點，其中第三方將惡意指示放在生成式 AI 系統可以存取和處理的文件內。 必要：文件格式設定。 |
| 受(版權)保護素材 - 程式碼 | GA | 另一 | Completion | 篩選受保護的程式碼，或在符合由 GitHub Copilot 提供之任何公用程式碼來源的程式碼片段的註釋中取得範例引文和授權資訊。 如需取用標註的詳細資訊，請參閱內容篩選概念指南 |
| 受(版權)保護素材 - 文字 | GA | 另一 | Completion | 識別並使已知的文字內容無法顯示在模型輸出 (例如歌曲歌詞、食譜和選取的 Web 內容) 中。 |
透過 Azure OpenAI Studio 設定內容篩選
以下步驟顯示如何為資源設定自訂內容篩選設定。
移至 Azure OpenAI Studio 並瀏覽至內容篩選索引標籤 (在左下方的瀏覽中，由下方的紅色方塊指定)。
建立新的自訂內容篩選設定。
![已選取 [建立] 的內容篩選組態 UI 螢幕快照。](../media/content-filters/create-filter.png)
這將導致以下設定檢視，您可以在其中選擇自訂內容篩選設定的名稱。 輸入名稱之後，您可以設定輸入篩選條件（使用者提示）和輸出篩選條件（模型回應）。 前四個內容類別有三個可設定的嚴重性層級：低、中和高。 如果您判斷您的應用程式或使用案例需要與預設值不同的篩選，您可以使用滑桿來設定嚴重性閾值。 某些篩選可讓您判斷模型是否應該標註 和/或 區塊。 選取 [批注] 會執行個別的模型，並透過 API 回應傳回批注，但不會篩選內容。 除了註釋之外，您也可以選擇將 [篩選 ] 切換為 [開啟] 來篩選內容。
如果您的使用案例獲核准用於如上所述的修改內容篩選，您會取得對內容篩選設定的完全控制，並可選擇部分或完全關閉篩選。
您可以根據需要建立多個內容篩選設定。
接下來，若要使自訂內容篩選設定可作業，請將設定指派給資源中的一個或多個部署。 若要這樣做，請移至 [ 部署] 索引 標籤，然後選取您的部署。 然後，選取 [編輯]。
在出現的 [ 更新部署] 視窗中，從 [內容篩選] 下拉功能表中選取您的自定義篩選 。 然後選取 [ 儲存]，然後關閉 以將選取的組態套用至部署。
如果需要，還可以編輯和删除內容篩選設定。 若要這樣做，請瀏覽至內容篩選索引標籤，然後選取組態。 然後選取所需的動作。 您一次只能編輯一個篩選組態。
注意
在删除內容篩選設定之前，您需要在 [部署] 索引標籤中將其從任何部署中取消指派。
![已選取 [建立] 的內容篩選組態 UI 螢幕快照。](../media/content-filters/create-filter.png#lightbox)
遵循最佳做法
我們建議透過反覆式識別 (例如，紅色小組測試、壓力測試和分析) 和量測程序來告知您的內容篩選設定決策，以解决與特定模型、應用程式和部署情節相關的潜在危害。 在您實作內容篩選等風險降低措施後，重複量測以測試有效性。 基於 Microsoft 負責任 AI 標準之適用於 Azure OpenAI 的負責任 AI 之建議和最佳做法可以在 Azure OpenAI 的負責任 AI 概觀中找到。
相關內容
- 深入了解 Azure OpenAI 負責任 AI 做法：適用於 Azure OpenAI 模型的負責任 AI 做法概觀。
- 深入閲讀 Azure OpenAI 服務的內容篩選類別和嚴重性層級。
- 從我們的：(LLM) 的紅色小組簡介文章中深入了解紅色小組。