共用方式為

什麼是 Azure AI 內容安全性？

  • 發行項

Azure AI 內容安全性可在應用程式與服務中偵測使用者產生和 AI 產生的有害內容。 Azure AI 內容安全包含文字和影像 API，可讓您偵測有害的資料。 我們也提供互動式 Content Safety Studio，可讓您檢視、探索及試用範例程式碼，以偵測不同形式的有害內容。

內容篩選軟體可協助應用程式遵循法規或維護使用者應有的環境。

此文件包含下列類型的文章：

  • 快速入門是引導您完成對服務提出要求的入門指示。
  • 操作指南包含以更具體或自訂的方式使用服務的指示。
  • 概念提供服務功能和特徵的深入說明。

其使用場合

以下是軟體開發人員或小組將需要內容仲裁服務的幾個案例：

  • 提交至生成式 AI 服務的使用者提示。
  • 由生成式 AI 模型所產生的內容。
  • 線上市場，可管理產品目錄和其他使用者產生的內容。
  • 遊戲公司，可管理使用者產生的遊戲成品和聊天室。
  • 對使用者新增的影像和文字進行仲裁的社交傳訊平台。
  • 對其內容實作集中式仲裁的企業媒體公司。
  • 為學生和授課者篩選掉不當內容的 K-12 教育解決方案提供者。

重要

您無法使用 Azure AI 內容安全來偵測不合法的孩童利用影像。

產品類型

此服務提供不同類型的分析。 下表描述目前可用的 API。

類型 功能
提示盾牌 (預覽版) 掃描文字以尋找大型語言模型上使用者輸入攻擊的風險。 快速入門
根據性偵測 (預覽版) 偵測大型語言模型 (LLM) 的文字回應是否以使用者所提供的來源資料為根據。 快速入門
受(版權)保護素材文字偵測 (預覽版) 掃描 AI 產生的文字以尋找已知文字內容 (例如歌曲歌詞、文章、食譜、選取的 Web 內容)。 快速入門
自訂類別 (快速) API (預覽版) 可讓您定義新興的有害內容模式，並掃描文字和影像以尋找相符項目。 操作指南
分析文字 API 掃描文字中是否有多重嚴重性層級的色情內容、暴力、仇恨和自殘。
分析影像 API 掃描影像中是否有多重嚴重性層級的色情內容、暴力、仇恨和自殘。

Content Safety Studio

Azure AI Content Safety Studio 是一種線上工具，其設計目的是使用最先進的內容仲裁 ML 模型來處理潛在冒犯性、風險性或不想要的內容。 其提供範本和自訂工作流程，可讓使用者選擇並建置自己的內容仲裁系統。 使用者可以上傳自己的內容，或試用提供的範例內容。

Content Safety Studio 不僅包含現成可用的 AI 模型，也包含 Microsoft 的內建字詞封鎖清單，可標幟粗話並掌握最新趨勢。 您也可以上傳自己的封鎖清單，以加強特定使用案例中有害內容的涵蓋範圍。

Studio 也可讓您設定仲裁工作流程，您可以在其中持續監視和改善內容仲裁效能。 其可協助您符合各種產業的內容需求，例如遊戲、媒體、教育、電子商務等等。 企業可以輕鬆地將其服務連線到 Studio，並即時仲裁其內容，無論是使用者產生或 AI 產生的內容。

所有這些功能都是由 Studio 及其後端處理；客戶不需要擔心模型開發。 您可以讓資料上線以進行快速驗證，並據以監控 KPI，例如技術指標 (延遲、精確度、重新叫用) 或業務指標 (區塊速率、區塊數量、類別比例、語言比例等)。 透過簡單的作業和設定，客戶可以快速測試不同的解決方案，並找出最適合的解決方案，而不需花時間試驗自訂模型或手動進行仲裁。

Content Safety Studio

Content Safety Studio 功能

在 Content Safety Studio 中，有下列 Azure AI 內容安全服務功能可供使用：

  • 仲裁文字內容：您可以使用文字仲裁工具輕鬆地對文字內容執行測試。 無論要測試單一句子或整個資料集，我們工具提供的便利介面都可讓您直接在入口網站中評估測試結果。 您可以試驗不同的敏感度層級來設定內容篩選器和封鎖清單管理，確保始終按照確切的規格對您的內容進行仲裁。 此外，工具具備匯出程式碼的功能，您可直接在應用程式中實作工具，進而簡化工作流程並節省時間。

  • 仲裁影像內容：您可使用影像仲裁工具輕鬆對影像執行測試，確保其符合您的內容標準。 我們易於使用的介面可讓您直接在入口網站中評估測試結果，而且您可以試驗不同的敏感度層級來設定內容篩選器。 自訂設定之後，您可以輕鬆匯出程式碼，以在應用程式中實作工具。

  • 監視線上活動：功能強大的監視頁面可讓您輕鬆追蹤不同形式的仲裁 API 使用量和趨勢。 此功能可讓您存取詳細的回應資訊，包括類別和嚴重性分佈、延遲、錯誤和封鎖清單偵測。 這項資訊提供內容仲裁效能的完整概觀，可讓您最佳化工作流程，確保始終按照確切的規格對您的內容進行仲裁。 透過易於使用的介面，您可以快速且輕鬆地瀏覽監視頁面，以存取您做出明智的內容仲裁策略決策所需的資訊。 您擁有保持內容仲裁效能並達成內容目標所需的工具。

安全性

使用 Microsoft Entra ID 或受控識別來管理存取權

為了增強安全性，您可以使用 Microsoft Entra ID 或受控識別 (MI) 來管理資源的存取權。

  • 當您建立內容安全性資源時，會自動啟用受控識別。
  • API 和 SDK 案例都支援 Microsoft Entra ID。 請參閱使用 Microsoft Entra ID 進行驗證的一般 AI 服務指導方針。 您也可以將認知服務使用者和讀者的角色指派給貴組織內的其他使用者，授與其存取權。 若要深入了解如何使用 Azure 入口網站將 Azure 資源的存取權授與使用者，請參閱角色型存取控制指南。

待用資料加密

了解 Azure AI 內容安全如何處理資料的加密和解密。 客戶自控金鑰 (CMK) 也稱為自備金鑰 (BYOK)，可提供更大的彈性來建立、輪替、停用及撤銷存取控制。 您也可稽核用來保護資料的加密金鑰。

定價

目前，Azure AI 內容安全具有 F0 和 S0 定價層。 如需詳細資訊，請參閱 Azure 定價頁面。

服務限制

輸入需求

請參閱下列清單，以取得每項功能的輸入需求。

  • 分析文字 API：
    • 預設最大長度：1 萬個字元 (視需要分割較長的文字)。
  • 分析影像 API：
    • 影像檔大小上限：4 MB
    • 50 x 50 和 2048 x 2048 像素之間的尺寸。
    • 映像可以是 JPEG、PNG、GIF、BMP、TIFF 或 WEBP 格式。
  • 提示盾牌 (預覽版)：
    • 最大提示長度：1 萬個字元。
    • 最多五個文件，共 1 萬個字元。
  • 根據性偵測 (預覽版)：
    • 根據性來源的最大長度：55,000 個字元 (每個 API 呼叫)。
    • 文字和查詢長度上限：7,500 個字元。
  • 受(版權)保護素材偵測 (預覽版)：
    • 預設最大長度：1 千個字元。
    • 預設最小長度：110 個字元 (用於掃描 LLM 完成，而不是使用者提示)。

語言支援

內容安全性模型已針對下列語言進行訓練及測試：英文、德文、日文、西班牙文、法文、義大利文、葡萄牙文和中文。 不過，該服務可在許多其他語言下運作，但品質可能有所不同。 在所有情況下，您應該執行自己的測試，以確保其適用於您的應用程式。

如需詳細資訊，請參閱語言支援。

區域可用性

若要使用內容安全 API，您必須在支援的區域中建立 Azure AI 內容安全資源。 內容安全功能目前可在下列 Azure 區域中使用：

區域 仲裁 API 提示盾
(預覽版)		 受保護的資料
偵測 (預覽版)		 根據性
偵測 (預覽版)		 自訂類別
(快速) (預覽版)		 封鎖清單
美國東部 ✅ ✅ ✅ ✅ ✅ ✅
美國東部 2 ✅ ✅ ✅
美國西部 ✅
美國西部 2 ✅ ✅
美國中部 ✅ ✅
美國中北部 ✅ ✅
美國中南部 ✅ ✅
加拿大東部 ✅ ✅
瑞士北部 ✅ ✅
瑞典中部 ✅ ✅ ✅ ✅
英國南部 ✅ ✅
法國中部 ✅ ✅
西歐 ✅ ✅ ✅ ✅
日本東部 ✅ ✅
澳大利亞東部 ✅ ✅ ✅

如果您的業務需要其他區域，歡迎與我們連絡。

查詢速率

內容安全功能的查詢速率限制為每 10 秒的要求次數。 請參閱下表，取得每項功能的速率限制。

定價層 仲裁 API 提示盾
(預覽版)		 受保護的資料
偵測 (預覽版)		 根據性
偵測 (預覽版)		 自訂類別
(快速) (預覽版)
F0 1000 1000 1000 50 1000
S0 1000 1000 1000 50 1000

如果您需要更快的速率，請與我們連絡以提出要求。

與我們連絡

如果您遇到問題，請傳送電子郵件給我們或使用任何 Microsoft Learn 頁面底部的意見反應小工具。

下一步

請遵循快速入門，開始在您的應用程式中使用 Azure AI 內容安全。

內容安全快速入門