什麼是 Azure AI 內容安全性？
Azure AI 內容安全性可在應用程式與服務中偵測使用者產生和 AI 產生的有害內容。 Azure AI 內容 保管庫 ty 包含文字和影像 API，可讓您偵測有害的材料。 我們也提供互動式 Content Safety Studio，可讓您檢視、探索及試用範例程式碼，以偵測不同形式的有害內容。
內容篩選軟體可協助應用程式遵循法規或維護使用者應有的環境。
此文件包含下列類型的文章：
其使用場合
以下是軟體開發人員或小組將需要內容仲裁服務的幾個案例：
- 線上市場，可管理產品目錄和其他使用者產生的內容。
- 遊戲公司，可管理使用者產生的遊戲成品和聊天室。
- 對使用者新增的影像和文字進行仲裁的社交傳訊平台。
- 對其內容實作集中式仲裁的企業媒體公司。
- 為學生和授課者篩選掉不當內容的 K-12 教育解決方案提供者。
重要
您無法使用 Azure AI 內容 保管庫 來偵測非法的子惡意探索映像。
產品類型
此服務提供不同類型的分析。 下表描述目前可用的 API。
| 類型 | 功能 |
|---|---|
| 分析文字 API | 掃描文字中是否有多重嚴重性層級的色情內容、暴力、仇恨和自殘。 |
| 分析影像 API | 掃描影像中是否有多重嚴重性層級的色情內容、暴力、仇恨和自殘。 |
| 提示盾牌 （預覽） | 掃描文字中是否有使用者輸入攻擊大型語言模型的風險。 快速入門 |
| 地面偵測 （預覽） | 偵測大型語言模型 （LLM） 的文字回應是否以使用者提供的來源數據為根據。 快速入門 |
| 受保護的材料文字偵測 （預覽） | 掃描 AI 產生的文字以取得已知的文字內容（例如歌曲歌詞、文章、食譜、選取的 Web 內容）。 快速入門 |
| 自訂類別 （快速） API （預覽） | 可讓您定義 新興有害的內容模式 ，並掃描文字和影像以取得相符專案。 操作說明指南 |
Content Safety Studio
Azure AI Content Safety Studio 是一種線上工具，其設計目的是使用最先進的內容仲裁 ML 模型來處理潛在冒犯性、風險性或不想要的內容。 其提供範本和自訂工作流程，可讓使用者選擇並建置自己的內容仲裁系統。 使用者可以上傳自己的內容，或試用提供的範例內容。
內容 保管庫 ty Studio 不僅包含現成的 AI 模型，還包含 Microsoft 的內建字詞封鎖清單，以標幟不雅內容，並隨時掌握新的趨勢。 您也可以上傳自己的封鎖清單，以加強特定使用案例中有害內容的涵蓋範圍。
Studio 也可讓您設定仲裁工作流程，您可以在其中持續監視和改善 con 帳篷模式 ration 效能。 其可協助您符合各種產業的內容需求，例如遊戲、媒體、教育、電子商務等等。 企業可以輕鬆地將其服務連線到 Studio，並即時將其 con 帳篷模式，無論是用戶產生的還是 AI 產生的。
所有這些功能都是由 Studio 及其後端處理；客戶不需要擔心模型開發。 您可以讓數據上線以進行快速驗證，並據以監視 KPI，例如技術計量（延遲、精確度、召回率）或商務計量（區塊率、區塊數量、類別比例、語言比例等等）。 透過簡單的作業和設定，客戶可以快速測試不同的解決方案，並找出最適合的解決方案，而不需花時間試驗自訂模型或手動進行仲裁。
Content Safety Studio 功能
在 Content 保管庫 ty Studio 中，有下列 Azure AI 內容 保管庫 ty 服務功能可供使用：
仲裁文字內容：您可以使用文字仲裁工具輕鬆地對文字內容執行測試。 無論要測試單一句子或整個資料集，我們工具提供的便利介面都可讓您直接在入口網站中評估測試結果。 您可以試驗不同的敏感度層級來設定內容篩選器和封鎖清單管理，確保始終按照確切的規格對您的內容進行仲裁。 此外，工具具備匯出程式碼的功能，您可直接在應用程式中實作工具，進而簡化工作流程並節省時間。
仲裁影像內容：您可使用影像仲裁工具輕鬆對影像執行測試，確保其符合您的內容標準。 我們易於使用的介面可讓您直接在入口網站中評估測試結果，而且您可以試驗不同的敏感度層級來設定內容篩選器。 自訂設定之後，您可以輕鬆匯出程式碼，以在應用程式中實作工具。
監視線上活動：功能強大的監視頁面可讓您輕鬆追蹤不同形式的仲裁 API 使用量和趨勢。 此功能可讓您存取詳細的回應資訊，包括類別和嚴重性分佈、延遲、錯誤和封鎖清單偵測。 這項資訊提供內容仲裁效能的完整概觀，可讓您最佳化工作流程，確保始終按照確切的規格對您的內容進行仲裁。 透過易於使用的介面，您可以快速且輕鬆地瀏覽監視頁面，以存取您做出明智的內容仲裁策略決策所需的資訊。 您擁有保持內容仲裁效能並達成內容目標所需的工具。
安全性
使用 Microsoft Entra ID 或受控識別來管理存取權
為了增強安全性，您可以使用 Microsoft Entra ID 或受控識別 （MI） 來管理資源的存取權。
- 當您建立內容 保管庫 ty 資源時，系統會自動啟用受控識別。
- API 和 SDK 案例都支援 Microsoft Entra ID。 請參閱使用 Microsoft Entra ID 進行驗證的一般 AI 服務指導方針。 您也可以將認知服務用戶和讀取者的角色指派給他們，以授與貴組織內其他使用者的存取權。 若要深入瞭解如何使用 Azure 入口網站 授與使用者對 Azure 資源的存取權，請參閱角色型訪問控制指南。
待用資料加密
瞭解 Azure AI 內容 保管庫 如何處理數據的加密和解密。 客戶管理的金鑰 （CMK），也稱為「攜帶您自己的密鑰」（BYOK），可提供更大的彈性來建立、輪替、停用及撤銷訪問控制。 您也可稽核用來保護資料的加密金鑰。
定價
目前，Azure AI 內容 保管庫 ty 具有 F0 和 S0 定價層。 如需詳細資訊，請參閱 Azure 定價頁面 。
服務限制
輸入需求
文字提交的預設長度上限為 10K 個字元。 如果您需要分析較長的文字區塊，您可以跨多個相關提交針對輸入文字進行分割 (例如，使用標點符號或間距)。
映像提交的大小上限為 4 MB，且映像尺寸必須介於 50 x 50 像素和 2,048 x 2,048 像素之間。 映像可以是 JPEG、PNG、GIF、BMP、TIFF 或 WEBP 格式。
語言支援
內容 保管庫 模型已以下列語言特別定型和測試：英文、德文、日文、西班牙文、法文、義大利文、葡萄牙文和中文。 不過，服務可以使用許多其他語言，但品質可能會有所不同。 在所有情況下，您應該執行自己的測試，以確保其適用於您的應用程式。
如需詳細資訊，請參閱 語言支援。
區域可用性
若要使用內容 保管庫 TY API，您必須在支援的區域中建立 Azure AI 內容 保管庫 ty 資源。 目前，下列 Azure 區域提供內容 保管庫 ty 功能：
| 區域 | 仲裁 API | 提示盾 | 受保護的材料 偵測 |
根據性 偵測 |
事件回應 | 封鎖清單 |
|---|---|---|---|---|---|---|
| 美國東部 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 美國東部 2 | ✅ | ✅ | ✅ | |||
| 美國西部 | ✅ | |||||
| 美國西部 2 | ✅ | ✅ | ||||
| 美國中部 | ✅ | ✅ | ||||
| 美國中北部 | ✅ | ✅ | ||||
| 美國中南部 | ✅ | ✅ | ||||
| 加拿大東部 | ✅ | ✅ | ||||
| 瑞士北部 | ✅ | ✅ | ||||
| 瑞典中部 | ✅ | ✅ | ✅ | ✅ | ||
| 英國南部 | ✅ | ✅ | ||||
| 法國中部 | ✅ | ✅ | ||||
| 西歐 | ✅ | ✅ | ✅ | ✅ | ||
| 日本東部 | ✅ | ✅ | ||||
| 澳大利亞東部 | ✅ | ✅ | ✅ |
如果您的業務需要其他區域，歡迎與我們連絡。
查詢速率
仲裁 API
| 定價層 | 每10秒的要求數 |
|---|---|
| F0 | 1000 |
| S0 | 1000 |
提示盾
| 定價層 | 每10秒的要求數 |
|---|---|
| F0 | 1000 |
| S0 | 1000 |
基礎性偵測
| 定價層 | 每10秒的要求數 |
|---|---|
| F0 | 50 |
| S0 | 50 |
如果您需要更快的速率，請與我們連絡以提出要求。
與我們連絡
如果您遇到問題， 請傳送電子郵件給我們 ，或使用任何 Microsoft Learn 頁面底部的意見反應小工具。
下一步
請遵循快速入門，開始在應用程式中使用 Azure AI 內容 保管庫 ty。