使用自訂類別（快速） API （預覽）

發行項
2024/09/03

自訂類別 (快速) API 可讓您快速回應新興有害內容事件。您可以使用特定主題中的幾個範例來定義事件，而服務會開始偵測類似的內容。

請遵循下列步驟，以一些文字內容範例來定義事件，然後分析新的文字內容，以查看它是否符合事件。

重要

這項新功能僅適用於選取的 Azure 區域。請參閱區域可用性 (英文)。

警告

本指南中的範例資料可能包含冒犯性內容。建議使用者斟酌使用。

必要條件

Azure 訂用帳戶 - 建立免費帳戶
擁有 Azure 訂用帳戶之後，在 Azure 入口網站中建立 Content Safety 資源，以取得您的金鑰和端點。輸入您資源的唯一名稱，選取您的訂用帳戶，然後選取資源群組、支援的區域 (參閱區域可用性) 以及支援的定價層。然後選取建立。
- 部署資源需要幾分鐘的時間。完成後，選取 [移至資源]。在左側窗格中，於 [資源管理] 下選取 [訂用帳戶金鑰和端點]。端點和其中一個金鑰是用以呼叫 API。
如果您想要上傳影像，也建立 Blob 記憶體容器。或者，您可以將影像編碼為 Base64 字串，並直接在 API 呼叫中使用它們。
已安裝下列其中一項：
- 適用於 REST API 呼叫的 cURL。
- 已安裝 Python 3.8.x

測試文字自訂類別 (快速) API

使用本節中的範例程式代碼來建立文字事件、將範例新增至事件、部署事件，然後偵測文字事件。

在下列命令中，以您自己的值取代 <your_api_key>、<your_endpoint> 和其他必要參數。

下列命令會建立具有名稱和定義的事件。

Bash

curl --location --request PATCH 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{ \"incidentName\": \"<test-incident>\", \"incidentDefinition\": \"<string>\"}'

首先，您需要安裝必要的 Python 連結庫：

Bash

pip install requests

然後，使用您自己的Azure資源詳細資料來定義必要的變數：

Python

import requests

API_KEY = '<your_api_key>'
ENDPOINT = '<your_endpoint>'

headers = {
    'Ocp-Apim-Subscription-Key': API_KEY,
    'Content-Type': 'application/json'
}

下列命令會建立具有名稱和定義的事件。

Python

import requests
import json

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>?api-version=2024-02-15-preview"

payload = json.dumps({
  "incidentName": "<text-incident-name>",
  "incidentDefinition": "string"
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("PATCH", url, headers=headers, data=payload)

print(response.text)

將範例新增至事件

使用下列命令，將文字範例新增至事件。

cURL
Python

Bash

curl --location 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>:addIncidentSamples?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data-raw '{
  \"IncidentSamples\": [
    { \"text\":    \"<text-example-1>\"},
    { \"text\":    \"<text-example-2>\"},
    ...
  ]
}'

Python

import requests
import json

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>:addIncidentSamples?api-version=2024-02-15-preview"

payload = json.dumps({
  "IncidentSamples": [
    {
      "text": "<text-example-1>"
    },
    {
      "text": "<text-example-1>"
    },
    ...
  ]
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

部署事件

使用下列命令來部署事件，使其可供分析新內容。

cURL
Python

Bash

curl --location 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>:deploy?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json'

Python

import requests
import json

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>:deploy?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

偵測文字事件

執行下列命令來分析您剛部署的事件所出現的範例文字內容。

cURL
Python

Bash

curl --location 'https://<endpoint>/contentsafety/text:detectIncidents?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{
  \"text\":  \"<test-text>\",
  \"incidentNames\": [
    \"<text-incident-name>\"
  ]
}'

Python

import requests
import json

url = "https://<endpoint>/contentsafety/text:detectIncidents?api-version=2024-02-15-preview"

payload = json.dumps({
  "text": "<test-text>",
  "incidentNames": [
    "<text-incident-name>"
  ]
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

測試影像自訂類別 (快速) API

使用本節中的範例程式代碼來建立影像事件、將範例新增至事件、部署事件，然後偵測影像事件。

建立事件

cURL
Python

在下列命令中，以您自己的值取代 <your_api_key>、<your_endpoint> 和其他必要參數。

下列命令會在建立影像事件：

Bash

curl --location --request PATCH 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{
  \"incidentName\": \"<image-incident-name>\"
}'

請確定您已安裝必要的 Python 連結庫：

Bash

pip install requests

使用您自己的 Azure 資源詳細資料定義必要的變數：

Python

import requests

API_KEY = '<your_api_key>'
ENDPOINT = '<your_endpoint>'

headers = {
    'Ocp-Apim-Subscription-Key': API_KEY,
    'Content-Type': 'application/json'
}

下列命令會在建立影像事件：

Python

import requests
import json

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>?api-version=2024-02-15-preview"

payload = json.dumps({
  "incidentName": "<image-incident-name>"
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("PATCH", url, headers=headers, data=payload)

print(response.text)

將範例新增至事件

使用下列命令，將範例影像新增至您的事件。映像範例可以是指向 AzureBlob 記憶體容器中影像的 URL，也可以是 Base64 字串。

cURL
Python

Bash

curl --location 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>:addIncidentSamples?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{
  \"IncidentSamples\": [
    {
      \"image\": {
        \"content\": \"<base64-data>\",
        \"bloburl\": \"<your-blob-storage-url>.png\"
      }
    }
  ]
}'

Python

import requests
import json

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>:addIncidentSamples?api-version=2024-02-15-preview"

payload = json.dumps({
  "IncidentSamples": [
    {
      "image": {
        "content": "<base64-data>",
        "bloburl": "<your-blob-storage-url>/image.png"
      }
    }
  ]
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

部署事件

使用下列命令來部署事件，使其可供分析新內容。

cURL
Python

Bash

curl --location 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>:deploy?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json'

Python

import requests
import json

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>:deploy?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

偵測影像事件

使用下列命令來上傳範例影像，並針對您所部署的事件進行測試。您可以使用指向 AzureBlob 記憶體容器中映像的 URL，或將映像資料新增為 Base64 字串。

cURL
Python

Bash

curl --location 'https://<endpoint>/contentsafety/image:detectIncidents?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{
    \"image\": {
      \"url\": \"<your-blob-storage-url>/image.png\",
      "content": "<base64-data>"
    },
    \"incidentNames\": [
      \"<image-incident-name>\"
    ]
  }
}'

Python

import requests
import json

url = "https://<endpoint>/contentsafety/image:detectIncidents?api-version=2024-02-15-preview"

payload = json.dumps({
  "image": {
    "url": "<your-blob-storage-url>/image.png",
    "content": "<base64-data>"
  },
  "incidentNames": [
    "<image-incident-name>"
  ]
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

其他事件作業

下列作業適用於管理事件和事件範例。

文字事件 API

列出全部事件

cURL
Python

Bash

curl --location GET 'https://<endpoint>/contentsafety/text/incidents?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

Python

import requests

url = "https://<endpoint>/contentsafety/text/incidents?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

取得事件詳細資料

cURL
Python

Bash

curl --location GET 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

Python

import requests

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

刪除事件

cURL
Python

Bash

curl --location --request DELETE 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

Python

import requests

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("DELETE", url, headers=headers, data=payload)

print(response.text)

列出事件下的全部範例

此命令會擷取與指定事件對象相關聯的全部範例所用的唯一識別碼。

cURL
Python

Bash

curl --location GET 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>/incidentsamples?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

Python

import requests

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>/incidentsamples?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

取得事件範例的詳細資料

使用事件範例識別碼來查閱範例的詳細資料。

cURL
Python

Bash

curl --location GET 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>/incidentsamples/<your-incident-sample-id>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

Python

import requests

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>/incidentsamples/<your-incident-sample-id>?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

刪除事件範例

使用事件範例識別碼來擷取和刪除該範例。

cURL
Python

Bash

curl --location 'https://<endpoint>/contentsafety/text/incidents/<text-incident-name>:removeIncidentSamples?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{
  \"IncidentSampleIds\": [
    \"<your-incident-sample-id>\"
  ]
}'

Python

import requests
import json

url = "https://<endpoint>/contentsafety/text/incidents/<text-incident-name>:removeIncidentSamples?api-version=2024-02-15-preview"

payload = json.dumps({
  "IncidentSampleIds": [
    "<your-incident-sample-id>"
  ]
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

影像事件 API

取得事件清單

cURL
Python

Bash

curl --location GET 'https://<endpoint>/contentsafety/image/incidents?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

Python

import requests

url = "https://<endpoint>/contentsafety/image/incidents?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

取得事件詳細資料

cURL
Python

Bash

curl --location GET 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

Python

import requests

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

刪除事件

cURL
Python

Bash

curl --location --request DELETE 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

Python

import requests

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("DELETE", url, headers=headers, data=payload)

print(response.text)

列出事件下的全部範例

此命令會擷取與指定事件對象相關聯的全部範例所用的唯一識別碼。

cURL
Python

Bash

curl --location GET 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>/incidentsamples?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

Python

import requests

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>/incidentsamples?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

取得事件範例詳細資料

使用事件範例識別碼來查閱範例的詳細資料。

cURL
Python

Bash

curl --location GET 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>/incidentsamples/<your-incident-sample-id>?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>'

Python

import requests

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>/incidentsamples/<your-incident-sample-id>?api-version=2024-02-15-preview"

payload = {}
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>'
}

response = requests.request("GET", url, headers=headers, data=payload)

print(response.text)

刪除事件範例

使用事件範例識別碼來擷取和刪除該範例。

cURL
Python

Bash

curl --location 'https://<endpoint>/contentsafety/image/incidents/<image-incident-name>:removeIncidentSamples?api-version=2024-02-15-preview' \
--header 'Ocp-Apim-Subscription-Key: <your-content-safety-key>' \
--header 'Content-Type: application/json' \
--data '{
  \"IncidentSampleIds\": [
    \"<your-incident-sample-id>\"
  ]
}'

Python

import requests
import json

url = "https://<endpoint>/contentsafety/image/incidents/<image-incident-name>:removeIncidentSamples?api-version=2024-02-15-preview"

payload = json.dumps({
  "IncidentSampleIds": [
    "<your-incident-sample-id>"
  ]
})
headers = {
  'Ocp-Apim-Subscription-Key': '<your-content-safety-key>',
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

其他資源

文件

快速入門：自訂類別 (預覽) - Azure AI services

使用自訂類別 API 建立您自己的有害內容類別，並針對您的使用案例定型內容安全模型。
Azure AI 內容安全中的自訂類別 (預覽) - Azure AI services

瞭解自訂內容類別，以及您可以使用 Azure AI 內容安全在平台上處理它們的不同方式。
降低 Azure AI 內容安全中的錯誤結果風險 - Azure AI services

了解透過處理誤判 (false positive) 和漏報 (false negative) 來提高 Azure AI 內容安全模型效能的技術。
Azure AI 內容安全性中的傷害類別 - Azure AI services

了解 Azure AI 內容安全性服務傳回的不同內容仲裁旗標和嚴重性層級。
使用封鎖清單進行文字調節 - Azure AI services

了解如何使用您自己的 blocklistItems 清單，在 Azure AI 內容安全中自訂文字調節。
常見問題集 - Azure AI Content Safety - Azure AI services

取得有關 Azure AI Content Safety 常見問題集的解答。
內嵌內容安全 - Azure AI 內容安全 - Azure AI services

內嵌內容安全是針對雲端連線能力會出現中斷或無法使用的裝置內案例所設計。
快速入門：分析文字內容 - Azure AI services

開始使用 Azure AI 內容安全來分析文字內容是否有令人反感的内容。

訓練

模組

搭配 Azure AI 內容安全負責任地使用 AI - Training

隨著使用者產生的線上內容數量增加，因此需要確保有害材料受到有效仲裁。 Azure AI 內容安全資源包含的功能，可協助組織仲裁及管理使用者產生和 AI 產生的內容。

認證

Microsoft Certified: Security Operations Analyst Associate - Certifications

使用 Microsoft Sentinel、適用於雲端的 Microsoft Defender 和 Microsoft 365 Defender 調查、搜尋及降低威脅。

事件

建置智慧型應用程式

3月17日下午9時 - 3月21日上午10時

加入聚會系列，以根據真實世界使用案例與開發人員和專家建置可調整的 AI 解決方案。

立即報名

共用方式為

使用自訂類別（快速） API （預覽）

必要條件

測試文字自訂類別 (快速) API

建立事件物件

將範例新增至事件

部署事件

偵測文字事件

測試影像自訂類別 (快速) API

建立事件

將範例新增至事件

部署事件

偵測影像事件

其他事件作業

文字事件 API

列出全部事件

取得事件詳細資料

刪除事件

列出事件下的全部範例

取得事件範例的詳細資料

刪除事件範例

影像事件 API

取得事件清單

取得事件詳細資料

刪除事件

列出事件下的全部範例

取得事件範例詳細資料

刪除事件範例

意見反應

其他資源

共用方式為

使用自訂類別 （快速） API （預覽）

必要條件

測試文字自訂類別 (快速) API

建立事件物件

將範例新增至事件

部署事件

偵測文字事件

測試影像自訂類別 (快速) API

建立事件

將範例新增至事件

部署事件

偵測影像事件

其他事件作業

文字事件 API

列出全部事件

取得事件詳細資料

刪除事件

列出事件下的全部範例

取得事件範例的詳細資料

刪除事件範例

影像事件 API

取得事件清單

取得事件詳細資料

刪除事件

列出事件下的全部範例

取得事件範例詳細資料

刪除事件範例

相關內容

意見反應

其他資源

使用自訂類別（快速） API （預覽）