다음을 통해 공유


Azure AI 콘텐츠 안전의 유해 범주

이 가이드에서는 Azure AI 콘텐츠 보안에서 콘텐츠를 신고하는 데 사용하는 모든 유해성 범주와 등급을 설명합니다. 텍스트와 이미지 콘텐츠 모두 동일한 플래그 집합을 사용합니다.

유해 범주

콘텐츠 안전에서는 불쾌한 콘텐츠를 네 가지 범주로 구분합니다.

범주 설명 API 용어
증오와 공정성 혐오 및 공정성 관련 피해는 특정 그룹의 특정 차별화 특성에 따라 개인 또는 정체성 그룹을 언급하여 공격하거나 차별적인 언어를 사용하는 모든 콘텐츠를 나타냅니다.

여기에는 다음이 포함되지만 이에 제한되지 않습니다.
  • 인종, 민족, 국적
  • 성 정체성 그룹 및 표현
  • 성적 취향
  • 종교
  • 개인 외모 및 신체 크기
  • 장애 상태
  • 괴롭힘 및 왕따
Hate
성적 성적 범주는 해부학적 기관 및 생식기, 낭만적인 관계 및 성행위, 에로틱하거나 애정 어린 용어로 묘사된 행위(자신의 의지에 반하는 폭행 또는 강제 성폭력 행위로 묘사되는 행위 포함)와 관련된 언어를 설명합니다. 

 여기에는 다음 문서가 포함됩니다(이에 국한되지 않음).
  • 저속한 콘텐츠
  • 매춘
  • 노출 및 포르노
  • 남용
  • 아동 착취, 아동 학대, 아동 그루밍
Sexual
폭력 폭력 범주는 누군가 또는 사물을 해치거나 손상시키거나 죽이려는 의도의 신체적 행동과 관련된 언어를 설명하거나 무기, 총기, 관련 개체에 대해 설명합니다.

여기에는 다음이 포함되지만 이에 국한되지는 않습니다.
  • 무기
  • 괴롭힘과 협박
  • 테러리스트와 폭력적인 극단주의
  • 스토킹
Violence
자해 자해란 의도적으로 자신의 신체를 다치게 하거나 손상시키거나 자살하려는 의도를 지닌 신체적 행동과 관련된 언어를 말합니다.

여기에는 다음이 포함되지만 이에 국한되지는 않습니다.
  • 섭식 장애
  • 괴롭힘과 협박
SelfHarm

분류에는 다중 레이블이 지정될 수 있습니다. 예를 들어 텍스트 샘플이 텍스트 조정 모델을 거치면 성적인 콘텐츠와 폭력으로 분류될 수 있습니다.

심각도 수준

서비스가 적용되는 모든 피해 범주에는 심각도 수준 등급도 함께 제공됩니다. 심각도 수준은 플래그가 지정된 콘텐츠 표시로 인한 결과의 심각도를 나타냅니다.

텍스트: 현재 버전의 텍스트 모델은 전체 0-7 심각도 척도를 지원합니다. 분류자는 이 척도를 기준으로 모든 심각도를 검색합니다. 사용자가 지정하는 경우 0, 2, 4, 6이라는 단축 척도로 심각도를 반환할 수 있습니다. 인접한 두 수준은 각각 단일 수준에 매핑됩니다.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

이미지: 현재 버전의 이미지 모델은 전체 0-7 심각도 척도의 단축 버전을 지원합니다. 분류자는 심각도 0, 2, 4 및 6만 반환합니다.

  • 0
  • 2
  • 4
  • 6

텍스트가 있는 이미지: 현재 버전의 다중 모달 모델은 전체 0-7 심각도 척도를 지원합니다. 분류자는 이 척도를 기준으로 모든 심각도를 검색합니다. 사용자가 지정하는 경우 0, 2, 4, 6이라는 단축 척도로 심각도를 반환할 수 있습니다. 인접한 두 수준은 각각 단일 수준에 매핑됩니다.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

텍스트 콘텐츠

Warning

이 문서의 심각도 정의 탭에는 일부 읽기 권한자에게 불편을 줄 수 있는 유해 콘텐츠의 예가 포함되어 있습니다.

이미지 콘텐츠

Warning

이 문서의 심각도 정의 탭에는 일부 읽기 권한자에게 불편을 줄 수 있는 유해 콘텐츠의 예가 포함되어 있습니다.

다중 모달(텍스트가 있는 이미지) 콘텐츠

Warning

이 문서의 심각도 정의 탭에는 일부 읽기 권한자에게 불편을 줄 수 있는 유해 콘텐츠의 예가 포함되어 있습니다.

다음 단계

애플리케이션에서 Azure AI 콘텐츠 보안 사용을 시작하려면 빠른 시작을 따르세요.