사용자 지정 범주(미리 보기)
Azure AI 콘텐츠 보안을 사용하면 특정 정책 또는 사용 사례와 일치하는 향상된 조정 및 필터링을 위해 고유한 콘텐츠 조정 범주를 만들고 관리할 수 있습니다.
사용자 지정 유형
사용자 지정 범주를 정의하고 사용하는 방법에는 여러 가지가 있으며 이 섹션에서 자세히 설명하고 비교합니다.
| API | 기능 |
|---|---|
| 사용자 지정 범주(표준) API | 사용자 지정 가능한 기계 학습 모델을 사용하여 사용자 지정된 범주를 만들고, 얻고, 쿼리하고, 삭제합니다. 또는 추가 주석 작업을 위해 사용자 지정된 모든 범주를 나열합니다. |
| 사용자 지정 범주(빠른 채널) API | LLM(대규모 언어 모델)을 사용하여 새로운 콘텐츠 인시던트에서 특정 콘텐츠 패턴을 빠르게 학습할 수 있습니다. |
사용자 지정 범주(표준) API
고객은 사용자 지정 범주(표준) API를 사용하여 요구 사항과 관련된 범주를 정의하고, 샘플 데이터를 제공하고, 사용자 지정 기계 학습 모델을 학습하고, 이를 사용하여 학습된 범주에 따라 새 콘텐츠를 분류할 수 있습니다.
기계 학습 모델을 사용하여 사용자 지정하기 위한 표준 워크플로입니다. 학습 데이터 품질에 따라 매우 좋은 성능 수준에 도달할 수 있지만 모델을 학습하는 데 최대 몇 시간이 걸릴 수 있습니다.
이 구현은 이미지 콘텐츠가 아닌 텍스트 콘텐츠에서 작동합니다.
사용자 지정 범주(빠른 채널) API
사용자 지정 범주(빠른) API는 표준 방법보다 빠르고 유연하게 설계되었습니다. 온라인 플랫폼에서 부적절하거나 유해한 콘텐츠를 포함하는 사이버 인시던트의 식별, 분석, 포함, 근절 및 복구에 사용됩니다.
인시던트에는 Microsoft 커뮤니티 지침이나 고객의 정책 및 예상 결과치를 위반하는 일련의 새로운 콘텐츠 패턴(텍스트, 이미지 또는 기타 형식)이 포함될 수 있습니다. 잠재적인 라이브 사이트 인시던트나 사용자 및 커뮤니티에 대한 피해를 방지하려면 이러한 인시던트를 빠르고 정확하게 완화해야 합니다.
이 구현은 텍스트 콘텐츠 및 이미지 콘텐츠에서 작동합니다.
팁
새로운 콘텐츠 인시던트를 처리하는 한 가지 방법은 차단 목록을 사용하는 것입니다. 그러나 이 방법은 정확한 텍스트 일치만 허용하고 이미지 일치는 허용하지 않습니다. 사용자 지정 범주(빠른) API는 다음과 같은 고급 기능을 제공합니다.
- 경량 분류자를 사용한 포함 검색을 사용한 의미 체계 텍스트 매칭
- 경량 개체 추적 모델과 포함 검색을 통한 이미지 매칭.
작동 방식
Azure AI 콘텐츠 보안 사용자 지정 범주 기능은 사용자 지정 콘텐츠 분류 모델을 만들고, 교육하고, 사용하기 위한 다단계 프로세스를 사용합니다. 워크플로는 다음과 같습니다.
1단계: 정의 및 설정
사용자 지정 범주를 정의할 때 식별하려는 콘텐츠 유형을 AI에 알려야 합니다. 여기에는 명확한 범주 이름과 콘텐츠의 특성을 캡슐화하는 자세한 정의가 제공됩니다.
그런 다음, AI가 범주의 뉘앙스를 학습하는 데 도움이 되도록 긍정적이고(선택적으로) 부정적인 예제를 사용하여 균형 잡힌 데이터 세트를 수집합니다. 이 데이터는 실제 시나리오에서 모델이 발생하게 될 다양한 콘텐츠를 대표해야 합니다.
2단계: 모델 학습
데이터 세트를 준비하고 범주를 정의한 후 Azure AI 콘텐츠 보안 서비스는 새 기계 학습 모델을 학습시킵니다. 이 모델은 정의 및 업로드된 데이터 세트를 사용하여 큰 언어 모델을 사용하여 데이터 확대를 수행합니다. 결과적으로 학습 데이터 세트는 더 크고 더 높은 품질로 만들어집니다. 학습 중에 AI 모델은 데이터를 분석하고 지정된 범주에 맞는 콘텐츠와 그렇지 않은 콘텐츠를 구분하는 방법을 알아봅니다.
3단계: 모델 추론
학습 후에는 정확도 요구 사항을 충족하는지 확인하기 위해 모델을 평가해야 합니다. 이전에 받지 못한 새 콘텐츠로 모델을 테스트합니다. 평가 단계는 모델을 프로덕션 환경에 배포하는 데 필요한 잠재적인 조정을 식별하는 데 도움이 됩니다.
4단계: 모델 사용
analyzeCustomCategory API를 사용하여 텍스트 콘텐츠를 분석하고 정의한 사용자 지정 범주와 일치하는지 여부를 확인합니다. 서비스는 콘텐츠가 지정된 범주와 일치하는지 여부를 나타내는 부울을 반환합니다.
제한 사항
언어 가용성
사용자 지정 범주 API는 콘텐츠 안전 텍스트 조정에서 지원하는 모든 언어를 지원합니다. 언어 지원을 참조하세요.
입력 제한 사항
사용자 지정 범주(표준) API의 입력 제한 사항은 다음 표를 참조하세요.
| Object | 제한 사항 |
|---|---|
| 지원되는 언어 | 영어로만 제공 |
| 사용자당 범주 수 | 3 |
| 범주당 버전 수 | 3 |
| 범주당 동시 빌드(프로세스) 수 | 1 |
| 초당 유추 작업 | 5 |
| 범주 버전의 샘플 수 | 양수 샘플(필수): 최소 50개, 최대 5K 총(음수 및 양수 샘플 모두): 10K 중복 샘플이 허용되지 않습니다. |
| 샘플 파일 크기 | 최대 128000바이트 |
| 텍스트 샘플의 길이 | 최대 125K 문자 |
| 범주 정의의 길이 | 최대 1000자 |
| 범주 이름의 길이 | 최대 128자 |
| Blob URL의 길이 | 최대 500자 |