Azure OpenAI Service로 콘텐츠 필터를 구성하는 방법

참고 항목

모든 고객은 콘텐츠 필터를 수정하고 심각도 임계값(낮음, 중간, 높음)을 구성할 수 있습니다. 콘텐츠 필터를 부분적으로 또는 완전히 해제하려면 승인이 필요합니다. 관리 고객만 Azure OpenAI 제한 액세스 검토: 수정된 콘텐츠 필터 양식을 통해 전체 콘텐츠 필터링 제어를 신청할 수 있습니다. 현재로서는 관리 고객이 될 수 없습니다.

Azure OpenAI Service에 통합된 콘텐츠 필터링 시스템은 DALL-E 이미지 생성 모델을 포함한 핵심 모델과 함께 실행됩니다. 다중 클래스 분류 모델의 앙상블을 사용하여 각각 4가지 심각도 수준(안전함, 낮음, 중간, 높음)에서 유해 콘텐츠의 4가지 범주(폭력, 증오, 성적, 자해)를 검색하고 탈옥 위험, 기존 텍스트 및 공용 리포지토리의 코드를 검색하기 위한 선택적 이진 분류자를 사용합니다. 기본 콘텐츠 필터링 구성은 프롬프트와 완료 모두에 대해 4가지 콘텐츠 피해 범주 모두에 대해 중간 심각도 임계값으로 필터링하도록 설정됩니다. 즉, 심각도 수준이 중간 또는 높음으로 검색된 콘텐츠는 필터링되는 반면 심각도 수준이 낮음 또는 안전으로 검색된 콘텐츠는 콘텐츠 필터에 의해 필터링되지 않습니다. 여기에서 콘텐츠 범주, 심각도 수준 및 콘텐츠 필터링 시스템의 동작에 대해 자세히 알아봅니다. 탈옥 위험 감지와 보호된 텍스트 및 코드 모델은 선택 사항이며 기본적으로 해제되어 있습니다. 탈옥 및 보호된 자료 텍스트 및 코드 모델의 경우 구성 기능을 통해 모든 고객이 모델을 켜고 끌 수 있습니다. 모델은 기본적으로 꺼져 있으며 시나리오에 따라 켤 수 있습니다. 일부 모델은 고객 저작권 약정에 따라 적용 범위를 유지하기 위해 특정 시나리오에 있어야 합니다.

콘텐츠 필터는 리소스 수준에서 구성할 수 있습니다. 새 구성이 만들어지면 하나 이상의 배포와 연결할 수 있습니다. 모델 배포에 대한 자세한 내용은 리소스 배포 가이드를 참조하세요.

구성 기능은 미리 보기로 제공되며 고객은 프롬프트와 완성에 대해 별도로 설정을 조정하여 아래 표에 설명된 대로 다양한 심각도 수준에서 각 콘텐츠 범주에 대한 콘텐츠를 필터링할 수 있습니다. '안전' 심각도 수준에서 탐지된 콘텐츠는 주석에 레이블이 지정되지만 필터링 대상이 아니며 구성할 수 없습니다.

심각도 필터링됨	프롬프트에 대해 구성 가능	완료를 위해 구성 가능	설명
낮음, 보통, 높음	예	예	가장 엄격한 필터링 구성. 심각도 수준 낮음, 중간, 높음에서 탐지된 콘텐츠는 필터링됩니다.
중간, 높음	예	예	기본 설정. 심각도 수준이 낮음에서 검색된 콘텐츠는 필터링되지 않으며, 중간 및 높음의 콘텐츠는 필터링됩니다.
높음	예	예	심각도 수준 낮음 및 보통에서 탐지된 콘텐츠는 필터링되지 않습니다. 심각도 수준이 높은 콘텐츠만 필터링됩니다.
필터 없음	승인된 경우*	승인된 경우*	탐지된 심각도 수준에 관계없이 콘텐츠가 필터링되지 않습니다. 승인이 필요합니다*.

^* 승인된 고객만 전체 콘텐츠 필터링 제어 권한을 가지며 콘텐츠 필터를 부분적으로 또는 완전히 끌 수 있습니다. 관리 고객만 다음 양식을 통해 전체 콘텐츠 필터링 제어를 신청할 수 있습니다. Azure OpenAI 제한 액세스 검토: 수정된 콘텐츠 필터 현재로서는 관리 고객이 될 수 없습니다.

고객은 Azure OpenAI를 통합하는 애플리케이션이 사용 규정을 준수하는지 확인할 책임이 있습니다.

필터 범주	기본 설정	프롬프트 또는 완료에 적용하시겠습니까?	설명
탈옥 위험 감지	끄기	프롬프트	탈옥 위험이 있을 수 있는 사용자 프롬프트를 필터링하거나 주석을 달기 위해 켤 수 있습니다. 주석 사용에 대한 자세한 내용은 Azure OpenAI 서비스 콘텐츠 필터링을 참조하세요.
보호된 재질 - 코드	off	Completion	공용 코드 소스와 일치하는 코드 조각에 대한 주석에서 예제 인용 및 라이선스 정보를 가져오기 위해 설정할 수 있습니다. 주석 사용에 대한 자세한 내용은 콘텐츠 필터링 개념 가이드를 참조하세요.
보호된 재질 - 텍스트	off	Completion	모델 출력에 알려진 텍스트 콘텐츠가 표시되지 않도록 식별하고 차단하도록 설정할 수 있습니다(예: 노래 가사, 조리법 및 선택한 웹 콘텐츠).

Azure OpenAI Studio(미리 보기)를 통해 콘텐츠 필터 구성

다음 단계에서는 리소스에 대한 사용자 지정 콘텐츠 필터링 구성을 설정하는 방법을 보여 줍니다.

1. Azure OpenAI Studio로 이동하여 콘텐츠 필터 탭(아래 빨간색 상자로 지정된 왼쪽 하단 탐색)으로 이동합니다.

   

2. 새로운 사용자 지정 콘텐츠 필터링 구성을 만듭니다.

   

   그러면 사용자 지정 콘텐츠 필터링 구성의 이름을 선택할 수 있는 다음 구성 보기가 표시됩니다.

   

3. 이는 모든 범주에 대해 중간 및 높은 심각도 수준에서 콘텐츠가 필터링되는 기본 콘텐츠 필터링 구성의 보기입니다. 네 가지 콘텐츠 범주 각각에 대해 프롬프트와 완료 모두(아래 파란색 상자로 지정된 대로 사용자 프롬프트 및 모델 완성 모두에 대한 구성은 왼쪽 열에 있고 완료 구성은 오른쪽 열에 있음)에 대한 콘텐츠 필터링 심각도 수준을 개별적으로 수정할 수 있습니다(콘텐츠 범주는 화면 왼쪽에 나열되며 아래 녹색 상자로 표시됨). 구성할 수 있는 각 범주에는 낮음, 중간, 높음의 세 가지 심각도 수준이 있습니다. 슬라이더를 사용하여 심각도 임계값을 설정할 수 있습니다.

   

4. 애플리케이션 또는 사용 시나리오에서 일부 또는 모든 콘텐츠 범주에 대해 더 엄격한 필터링이 필요하다고 판단하는 경우 프롬프트 및 완료에 대해 별도로 설정을 구성하여 기본 설정보다 더 높은 심각도 수준으로 필터링할 수 있습니다. 아래 이미지에는 사용자 프롬프트의 필터링 수준이 증오 및 성적 콘텐츠에 대해 가장 엄격한 구성으로 설정되어 있으며 심각도가 낮은 콘텐츠가 중간 및 높은 심각도(아래 빨간색 상자에 설명되어 있음)로 분류된 콘텐츠와 함께 필터링되는 예가 나와 있습니다. 이 예에서는 모델 완료에 대한 필터링 수준이 모든 콘텐츠 범주에 대해 가장 엄격한 구성으로 설정됩니다(아래 파란색 상자). 이 수정된 필터링 구성을 사용하면 심각도가 낮음, 중간, 높음인 콘텐츠가 사용자 메시지의 증오 및 성적 범주에 따라 필터링됩니다. 심각도가 중간 및 높음인 콘텐츠는 사용자 프롬프트에서 자해 및 폭력 범주에 대해 필터링됩니다. 심각도가 낮음, 중간, 높음인 콘텐츠는 모델 완료의 모든 콘텐츠 범주에 대해 필터링됩니다.

   

5. 위에 설명된 대로 수정된 콘텐츠 필터에 대한 사용 사례가 승인된 경우 콘텐츠 필터링 구성에 대한 모든 권한을 받게 되며 필터링을 부분적으로 또는 완전히 해제하도록 선택할 수 있습니다. 아래 이미지에서는 폭력(아래 녹색 상자)에 대해 필터링이 해제되고 다른 범주에 대해서는 기본 구성이 유지됩니다. 이로 인해 폭력에 대한 필터 기능이 비활성화되지만 콘텐츠에는 여전히 주석이 추가됩니다. 모든 필터와 주석을 끄려면 필터 및 주석을 끄세요(아래 빨간색 상자).

   

   요구 사항에 따라 여러 콘텐츠 필터링 구성을 만들 수 있습니다.

6. 옵션 모델을 켜려면 왼쪽에 있는 확인란을 선택하면 됩니다. 각 선택적 모델이 켜져 있으면 모델에 주석을 달거나 필터링해야 하는지 여부를 나타낼 수 있습니다.

7. 주석을 선택하면 해당 모델이 실행되고 API 응답을 통해 주석이 반환되지만 콘텐츠는 필터링되지 않습니다. 주석 외에도 필터 토글을 켜기로 전환하여 콘텐츠를 필터링하도록 선택할 수도 있습니다.

8. 요구 사항에 따라 여러 콘텐츠 필터링 구성을 만들 수 있습니다.

   

9. 다음으로, 사용자 지정 콘텐츠 필터링 구성이 작동하도록 하려면 리소스의 하나 이상의 배포에 구성을 할당합니다. 이렇게 하려면 배포 탭으로 이동하여 배포 편집(화면 상단 근처에 빨간색 상자로 표시됨)을 선택합니다.

   

10. 고급 옵션(아래 파란색 상자에 설명되어 있음)으로 이동하여 콘텐츠 필터 드롭다운(아래 빨간색 상자에 있는 대화 상자 하단에 설명되어 있음)에서 해당 배포에 적합한 콘텐츠 필터 구성을 선택합니다.

    

11. 선택한 구성을 배포에 적용하려면 저장 후 닫기를 선택합니다.

    

12. 필요한 경우 콘텐츠 필터 구성을 편집하고 삭제할 수도 있습니다. 이렇게 하려면 콘텐츠 필터 탭으로 이동하여 원하는 작업을 선택합니다(화면 상단 근처에 있는 아래 빨간색 상자에 설명된 옵션). 한 번에 하나의 필터링 구성만 편집/삭제할 수 있습니다.

    

    참고 항목

    콘텐츠 필터링 구성을 삭제하기 전에 배포 탭의 모든 배포에서 할당을 취소해야 합니다.

모범 사례

특정 모델, 애플리케이션 및 배포 시나리오와 관련된 잠재적인 피해를 해결하기 위해 반복적인 식별(예: 레드팀 테스트, 스트레스 테스트 및 분석) 및 측정 프로세스를 통해 콘텐츠 필터링 구성 결정을 알리는 것이 좋습니다. 콘텐츠 필터링과 같은 완화 측정값을 구현한 후 측정을 반복하여 효율성을 테스트합니다. Microsoft 책임 있는 AI 표준을 기반으로 하는 Azure OpenAI에 대한 책임 있는 AI에 대한 권장 사항 및 모범 사례는 Azure OpenAI에 대한 책임 있는 AI 개요에서 확인할 수 있습니다.

다음 단계

• Azure OpenAI에 대한 책임 있는 AI 사례에 대해 자세히 알아봅니다. Azure OpenAI 모델에 대한 책임 있는 AI 사례 개요
• Azure OpenAI 서비스를 사용한 콘텐츠 필터링 범주 및 심각도 수준에 대해 자세히 알아봅니다.
• 레드 팀 LLM(대규모 언어 모델) 소개 문서에서 레드 팀에 대해 자세히 알아봅니다.