Azure OpenAI Studio에서 위험 및 안전 모니터링 사용(미리 보기)

콘텐츠 필터와 함께 Azure OpenAI 모델 배포를 사용하는 경우 필터링 작업의 결과를 확인할 수 있습니다. 이 정보를 사용하여 특정 비즈니스 요구 사항 및 책임 있는 AI 원칙에 맞게 필터 구성을 추가로 조정할 수 있습니다.

Azure OpenAI Studio 콘텐츠 필터 구성을 사용하는 각 배포에 대한 위험 및 안전 모니터링 대시보드를 제공합니다.

액세스 위험 및 안전 모니터링

위험 및 안전 모니터링에 액세스하려면 지원되는 Azure 지역 중 하나인 미국 동부, 스위스 북부, 프랑스 중부, 스웨덴 중부, 캐나다 동부에 Azure OpenAI 리소스가 필요합니다. 콘텐츠 필터 구성을 사용하는 모델 배포도 필요합니다.

Azure OpenAI Studio로 이동하여 Azure OpenAI 리소스와 연결된 자격 증명으로 로그인합니다. 왼쪽의 배포 탭을 선택한 다음 목록에서 모델 배포를 선택합니다. 배포 페이지에서 맨 위에 있는 위험 및 안전 탭을 선택합니다.

콘텐츠 검색

콘텐츠 검색 창에는 콘텐츠 필터 활동에 대한 정보가 표시됩니다. 콘텐츠 필터 구성은 콘텐츠 필터링 설명서에 설명된 대로 적용됩니다.

보고서 설명

콘텐츠 필터링 데이터는 다음과 같은 방법으로 표시됩니다.

• 차단된 총 요청 수 및 블록 속도: 이 보기는 시간에 따라 필터링되는 콘텐츠의 양과 비율에 대한 전역 보기가 보여 집니다. 이렇게 하면 사용자의 유해한 요청 추세를 이해하고 예기치 않은 활동을 확인할 수 있습니다.
• 범주에 의해 차단된 요청: 이 보기는 각 범주에 대해 차단된 콘텐츠의 양을 보여 줍니다. 이는 선택한 시간 범위에서 유해한 요청에 대한 전체 통계입니다. 현재 증오, 성적, 자해 및 폭력에 대한 피해 범주를 지원합니다.
• 범주별 시간별 차단 속도: 이 보기는 시간에 따른 각 범주에 대한 블록 속도를 보여주고 있습니다. 현재 증오, 성적, 자해 및 폭력에 대한 피해 범주를 지원합니다.
• 범주별 심각도 분포: 이 보기는 선택한 전체 시간 범위에서 각 피해 범주에 대해 검색된 심각도 수준을 보여줍니다. 이는 차단된 콘텐츠에 제한되지 않고 콘텐츠 필터에 의해 플래그가 지정된 모든 콘텐츠를 포함합니다.
• 범주별 시간에 따른 심각도 분포: 이 보기는 각 피해 범주에 대해 시간에 따라 검색된 심각도 수준의 비율을 보여줍니다. 탭을 선택하여 지원되는 범주 간에 전환합니다.

권장 조치

비즈니스 요구 사항 및 책임 있는 AI 원칙에 맞게 콘텐츠 필터 구성을 조정합니다.

잠재적으로 악의적인 사용자 감지

잠재적으로 악의적인 사용자 감지 창은 사용자 수준 남용 보고를 활용하여 해당 동작으로 인해 콘텐츠가 차단된 사용자에 대한 정보를 표시합니다. 목표는 유해한 콘텐츠의 원본을 파악하여 모델이 책임 있는 방식으로 사용되고 있는지 확인하기 위해 응답 작업을 수행할 수 있도록 하는 것입니다.

잠재적으로 악의적인 사용자 검색을 사용하려면 다음이 필요합니다.

• 배포에 적용된 콘텐츠 필터 구성입니다.
• 채팅 완료 요청에 사용자 ID 정보를 보내야 합니다(예를 들어, 완료 API의 user 매개 변수 참조).

  주의

  GUID 문자열을 사용하여 개별 사용자를 식별합니다. "사용자" 필드에 중요한 개인 정보를 포함하지 마세요.

• 사용자 분석 결과를 저장하도록 설정된 Azure Data Explorer 데이터베이스(아래 지침).

Azure Data Explorer 데이터베이스 설정

사용자 정보의 데이터 개인 정보를 보호하고 데이터 권한을 관리하기 위해 당사는 고객이 자신의 스토리지를 가져와 규정을 준수하고 완전한 제어를 통해 저장된 잠재적으로 악의적인 사용자 감지 인사이트(사용자 GUID 및 범주별 유해한 요청에 대한 통계 포함)를 얻을 수 있는 옵션을 지원합니다. 사용하도록 설정하려면 다음 단계를 따릅니다.

1. Azure OpenAI Studio에서 사용자 남용 분석을 설정할 모델 배포로 이동하고 데이터 저장소 추가를 선택합니다.
2. 필수 정보를 입력하고 저장을 선택합니다. 분석 결과를 저장할 새 데이터베이스를 만드는 것이 좋습니다.
3. 데이터 저장소를 연결한 후 다음 단계를 수행하여 연결된 데이터베이스에 분석 결과를 쓸 수 있는 권한을 부여합니다.
   1. Azure Portal의 Azure OpenAI 리소스 페이지로 이동하여 ID 탭을 선택합니다.
   2. 시스템 할당 ID의 상태를 사용으로 설정하고 생성된 ID를 복사합니다.
   3. Azure Portal에서 Azure Data Explorer 리소스로 이동하여 데이터베이스를 선택한 다음, 사용자 분석 결과를 저장하기 위해 만든 특정 데이터베이스를 선택합니다.
   4. 권한을 선택하고 데이터베이스에 관리자 역할을 추가합니다.
   5. 이전 단계에서 생성한 Azure OpenAI ID를 붙여넣고 검색된 ID를 선택합니다. 이제 Azure OpenAI 리소스의 ID에 스토리지 계정에 대한 읽기/쓰기 권한이 부여됩니다.
4. 분석 결과를 확인해야 하는 사용자에게 연결된 Azure Data Explorer 데이터베이스에 대한 액세스 권한을 부여합니다.
   1. 연결한 Azure Data Explorer 리소스로 이동하여 액세스 제어를 선택하고 결과에 액세스해야 하는 사용자를 위해 Azure Data Explorer 클러스터의 읽기 권한자 역할을 추가합니다.
   2. 데이터베이스를 선택하고 사용자 수준 악용 분석 결과를 저장하기 위해 연결된 특정 데이터베이스를 선택합니다. 권한을 선택하고 결과에 액세스해야 하는 사용자에 대해 데이터베이스의 읽기 권한자 역할을 추가합니다.

보고서 설명

잠재적으로 악의적인 사용자 감지는 고객이 요청 콘텐츠와 함께 Azure OpenAI API 호출을 통해 보내는 사용자 정보를 사용합니다. 다음 인사이트가 표시됩니다.

• 잠재적으로 악의적인 사용자 수: 이 보기는 시간에 따라 검색된 잠재적으로 악의적인 사용자 수를 보여줍니다. 이들은 학대의 패턴이 감지되고 높은 위험을 도입 할 수있는 사용자입니다.
• 악용 가능성이 있는 사용자 목록: 이 보기는 검색된 잠재적 악용 사용자의 세부 목록입니다. 각 사용자에 대해 다음 정보를 제공합니다.
  • UserGUID: Azure OpenAI API의 "사용자" 필드를 통해 고객이 전송합니다.
  • 악용 점수: 각 사용자의 요청과 동작을 분석하는 모델에서 생성된 수치입니다. 점수는 0-1로 정규화됩니다. 점수가 높을수록 남용 위험이 높다는 것을 나타냅니다.
  • 악용 점수 추세: 선택한 시간 범위 동안의 악용 점수 변화입니다.
  • 평가 날짜: 결과가 분석된 날짜입니다.
  • 전체 남용 요청 비율/건수
  • 범주별 악용 비율/수

권장 조치

이 데이터를 보강된 신호와 결합하여 검색된 사용자가 실제로 악의적인지 여부의 유효성을 검사합니다. 그렇다면 사용자를 제한하거나 일시 중단하는 등의 대응 조치를 취하여 애플리케이션을 책임 있게 사용합니다.

다음 단계

다음으로, Azure OpenAI Studio에서 콘텐츠 필터 구성을 만들거나 편집합니다.

• Azure OpenAI Service 콘텐츠 필터 구성