남용 모니터링

  • 아티클

Azure OpenAI Service는 행동 강령 또는 기타 적용 가능한 제품 약관을 위반할 수 있는 방식으로 서비스 사용을 제안하는 반복 콘텐츠 및/또는 동작의 인스턴스를 검색하고 완화합니다. 데이터 처리 방법에 대한 자세한 내용은 데이터, 개인 정보 및 보안 페이지에서 확인할 수 있습니다. Azure OpenAI 제한된 액세스 검토: 수정된 남용 모니터링 양식을 사용하여 수정된 남용 모니터링을 신청합니다.

남용 모니터링 구성 요소

남용 모니터링에 대한 몇 가지 구성 요소가 있습니다.

  • 콘텐츠 분류: 분류자 모델은 사용자 프롬프트(입력) 및 완료(출력)에서 유해한 언어 및/또는 이미지를 검색합니다. 시스템은 콘텐츠 요구 사항에 정의된 피해 범주를 찾고 콘텐츠 필터링 페이지에 자세히 설명된 대로 심각도 수준을 할당합니다.

  • 남용 패턴 캡처: Azure OpenAI Service의 남용 모니터링은 고객 사용 패턴을 살펴보고 알고리즘과 추론을 사용하여 잠재적 남용 지표를 검색합니다. 예를 들어 감지된 패턴은 고객의 프롬프트 및 완료에서 유해한 콘텐츠가 검색되는 빈도 및 심각도를 고려합니다.

  • 인간 검토 및 결정: 위에서 설명한 대로 콘텐츠 분류 및 남용 패턴 캡처를 통해 프롬프트 및/또는 완료에 플래그가 지정되면 권한 있는 Microsoft 직원은 플래그가 지정된 콘텐츠를 평가하고 미리 정의된 지침 및 정책에 따라 분류 또는 결정을 확인하거나 수정할 수 있습니다. 팀 관리자가 허가한 JIT(Just-In-Time) 요청 승인을 통해 권한 있는 Microsoft 직원만 SAW(Secure Access Workstations)를 통해서 인간 검토를 위해 데이터에 액세스할 수 있습니다. 유럽 경제 지역에 배포된 Azure OpenAI Service 리소스의 경우 권한 있는 Microsoft 직원은 유럽 경제 지역에 있습니다.

  • 알림 및 조치: 앞의 세 단계에 따라 악의적인 행동의 임계값이 확인되면 고객에게 메일로 결정을 알립니다. 심각하거나 반복되는 남용의 경우를 제외하면, 일반적으로 고객에게는 악의적인 행동을 설명하거나 교정하고 재발을 방지하기 위한 메커니즘을 구현할 수 있는 기회가 주어집니다. 동작을 해결하지 못하거나 반복적이거나 심각한 남용으로 인해 Azure OpenAI 리소스 및/또는 기능에 대한 고객의 액세스가 중단되거나 종료될 수 있습니다.

다음 단계