중요합니다
영어가 아닌 번역은 편의를 위해서만 제공됩니다. 바인딩 버전을 위해 이 문서의 EN-US 버전을 참조하세요.
이 문서에서는 사용자가 Azure OpenAI 서비스에 제공한 데이터를 처리, 사용 및 저장하는 방법에 대한 세부 정보를 제공합니다. Azure OpenAI는 서비스를 제공하고 해당 제품 약관을 위반하는 사용을 모니터링하기 위해 데이터를 저장하고 처리합니다. 또한 Azure OpenAI Service의 데이터 처리를 제어하는 Microsoft 제품 및 서비스 데이터 보호 부록을 참조하세요. Azure OpenAI는 Azure 서비스입니다. 적용 가능한 Azure 규정 준수 제품에 대해 자세히 알아봅니 다.
중요합니다
프롬프트(입력)와 완료(출력), 포함 및 학습 데이터:
- 다른 고객에게는 절대 제공되지 않습니다.
- OpenAI에서 사용할 수 없는 상태입니다.
- 는 OpenAI 모델을 개선하는 데 사용되지 않습니다.
- 은 Azure OpenAI Service 기본 모델을 학습, 재학습 또는 개선하는 데 사용되지 않습니다.
- 은 사용 권한이나 지침 없이 Microsoft 또는 타사 제품 또는 서비스를 개선하는 데 사용되지 않습니다.
- 사용자가 세심하게 조정한 Azure OpenAI 모델은 사용자만 사용할 수 있습니다.
Azure OpenAI 서비스는 Microsoft에서 Azure 서비스로 운영합니다. Microsoft는 Microsoft의 Azure 환경에서 OpenAI 모델을 호스트하며 서비스는 OpenAI(예: ChatGPT 또는 OpenAI API)에서 운영하는 서비스와 상호 작용하지 않습니다.
Azure OpenAI Service는 어떤 데이터를 처리하나요?
Azure OpenAI는 다음 형식의 데이터를 처리합니다.
- 프롬프트 및 생성된 콘텐츠. 사용자가 프롬프트를 제출하면, 서비스에서 완료, 채팅 완료, 이미지 생성 및 임베딩 작업을 통해 콘텐츠를 생성합니다.
- 업로드된 데이터. 파일 API 또는 벡터 저장소를 사용하여 특정 서비스 기능(예: 미세 조정, 도우미 API, 일괄 처리)에 사용할 고유한 데이터를 제공할 수 있습니다.
- 상태 엔터티에 대한 데이터. Assistants API의 스레드 기능 및 저장된 완료와 같은 Azure OpenAI 서비스의 특정 선택적 기능을 사용하는 경우 이 서비스는 기능을 구성하는 방법에 따라 메시지 기록 및 기타 콘텐츠를 유지하는 데이터 저장소를 만듭니다.
- 프롬프트와 함께 포함되거나 프롬프트를 통해 제공되는 증강 데이터. 상태 저장 엔터티와 관련된 데이터를 사용하면 서비스는 구성된 데이터 저장소에서 관련 데이터를 검색하고 프롬프트를 보강하여 데이터를 기반으로 하는 세대를 생성합니다. 프롬프트는 URL과 같이 프롬프트 자체에 포함된 원본에서 검색된 데이터로 보강될 수도 있습니다.
- 학습 및 유효성 검사 데이터입니다. OpenAI 모델을 미세 조정하기 위해 프롬프트 완성 쌍으로 구성된 고유한 학습 데이터를 제공할 수 있습니다.
Azure OpenAI Service는 어떻게 데이터를 처리하나요?
아래 다이어그램은 데이터가 처리되는 방식을 보여 줍니다. 이 다이어그램에서는 다음과 같은 여러 유형의 처리를 다룹니다.
- Azure OpenAI 서비스가 추론을 통해 프롬프트를 처리하여 콘텐츠를 생성하는 방법(지정된 데이터 원본의 추가 데이터가 데이터, 도우미 또는 일괄 처리에서 Azure OpenAI를 사용하여 프롬프트에 추가되는 경우 포함).
- Assistants 기능이 메시지, 스레드 및 실행과 관련하여 데이터를 저장하는 방법입니다.
- Batch 기능이 업로드된 데이터를 처리하는 방법.
- Azure OpenAI 서비스가 업로드된 데이터를 사용하여 미세 조정된(사용자 지정) 모델을 만드는 방법
- Azure OpenAI 서비스 및 Microsoft 담당자가 유해한 콘텐츠에 대한 프롬프트 및 완성(텍스트 및 이미지)을 분석하고 서비스 사용을 제안하는 패턴에 대해 행동 강령 또는 기타 해당 제품 약관을 위반하는 방식으로 분석하는 방법입니다.
위의 다이어그램에 설명된 것처럼 관리되는 고객은 남용 모니터링을 수정하기 위해 적용할 수 있습니다.
추론을 통해 결과물, 이미지 또는 임베딩 생성
리소스에 배포된 모델(기본형 또는 미세 조정형)은 입력 프롬프트를 처리하고, 텍스트, 이미지 또는 임베딩을 활용하여 응답을 생성합니다. 모델과의 고객 상호 작용은 TLS1.2 이상의 전송 암호화, 컴퓨팅 보안 경계, 텍스트 토큰화 및 할당된 GPU 메모리에 대한 배타적 액세스를 포함하되 제한되지 않는 기술 조치를 사용하여 논리적으로 격리되고 보호됩니다. 프롬프트 및 완성은 유해한 콘텐츠 형식에 대해 실시간으로 평가되며 구성된 임계값에 따라 콘텐츠 생성이 필터링됩니다. Azure OpenAI 서비스 콘텐츠 필터링에 대해 자세히 알아보세요.
프롬프트 및 응답은 고객이 지정한 지역 내에서 처리되지만(전역 배포 유형을 사용하지 않는 한) 운영 목적(성능 및 용량 관리 포함)을 위해 지리 내 지역 간에 처리될 수 있습니다. 전역 배포 유형을 사용하는 경우 처리 위치에 대한 자세한 내용은 아래를 참조하세요.
모델은 상태 비정상입니다. 모델에는 프롬프트 또는 생성이 저장되지 않습니다. 또한 프롬프트 및 세대는 기본 모델을 학습, 재학습 또는 개선하는 데 사용되지 않습니다.
"전역" 및 "데이터 영역" 배포 유형에 대한 처리 위치 이해
Azure OpenAI Service는 표준 배포 외에도 '전역' 및 'DataZone'으로 레이블이 지정된 배포 옵션을 제공합니다. '글로벌'로 레이블이 지정된 모든 배포 유형의 경우, 해당 Azure OpenAI 모델이 배포된 모든 지역에서 프롬프트와 응답을 처리할 수 있습니다(모델의 지역별 가용성에 대해 자세히 알아봅니다). 'DataZone'으로 표시된 모든 배포 유형의 경우, 프롬프트와 응답은 Microsoft에서 정의한 대로 지정된 데이터 영역 내의 모든 지역에서 처리될 수 있습니다. 미국에 있는 Azure OpenAI 리소스에 DataZone 배포를 만드는 경우 프롬프트와 응답은 미국 내 어디에서나 처리될 수 있습니다. 유럽 연합 멤버국에 있는 Azure OpenAI 리소스에 DataZone 배포를 만드는 경우 프롬프트와 응답은 해당 멤버국이나 다른 유럽 연합 멤버국에서 처리될 수 있습니다. 글로벌 및 DataZone 배포 유형 모두에서 업로드된 데이터와 같이 저장된 모든 데이터는 고객이 지정한 지역에 저장됩니다. 고객이 Azure OpenAI Service에서 글로벌 배포 유형이나 DataZone 배포 유형을 사용하는 경우 처리 위치에만 영향을 미칩니다. Azure 데이터 처리 및 준수 약정은 계속 적용됩니다.
생성된 결과를 "데이터에 기반하여" "기반으로" 프롬프트를 증강합니다.
Azure OpenAI의 "데이터 기반" 기능을 사용하면 데이터 원본을 연결하여 생성된 결과를 데이터에 기반하여 구체화할 수 있습니다. 데이터는 사용자가 지정한 데이터 원본 및 위치에 저장됩니다. Azure OpenAI Service는 중복 데이터 저장소를 만들지 않습니다. 사용자 프롬프트가 수신되면 서비스는 연결된 데이터 원본에서 관련 데이터를 검색하고 프롬프트를 보강합니다. 모델은 이 보강 프롬프트를 처리하고 생성된 콘텐츠는 위에서 설명한 대로 반환됩니다. 데이터 내 기능을 안전하게 사용하는 방법에 대해 자세히 알아봅니다.
Azure OpenAI 서비스 기능에 대한 데이터 스토리지
일부 Azure OpenAI Service 기능은 서비스에 데이터를 저장합니다. 이러한 데이터는 고객이 파일 API나 벡터 저장소를 사용하여 업로드하거나, 도우미 API의 스레드 기능 및 저장된 완료와 같은 특정 상태 엔터티와 관련하여 자동으로 저장됩니다. Azure OpenAI Service 기능을 위해 저장된 데이터:
- Azure OpenAI 리소스와 동일한 지역 내에서 고객의 Azure 테넌트에 있는 Azure OpenAI 리소스에 저장됩니다.
- 기본적으로 Microsoft의 AES-256 암호화를 사용하여 항상 미사용 시 암호화되며, 고객 관리형 키를 사용할 수 있는 옵션이 제공됩니다(특정 미리 보기 기능은 고객 관리형 키를 지원하지 않을 수 있습니다).
- 고객이 언제든지 삭제할 수 있습니다.
비고
미리 보기의 Azure OpenAI 기능은 위의 모든 조건을 지원하지 않을 수 있습니다.
저장된 데이터는 다음 서비스 기능/기능과 함께 사용할 수 있습니다.
- 사용자 지정된(미세 조정된) 모델 만들기 미세 조정이 작동하는 방식에 대해 자세히 알아봅니다. 미세 조정된 모델은 데이터가 미세 조정된 모델을 만드는 데 사용되었고, 미사용 시 암호화되고(추론을 위해 배포되지 않은 경우) 고객이 언제든지 삭제할 수 있는 경우에만 사용할 수 있습니다. 미세 조정을 위해 업로드된 학습 데이터는 Microsoft 또는 타사 기본 모델을 학습, 재학습 또는 개선하는 데 사용되지 않습니다.
- 일괄 처리. 일괄 처리의 작동 방식에 대해 자세히 알아봅니다. 일괄 처리는 전역 배포 유형입니다. 미사용 상태로 저장된 데이터는 처리 용량을 사용할 수 있게 될 때까지 지정된 Azure 지리에 유지됩니다. 처리는 관련 Azure OpenAI 모델이 배포되는 모든 지역에서 발생할 수 있습니다( 모델의 지역 가용성에 대한 자세한 정보).
- Assistants API(미리 보기). Assistants API의 작동 방식에 대해 자세히 알아봅니다. 스레드, 저장 메시지 기록 및 기타 콘텐츠와 같은 도우미의 일부 기능입니다.
- 저장된 완료(미리 보기) 저장된 완성 항목은 고객이 배포한 GPT-4o와 같은 Azure OpenAI 모델의 입력-출력 쌍을 채팅 완료 API를 통해 저장하고 이 쌍을 Azure AI Foundry 포털에 표시합니다. 이를 통해 고객은 프로덕션 데이터로 데이터 세트를 빌드할 수 있으며, 이를 통해 모델을 평가하거나 미세 조정하는 데 사용할 수 있습니다(해당 제품 약관에 허용됨).
남용 및 유해한 콘텐츠 생성 방지
Azure OpenAI 서비스의 유해한 사용 위험을 줄이기 위해 Azure OpenAI 서비스에는 콘텐츠 필터링 및 남용 모니터링 기능이 모두 포함되어 있습니다. 콘텐츠 필터링에 대한 자세한 내용은 Azure OpenAI 서비스 콘텐츠 필터링을 참조하세요. 학대 모니터링에 대한 자세한 내용은 학대 모니터링을 참조하세요.
콘텐츠 필터링은 서비스 프로세스에서 위와 여기에 설명된 대로 콘텐츠를 생성하라는 메시지를 표시할 때 동기적으로 발생합니다. 프롬프트 또는 생성된 콘텐츠는 콘텐츠 분류자 모델에 저장되지 않으며 프롬프트 및 출력은 동의 없이 분류자 모델을 학습, 재학습 또는 개선하는 데 사용되지 않습니다.
미세 조정된 모델의 안전 평가는 Azure의 위험 및 안전 메트릭을 사용하여 잠재적으로 유해한 대응을 위해 미세 조정된 모델을 평가합니다. 결과 평가(배포 가능 또는 배포 불가능)만 서비스에서 기록합니다.
Azure OpenAI 남용 모니터링 시스템은 행동 강령 또는 기타 적용 가능한 제품 약관을 위반할 수 있는 방식으로 서비스 사용을 제안하는 반복 콘텐츠 및/또는 동작의 인스턴스를 감지하고 완화하도록 설계되었습니다. 여기에 설명된 대로 시스템은 알고리즘과 추론을 사용하여 잠재적인 남용의 지표를 감지합니다. 이러한 지표가 검색되면 고객의 프롬프트 및 완료 샘플이 검토를 위해 선택될 수 있습니다. 검토는 기본적으로 LLM에 의해 수행되며, 필요에 따라 사용자 검토자가 추가 검토를 수행합니다. AI 및 사용자 검토에 대한 자세한 정보는 Azure OpenAI Service 남용 모니터링에서 확인할 수 있습니다.
AI 검토를 위해 고객의 프롬프트 및 완료는 시스템에 저장되거나 LLM 또는 다른 시스템을 학습하는 데 사용되지 않습니다. 사용자 검토를 위해 프롬프트 및 완료가 저장되는 데이터 저장소는 고객 리소스로 논리적으로 구분됩니다(각 요청에는 고객의 Azure OpenAI 리소스의 리소스 ID가 포함됨). 별도의 데이터 저장소는 Azure OpenAI 서비스를 사용할 수 있는 각 지역에 있으며, 고객의 프롬프트 및 생성된 콘텐츠는 고객의 Azure OpenAI 서비스 리소스가 배포되는 Azure 지리, Azure OpenAI 서비스 경계 내에 저장됩니다. 잠재적인 남용을 평가하는 사용자 검토자는 해당 데이터가 이미 남용 모니터링 시스템에 의해 플래그가 지정된 경우에만 프롬프트 및 완료 데이터에 액세스할 수 있습니다. 사람 검토자는 요청 ID, SAW(보안 액세스 워크스테이션), 팀 관리자가 부여한 JIT(Just-In-Time) 요청 권한 부여를 사용하여 지점별 쿼리를 통해 데이터에 액세스하는 권한이 있는 Microsoft 직원입니다. 유럽 경제 영역에 배포된 Azure OpenAI 서비스의 경우 승인된 Microsoft 직원은 유럽 경제 영역에 있습니다.
고객이 수정된 남용 모니터링에 대해 승인된 경우( Azure OpenAI 서비스 남용 모니터링에 대해 자세히 알아보기), Microsoft는 승인된 Azure 구독과 연결된 프롬프트 및 완료를 저장하지 않으며 위에서 설명한 사용자 검토 프로세스는 불가능하며 수행되지 않습니다. 그러나 해당 시점에 제공되거나 생성된 프롬프트와 완료를 검토하는 LLM을 활용하여 AI 검토를 계속 수행할 수 있습니다.
비고
미리 보기의 Azure OpenAI 모델을 비롯한 Azure Preview 기능은 남용 모니터링을 포함하여 다양한 개인 정보 취급 방침을 사용할 수 있습니다. 미리 보기는 Microsoft Azure 미리 보기에 대한 추가 사용 약관의 추가 약관에 따라 달라질 수 있습니다.
고객은 남용 모니터링을 위한 데이터 스토리지가 꺼져 있는지 어떻게 확인할 수 있나요?
고객이 남용 모니터링을 해제하도록 승인되면 승인된 Azure 구독에서 남용 모니터링을 위한 데이터 스토리지가 꺼졌는지 확인하는 두 가지 방법이 있습니다.
- Azure Portal 사용 또는
- Azure CLI(또는 모든 관리 API).
비고
"ContentLogging" 특성에 대한 "false" 값은 남용 모니터링을 위한 데이터 스토리지가 꺼져 있는 경우에만 나타납니다. 그렇지 않으면 이 속성은 Azure Portal 또는 Azure CLI의 출력에 표시되지 않습니다.
필수 조건
- Azure에 로그인
- Azure OpenAI Service 리소스를 호스팅하는 Azure 구독을 선택합니다.
- Azure OpenAI 서비스 리소스의 개요 페이지로 이동합니다.
리소스 개요 페이지로 이동
아래 이미지와 같이 오른쪽 위 모서리에 있는 JSON 보기 링크를 클릭합니다.
기능 목록에는 남용 모니터링에 대한 로깅이 해제될 때 표시되고 FALSE로 설정되는 "ContentLogging"이라는 값이 있습니다.
{
"name":"ContentLogging",
"value":"false"
}
Microsoft의 개인 정보 보호 및 보안 약정에 대한 자세한 내용은 Microsoft 보안 센터를 참조하세요.
변경사항 기록
| 날짜 | 변경 |
|---|---|
| 2024년 12월 17일 | 새 저장된 완료 기능과 관련하여 데이터 처리 및 스토리지에 대한 정보가 추가되었습니다. 미리 보기의 Azure OpenAI 기능이 모든 데이터 스토리지 조건을 지원하지 않을 수 있음을 명확히 하는 언어가 추가되었습니다. Batch 처리를 위한 "미리 보기" 지정 제거됨 |
| 2024년 11월 18일 | 새 '데이터 영역' 배포 유형에 대한 데이터 처리 위치에 대한 정보가 추가되었습니다. 유해 콘텐츠의 남용 및 생성 방지의 일환으로 프롬프트 및 완료에 대한 새로운 AI 검토에 대한 정보가 추가되었습니다. |
| 2024년 9월 4일 | Assistants API(미리 보기), Batch(미리 보기) 및 전역 배포를 비롯한 새로운 기능에 대한 데이터 처리에 대한 정보(및 그에 따라 수정된 기존 텍스트) 추가됨 Azure 데이터 보존 원칙에 따라 데이터 처리 위치와 관련된 수정된 언어 미세 조정된 모델의 안전성 평가를 위한 데이터 처리에 대한 정보가 추가되었습니다. 프롬프트 사용 및 완료와 관련된 명확한 약정 명확성을 개선하기 위한 사소한 수정 |
| 2023년 6월 23일 | 새로운 Azure의 데이터 기능의 데이터 처리에 대한 정보를 추가했습니다. 현재 Azure OpenAI Service 남용 모니터링에서 사용할 수 있는 남용 모니터링에 대한 정보가 제거되었습니다. 요약 메모가 추가되었습니다. 추가 명확성을 위해 업데이트되고 간소화된 콘텐츠 및 업데이트된 다이어그램 변경 로그 추가됨 |
참고하십시오
- Azure OpenAI 서비스 통합에 대한 행동 강령
- Azure OpenAI 모델에 대한 책임 있는 AI 사례 개요
- Azure OpenAI 서비스의 투명도 메모 및 사용 사례
- Azure의 데이터 보존
- Azure Government에서 Azure OpenAI 비교
- Azure OpenAI 서비스에 대한 제한된 액세스
- Azure OpenAI 서비스의 남용은 남용 보고 포털을 통해 신고하세요.
- cscraireport@microsoft.com으로 문제 보고