Azure OpenAI Service에 대한 질문과 대답

Azure OpenAI는 고객 데이터를 사용하여 모델을 다시 학습시키지 않습니다. 자세한 내용은 Azure OpenAI 데이터, 개인 정보, 보안 가이드를 참조하세요.

Azure OpenAI는 OpenAI Python 라이브러리(버전>=1.0)의 최신 릴리스에서 지원됩니다. 그러나 openai migrate를 사용하는 코드베이스 마이그레이션은 지원되지 않으며 Azure OpenAI를 대상으로 하는 코드에서는 작동하지 않습니다.

GPT-4 Turbo Preview는 gpt-4(1106-preview) 모델입니다. 이 모델을 배포하려면 배포에서 모델 gpt-4를 선택합니다. 모델 버전경우 1106-preview를 선택합니다. 이 모델을 사용할 수 있는 지역을 확인하려면 모델 페이지를 참조하세요.

Azure OpenAI는 최신 GPT-4 모델을 지원합니다. GPT-4 및 GPT-4-32K를 모두 지원합니다.

Azure OpenAI Service는 Azure의 보안 및 엔터프라이즈 지원을 통해 OpenAI GPT-3, Codex 및 DALL-E 모델을 사용하는 고급 언어 AI를 고객에게 제공합니다. Azure OpenAI는 OpenAI와 API를 공동 개발하여 호환성과 원활한 전환을 보장합니다.

Azure OpenAI를 사용하면 고객은 OpenAI와 동일한 모델을 실행하면서 Microsoft Azure의 보안 기능을 얻을 수 있습니다.

예, Azure AI 서비스의 일부로 Azure OpenAI는 VNET 및 프라이빗 엔드포인트를 지원합니다. 자세히 알아보려면 Azure AI 서비스 가상 네트워킹 지침을 참조하세요.

아니요, GPT-4는 OpenAI에서 다중 모드로 설계되었지만 현재는 텍스트 입력 및 출력만 지원됩니다.

이전에는 새로운 사용 사례를 추가하려면 고객이 서비스에 다시 신청해야 했습니다. 이제 서비스 사용에 새로운 사용 사례를 신속하게 추가할 수 있는 새로운 프로세스를 출시합니다. 이 프로세스는 Azure AI 서비스 내에 설정된 제한된 액세스 프로세스를 따릅니다. 기존 고객은 여기에서 모든 새로운 사용 사례를 증명할 수 있습니다. 이는 사용자가 원래 신청하지 않았던 새 사용 사례의 서비스를 사용하려고 할 때마다 필요합니다.

이 오류는 일반적으로 단일 API 요청에 배열로 포함할 텍스트 배치를 보내려고 할 때 발생합니다. 현재 Azure OpenAI는 text-embedding-ada-002 버전 2 모델에 대해 여러 입력이 있는 포함 배열만 지원합니다. 이 모델 버전은 API 요청당 최대 16개의 입력으로 구성된 배열을 지원합니다. text-embedding-ada-002(버전 2) 모델을 사용하는 경우 배열 길이는 최대 8,191개 토큰일 수 있습니다.

프롬프트 엔지니어링 소개를 확인하세요. 이러한 모델은 매우 강력하지만 동작도 사용자에게서 받은 프롬프트에 매우 중요합니다. 따라서 프롬프트 생성은 개발해야 하는 중요한 기술에 해당합니다. 소개를 완료한 후 고급 프롬프트 엔지니어링 기술에 대한 문서를 확인하세요.

이는 Azure OpenAI Studio의 기본 로그인 환경을 사용할 때 예상되는 동작입니다.

Azure OpenAI 리소스에 대한 액세스 권한이 부여된 게스트 계정에서 Azure OpenAI Studio에 액세스하려면 다음을 수행합니다.

1. 프라이빗 브라우저 세션을 열고 https://oai.azure.com로 이동합니다.
2. 게스트 계정 자격 증명을 즉시 입력하는 대신 Sign-in options을 선택하세요.
3. 이제 조직에 로그인을 선택하세요.
4. Azure OpenAI 리소스에 대한 게스트 계정 액세스 권한을 부여한 조직의 도메인 이름을 입력합니다.
5. 이제 게스트 계정 자격 증명으로 로그인하세요.

이제 Azure OpenAI Studio를 통해 리소스에 액세스할 수 있습니다.

또는 Azure OpenAI 리소스의 개요 창에서 Azure portal에 로그인한 경우 Azure OpenAI Studio로 이동을 선택하여 적절한 조직 컨텍스트로 자동 로그인할 수 있습니다.

실행 중인 Azure OpenAI 모델(GPT-4 포함)을 올바르게 식별할 수 없는 것은 예상되는 동작입니다.

이런 문제가 발생하는 이유는 무엇인가요?

궁극적으로 해당 모델은 질문에 대한 응답으로 다음 토큰 예측을 수행합니다. 모델에는 질문에 대답하기 위해 현재 실행 중인 모델 버전을 쿼리하는 네이티브 기능이 없습니다. 이 질문에 대답하려면 항상 Azure OpenAI Studio>관리>배포>로 이동하고, 모델 이름 열을 참조하여 현재 지정된 배포 이름과 연결된 모델을 확인할 수 있습니다.

"어떤 모델을 실행하고 있나요?" 또는 "OpenAI의 최신 모델은 무엇인가요?"라는 질문은 모델에 오늘 날씨가 어떨지 묻는 것과 비슷한 품질의 결과를 생성합니다. 올바른 결과를 반환할 수 있지만 순전히 우연일 수도 있습니다. 모델 자체에는 어떤 학습/학습 데이터 부분인지를 제외한 실제 정보가 없습니다. GPT-4의 경우 2023년 8월 현재 기본 학습 데이터는 2021년 9월까지만 있습니다. GPT-4는 2023년 3월까지 릴리스되지 않았으므로 OpenAI가 업데이트된 학습 데이터가 있는 새 버전이나 이러한 특정 질문에 답변하도록 미세 조정된 새 버전을 릴리스하는 것을 금지하므로 GPT-4는 GPT-3이 OpenAI의 최신 모델 릴리스라고 응답할 것으로 예상됩니다.

GPT 기반 모델이 "실행 중인 모델은 무엇인가요?"라는 질문에 정확하게 응답할 수 있도록 하려면 최신 정보가 쿼리 타임에 시스템 메시지에 주입되는 데이터에 대한 Azure OpenAI에서 사용되는 기술인 모델의 시스템 메시지의 프롬프트 엔지니어링, RAG(검색 증강 세대)와 같은 기술을 통해 또는 모델의 특정 버전을 미세 조정하여 모델 버전에 따라 특정 방식으로 해당 질문에 답변할 수 있는 미세 조정을 통해 모델에 해당 정보를 제공해야 합니다.

GPT 모델을 학습시키고 작동시키는 방법에 대해 자세히 알아보려면 빌드 2023의 GPT 상태에 대한 Andrej Karpathy 강연을 시청하는 것이 좋습니다.

이는 정상적인 동작입니다. 모델은 자신에 대한 질문에 대답할 수 없습니다. 모델의 학습 데이터에 대한 지식 기준을 알고 싶다면 모델 페이지를 참조하세요.

이는 정상적인 동작입니다. 먼저 모든 최근 이벤트가 모델의 학습 데이터의 일부였다는 보장이 없습니다. 또한 정보가 학습 데이터의 일부였어도 RAG(검색 증강 생성)와 같은 추가 기술을 사용하여 모델 응답의 기준으로 사용하지 않으면 기준에 맞지 않는 응답이 표시될 가능성이 항상 있습니다. Azure OpenAI의 데이터 사용 기능과 Bing Chat은 검색 증강 생성과 결합된 Azure OpenAI 모델을 사용하여 추가적으로 모델 응답의 기준으로 사용합니다.

학습 데이터에 지정된 정보가 나타나는 빈도는 모델이 특정 방식으로 응답할 가능성에도 영향을 줄 수 있습니다.

최신 GPT-4 Turbo Preview 모델에게 "Who is the prime minister of New Zealand?"와 같이 최근에 변경된 내용을 물어보면 작성된 응답 Jacinda Ardern이 표시될 수 있습니다. 그렇지만 모델에 "When did Jacinda Ardern step down as prime minister?"라고 질문하면 적어도 2023년 1월까지의 학습 데이터 지식을 보여주는 정확한 응답이 생성될 수 있습니다.

따라서 학습 데이터 지식 기준을 추측하기 위해 질문과 함께 모델을 검색할 수 있지만 모델의 페이지는 모델의 지식 기준을 확인하는 가장 좋은 위치입니다.

레거시 가격 책정 정보는 다운로드 가능한 PDF 파일을 통해 사용할 수 있습니다. 다른 모든 모델은 공식 가격 책정 페이지를 참조하세요.

프롬프트의 온도를 1 미만으로 줄이고 재시도 논리가 있는 클라이언트를 사용하도록 하여 이러한 오류 발생을 최소화할 수 있습니다. 요청을 다시 시도하면 응답이 성공하는 경우가 많습니다.

서비스가 처리를 수행하는 경우 상태 코드가 성공하지 않은 경우(200이 아님)에도 요금이 청구됩니다. 이에 대한 일반적인 예로는 콘텐츠 필터 또는 입력 제한으로 인한 400 오류 또는 시간 제한으로 인한 408 오류가 있습니다. content_filter의 finish_reason과 함께 status 200이 수신되면 요금도 청구됩니다. 이 경우 프롬프트에는 문제가 없었지만 모델에서 생성된 완료가 콘텐츠 필터링 규칙을 위반한 것으로 검색되어 완료가 필터링되었습니다. 서비스가 처리를 수행하지 않으면 요금이 청구되지 않습니다. 예를 들어, 인증으로 인한 401 오류 또는 속도 제한 초과로 인한 429 오류가 있습니다.

현재 높은 수요, 예정된 제품 개선 사항, 책임 있는 AI에 대한 Microsoft의 약속을 탐색하기 때문에 액세스가 제한됩니다. 현재 우리는 Microsoft와의 기존 파트너십, 위험이 낮은 사용 사례 및 완화 통합에 전념하는 고객과 협력하고 있습니다. 초기 액세스를 위해서는 지금 신청에서 신청하세요.

현재 액세스 승인에 대한 타임라인을 제공하지 않습니다.

월별 업데이트는 새로운 기능 페이지를 참조하세요.

Azure OpenAI 교육 과정에 대한 소개를 확인하세요.

• Microsoft Q&A에 질문을 게시하는 것이 좋습니다.
• 또는 Stack Overflow에 질문을 게시할 수 있습니다.

Azure OpenAI는 Azure AI 서비스의 일부입니다. 지원 및 도움말 옵션 가이드에서 Azure AI 서비스에 대한 모든 지원 옵션에 대해 알아볼 수 있습니다.

Azure OpenAI 모델 가용성 가이드를 참조하세요.

지역 가용성은 Azure OpenAI 모델 가용성 가이드를 참조하세요.

미세 조정에 성공적으로 액세스하려면 Cognitive Services OpenAI 기여자가 할당되어야 합니다. 고급 서비스 관리자 권한이 있는 사용자도 미세 조정에 액세스하기 위해 이 계정을 명시적으로 설정해야 합니다. 자세한 내용은 역할 기반 액세스 제어 지침을 검토하세요.

기본 모델은 특정 사용 사례에 맞게 사용자 지정되거나 미세 조정되지 않은 모델입니다. 미세 조정된 모델은 고유한 프롬프트 집합에서 모델의 가중치를 학습하는 기본 모델의 사용자 지정 버전입니다. 미세 조정된 모델을 사용하면 완료 프롬프트의 일부로 컨텍스트 내 학습에 대한 자세한 예제를 제공할 필요 없이 더 많은 작업에서 더 나은 결과를 얻을 수 있습니다. 자세한 내용은 미세 조정 가이드를 검토하세요.

100

현재 정의된 API 응답 시간 SLA(서비스 수준 약정)가 없습니다. Azure OpenAI Service SLA에 대한 자세한 내용은 온라인 서비스 SLA(서비스 수준 계약) 페이지를 참조하세요.

사용자 지정된(미세 조정된) 모델이 15일 이상 배포되고, 이 기간 동안 완료되거나 채팅이 완료되지 않으면 배포는 자동으로 삭제됩니다(해당 배포에 대한 추가 호스팅 비용은 발생하지 않습니다). 기본 사용자 지정된 모델은 계속 사용 가능하며 언제든지 다시 배포할 수 있습니다. 자세한 내용은 방법 문서를 확인하세요.

현재 모델 배포를 허용하는 두 가지 REST API가 있습니다. text-embedding-ada-002 버전 2와 같은 모델을 배포하는 동안 모델 버전을 지정하는 기능과 같은 최신 모델 배포 기능을 사용하려면 배포 - 생성 또는 업데이트 REST API 호출을 사용하세요.

아니요, TPM(분당 토큰 할당량) 할당은 모델의 최대 입력 토큰 제한과 관련이 없습니다. 모델 입력 토큰 제한은 모델 테이블에 정의되어 있으며 TPM 변경 내용의 영향을 받지 않습니다.

아니요, 현재 GPT-4의 이미지 기능을 미세 조정하는 것은 지원되지 않습니다.

아니요, dall-e-3를 사용하여 이미지를 생성하고 gpt-4-visual-preview를 사용하여 이미지를 이해할 수 있습니다.

현재 PNG(.png), JPEG(.jpeg 및 .jpg), WEBP(.webp) 및 비애니메이션 GIF(.gif)를 지원합니다.

예, 이미지 업로드를 이미지당 20MB로 제한합니다.

아니요, 모델에서 처리한 후 자동으로 이미지를 삭제합니다.

토큰 수준에서 이미지를 처리하므로 처리하는 각 이미지는 TPM(분당 토큰) 제한에 따라 개수를 계산합니다. 이미지당 토큰 수를 결정하는 데 사용되는 수식에 대한 자세한 내용은 개요의 이미지 토큰 섹션을 참조하세요.

아니요, 모델은 이미지 메타데이터를 받지 않습니다.

이미지가 모호하거나 명확하지 않은 경우 모델은 이미지를 해석하기 위해 최선을 다합니다. 그러나 결과는 정확도가 낮을 수 있습니다. 적절한 경험 법칙은 평균적인 사람이 낮은/높은 해상도 모드에서 사용되는 해상도에서 이미지의 정보를 볼 수없는 경우 모델도 마찬가지라는 것입니다.

GPT-4 Turbo with Vision 개념 가이드의 제한 사항을 참조하세요.

기본적으로 GPT-4 vision-preview 및 GPT-4 turbo-2024-04-09 의 값은 max_tokens 16입니다. 요청에 따라 이 값이 너무 낮아 응답이 잘리는 경우가 많습니다. 이 문제를 해결하려면 채팅 완료 API 요청의 일부로 더 큰 max_tokens 값을 전달합니다. GPT-4o는 기본적으로 4096 max_tokens.

예. 채팅 완료 API와 달리 Azure OpenAI 도우미는 상태 저장 API이므로 데이터를 보존합니다. 도우미 API에는 두 가지 형식의 데이터가 저장됩니다.

• 상태 저장 엔터티: 도우미 사용 중에 만들어진 스레드, 메시지 및 실행입니다.
• 파일: 도우미 설정 중에 또는 메시지의 일부로 업로드됩니다.

데이터는 논리적으로 분리된 안전한 Microsoft 관리 스토리지 계정에 저장됩니다.

이 데이터를 명시적으로 삭제하지 않는 한 사용된 모든 데이터는 이 시스템에 유지됩니다. 삭제하려는 스레드의 스레드 ID와 함께 삭제 함수를 사용합니다. 도우미 플레이그라운드에서 실행을 지워도 스레드는 삭제되지 않지만, 삭제 함수를 사용하여 삭제하면 스레드 페이지에 나열되지 않습니다.

아니요. 현재 도우미는 도우미 관리 스토리지에 업로드된 로컬 파일만 지원합니다. 도우미에서는 프라이빗 스토리지 계정을 사용할 수 없습니다.

현재는 도우미의 스레드 및 파일에 대한 CMK를 지원합니다. 이 기능에 사용할 수 있는 지역에 대한 새로운 기능 페이지를 참조하세요.

아니요. 데이터는 모델 학습에 사용되지 않는 Microsoft에는 사용되지 않습니다. 자세한 내용은 책임 있는 AI 설명서를 참조하세요.

Azure OpenAI 도우미 엔드포인트는 지역적이며 데이터는 엔드포인트와 동일한 지역에 저장됩니다. 자세한 내용은 Azure 데이터 보존 설명서를 참조하세요.

• 각 도우미에 사용 중인 기본 모델의 유추 비용(입력 및 출력)입니다(예: gpt-4-0125). 여러 도우미를 만든 경우 각 도우미에 연결된 기본 모델에 대한 요금이 부과됩니다.
• 코드 해석기 도구를 사용하도록 설정한 경우. 예를 들어, 도우미가 서로 다른 두 스레드에서 동시에 코드 인터프리터를 호출하는 경우 두 개의 코드 인터프리터 세션이 만들어지며 각 세션에 요금이 부과됩니다. 각 세션은 기본적으로 1시간 동안 활성화됩니다. 즉, 사용자가 최대 1시간 동안 동일한 스레드에서 코드 인터프리터에 계속 지침을 제공하는 경우 이 요금은 한 번만 지불하면 됩니다.
• 파일 검색은 현재 요금이 청구되지 않습니다.

자세한 내용은 가격 책정 페이지를 참조하십시오.

아니요. 도우미와 함께 모델을 사용하는 경우 모든 할당량이 적용됩니다.

도우미 API는 Azure OpenAI 모델만 지원합니다.

도우미 API는 현재 공개 미리 보기 상태입니다. 정기적으로 새로운 기능 페이지를 방문하여 최신 제품 업데이트에 대한 정보를 받아보세요.

도우미 시작 및 사용에 대한 자세한 내용은 개념, 빠른 시작, 방법 문서를 참조하세요. GitHub에서 Azure OpenAI 도우미 코드 샘플을 확인할 수도 있습니다.

Azure portal에서 게시된 웹앱을 사용자 지정할 수 있습니다. 게시된 웹앱의 원본 코드는 GitHub에서 사용할 수 있으며, 여기에서 앱 프런트엔드 변경에 대한 정보는 물론 앱 빌드 및 배포에 대한 지침을 찾을 수 있습니다.

앱을 업데이트해도 앱 코드는 덮어쓰이지 않습니다. 앱은 모양이나 기능을 변경하지 않고 Azure OpenAI 리소스, Azure AI Search 인덱스(Azure OpenAI on your data를 사용하는 경우) 및 Azure OpenAI Studio에서 선택한 모델 설정을 사용하도록 업데이트됩니다.

데이터에 대한 Azure OpenAI는 조직이 지정된 데이터 원본을 사용하여 사용자 지정 통찰력, 콘텐츠 및 검색을 생성하는 데 도움이 되는 Azure OpenAI 서비스의 기능입니다. Azure OpenAI의 OpenAI 모델 기능과 함께 작동하여 자연어로 사용자 쿼리에 더 정확하고 관련성 있는 응답을 제공합니다. 데이터에 대한 Azure OpenAI는 고객의 기존 애플리케이션 및 워크플로와 통합될 수 있고 핵심 성과 지표에 대한 통찰력을 제공하며 사용자와 원활하게 상호 작용할 수 있습니다.

모든 Azure OpenAI 고객은 Azure AI Studio 및 Rest API를 통해 데이터에 Azure OpenAI를 사용할 수 있습니다.

Azure OpenAI on your data는 Azure AI Search, Azure Blob Storage에서의 수집 및 로컬 파일 업로드를 지원합니다. 개념 문서 및 빠른 시작에서 데이터에 대한 Azure OpenAI에 대해 자세히 알아볼 수 있습니다.

Azure OpenAI on your data를 사용하는 경우 Azure AI Search, Azure Blob Storage, Azure Web App Service, 의미 체계 검색 및 OpenAI 모델을 사용하면 비용이 발생합니다. Azure AI Studio에서 "사용자 데이터" 기능을 사용하는 데 드는 추가 비용은 없습니다.

GitHub에서 제공되는 스크립트를 사용하여 직접 인덱스를 준비할 수 있습니다. 이 스크립트를 사용하면 데이터를 더 효과적으로 사용하는 데 필요한 모든 정보가 포함된 Azure AI 검색 인덱스가 생성되며, 문서는 관리 가능한 청크로 분류됩니다. 실행 방법에 대한 자세한 내용은 데이터 준비 코드가 포함된 추가 정보 파일을 참조하세요.

자동 인덱스 새로 고침을 예약하거나 Azure Blob 컨테이너에 추가 데이터를 업로드하고 새 인덱스를 만들 때 이를 데이터 원본으로 사용할 수 있습니다. 새 인덱스에는 컨테이너의 모든 데이터가 포함됩니다.

지원되는 파일 형식에 대한 자세한 내용은 데이터 사용을 참조하세요.

예, 데이터의 Azure OpenAI는 Azure OpenAI Service의 일부이며 Azure OpenAI에서 사용할 수 있는 모델과 함께 작동합니다. Azure OpenAI의 콘텐츠 필터링 및 남용 모니터링 기능은 계속 적용됩니다. 자세한 내용은 Azure OpenAI 모델에 대한 책임 있는 AI 관행 개요를 참조하고, 데이터에 Azure OpenAI를 책임 있게 사용하는 방법에 대한 추가 지침은 Azure OpenAI에 대한 투명성 참고 사항을 참조하세요.

예, 시스템 메시지의 토큰 제한은 400입니다. 시스템 메시지가 400개 이상의 토큰인 경우 처음 400개를 초과하는 나머지 토큰은 무시됩니다. 이 제한은 Azure OpenAI on your data 기능에만 적용됩니다.

Azure OpenAI on your data는 현재 함수 호출을 지원하지 않습니다.

데이터와 동일한 언어로 쿼리를 보내야 합니다. 데이터는 Azure AI Search에서 지원하는 모든 언어로 제공될 수 있습니다.

데이터 원본으로 "Azure AI Search"를 선택하면 의미 체계 검색을 적용하도록 선택할 수 있습니다. 데이터 원본으로 "Azure Blob 컨테이너" 또는 "파일 업로드"를 선택하면 평소와 같이 인덱스를 만들 수 있습니다. 그런 다음, "Azure AI 검색" 옵션을 사용하여 데이터를 다시 수집하여 동일한 인덱스를 선택하고 의미 체계 검색을 적용합니다. 그러면 의미 체계 검색이 적용된 데이터에 대해 채팅할 준비가 됩니다.

데이터 원본으로 "Azure Blob 컨테이너", "Azure AI Search" 또는 "파일 업로드"를 선택하는 경우 데이터를 수집할 때 사용할 Ada 포함 모델 배포를 선택할 수도 있습니다. 그러면 벡터 포함이 있는 Azure AI Search 인덱스가 생성됩니다.

Ada 포함 모델 배포의 속도 제한이 너무 낮거나 문서 집합이 매우 큰 경우 인덱스에 포함을 추가할 때 인덱스 만들기가 실패할 수 있습니다. GitHub에 제공된 이 스크립트를 사용하여 포함이 있는 인덱스를 수동으로 만들 수 있습니다.

고객 저작권 약정은 출력 콘텐츠와 관련된 특정 타사 지적 재산권 클레임에 대해 고객을 보호해야 하는 Microsoft의 의무를 설명하는 Microsoft 제품 약관인 2023년 12월 1일에 포함될 조항입니다. 클레임의 주체가 Azure OpenAI Service(또는 고객이 안전 시스템을 구성할 수 있도록 하는 기타 적용 대상 제품)에서 생성된 출력 콘텐츠인 경우 적용 범위에 속하려면 고객은 출력 콘텐츠를 제공하는 제품에서 Azure OpenAI 서비스 설명서에 필요한 모든 완화를 구현해야 합니다. 필요한 완화 방법은 여기에 문서화되어 있으며 지속적으로 업데이트됩니다. 새 서비스, 기능, 모델 또는 사용 사례의 경우 새 CCC 요구 사항이 게시되며 이러한 서비스, 기능, 모델 또는 사용 사례가 출시될 때 또는 그 이후에 적용됩니다. 그렇지 않으면 고객은 게시 시점으로부터 6개월 이내에 CCC의 적용 범위에 속하기 위해 새로운 완화를 구현합니다. 고객이 클레임을 제안하는 경우 고객은 관련 요구 사항 준수를 입증해야 합니다. 고객이 Azure OpenAI 서비스를 포함하여 안전 시스템을 구성할 수 있도록 하는 적용 대상 제품에는 이러한 완화가 필요합니다. 다른 적용 대상 제품을 사용하는 고객의 적용 범위에는 영향을 주지 않습니다.

다음 단계

• Azure OpenAI 할당량 및 한도
• Azure OpenAI의 새로운 기능
• Azure OpenAI 빠른 시작