Azure OpenAI 도우미 API(미리 보기)
Azure OpenAI Service의 새로운 기능인 도우미가 이제 공개 미리 보기로 제공됩니다. 도우미 API를 사용하면 개발자는 데이터를 조사하고, 솔루션을 제안하고, 작업을 자동화할 수 있는 정교한 Copilot과 같은 환경을 갖춘 애플리케이션을 더 쉽게 만들 수 있습니다.
- 도우미는 특정 지침을 사용하여 Azure OpenAI의 모델을 호출하여 성격과 기능을 조정할 수 있습니다.
- 도우미는 여러 도구에 동시에 액세스할 수 있습니다. 이는 코드 인터프리터 및 파일 검색과 같은 Azure OpenAI 호스트된 도구이거나 함수 호출을 통해 빌드, 호스트된 및 액세스하는 도구일 수 있습니다.
- 도우미는 영구 스레드에 액세스할 수 있습니다. 스레드는 메시지 기록을 저장하고 모델의 컨텍스트 길이에 비해 대화가 너무 길어지면 이를 잘라서 AI 애플리케이션 개발을 간소화합니다. 스레드를 한 번 만들고 사용자가 회신하면 메시지를 추가하기만 하면 됩니다.
- 도우미는 다양한 형식의 파일에 액세스할 수 있습니다. 만들기의 일부로 또는 도우미와 사용자 간의 스레드의 일부로 액세스합니다. 도구를 사용할 때 도우미는 파일(예: 이미지 또는 스프레드시트)을 만들고 자신이 만든 메시지에서 참조하는 파일을 인용할 수도 있습니다.
개요
이전에는 사용자 지정 AI 도우미를 빌드하려면 숙련된 개발자라도 힘든 일을 해야 했습니다. 채팅 완료 API는 가볍고 강력하지만 본질적으로 상태 비저장입니다. 즉, 개발자는 대화 상태와 채팅 스레드, 도구 통합, 문서 및 인덱스 검색을 관리하고 코드를 수동으로 실행해야 했습니다.
채팅 완료 API의 상태 저장 발전인 도우미 API는 이러한 문제에 대한 솔루션을 제공합니다. 도우미 API는 지속적으로 자동 관리되는 스레드를 지원합니다. 즉, 개발자는 더 이상 대화 상태 관리 시스템을 개발하고 모델의 컨텍스트 창 제약 조건을 해결할 필요가 없습니다. 도우미 API는 스레드를 선택한 모델의 최대 컨텍스트 창 아래로 유지하기 위해 최적화를 자동으로 처리합니다. 스레드를 만들면 사용자가 응답할 때 새 메시지를 간단히 추가할 수 있습니다. 필요한 경우 도우미는 여러 도구에 동시에 액세스할 수도 있습니다. 이러한 도구에는 다음이 포함됩니다.
도우미 API는 OpenAI의 GPT 제품을 구동하는 것과 동일한 기능을 기반으로 빌드되었습니다. 가능한 사용 사례로는 AI 기반 제품 권장, 영업 분석이 앱, 코딩 도우미, 직원 Q&A 챗봇 등이 있습니다. Azure AI Studio의 코드 없는 길잡이 놀이터에서 빌드를 시작하거나 API를 사용하여 빌드를 시작합니다.
Important
기능 호출, 파일 입력이 포함된 코드 인터프리터 또는 파일 검색, 보조 스레드 기능을 사용하여 신뢰할 수 없는 데이터를 검색하면 도우미 또는 도우미를 사용하는 애플리케이션의 보안이 손상될 수 있습니다. 여기에서 완화 방식에 대해 알아봅니다.
도우미 플레이그라운드
빠른 시작 가이드에서 도우미 플레이그라운드에 대한 안내를 제공합니다. 이는 도우미의 기능을 테스트할 수 있는 코드 없는 환경을 제공합니다.
도우미 구성 요소
| 구성 요소 | 설명 |
|---|---|
| 도우미 | 도구와 함께 Azure OpenAI 모델을 사용하는 사용자 지정 AI입니다. |
| 스레드 | 도우미와 사용자 간의 대화 세션입니다. 스레드는 메시지를 저장하고 자동으로 잘림을 처리하여 콘텐츠를 모델의 컨텍스트에 맞춥니다. |
| Message | 도우미 또는 사용자가 작성한 메시지입니다. 메시지에는 텍스트, 이미지 및 기타 파일이 포함될 수 있습니다. 메시지는 스레드에 목록으로 저장됩니다. |
| Run | 스레드의 콘텐츠에 따라 실행을 시작하기 위한 도우미 활성화. 도우미는 구성과 스레드의 메시지를 사용하여 모델과 도구를 호출하여 작업을 수행합니다. 실행의 일부로 도우미는 스레드에 메시지를 추가합니다. |
| 실행 단계 | 도우미가 실행의 일부로 수행한 단계의 세부 목록입니다. 도우미는 실행 중에 도구를 호출하거나 메시지를 만들 수 있습니다. 실행 단계를 조사하면 도우미가 최종 결과를 가져오는 방법을 이해할 수 있습니다. |
도우미 데이터 액세스
현재 도우미용으로 만들어진 도우미, 스레드, 메시지 및 파일의 범위는 Azure OpenAI 리소스 수준으로 지정됩니다. 따라서 Azure OpenAI 리소스 또는 API 키 액세스 권한이 있는 사람은 누구나 도우미, 스레드, 메시지 및 파일을 읽고 쓸 수 있습니다.
다음과 같은 데이터 액세스 제어를 강력히 권장합니다.
- 권한 부여를 구현합니다. 도우미, 스레드, 메시지 및 파일에 대한 읽기 또는 쓰기를 수행하기 전에 최종 사용자에게 해당 작업을 수행할 수 있는 권한이 있는지 확인합니다.
- Azure OpenAI 리소스 및 API 키 액세스를 제한합니다. 도우미가 사용되는 Azure OpenAI 리소스 및 관련 API 키에 액세스할 수 있는 사용자를 신중하게 고려합니다.
- Azure OpenAI 리소스에 액세스할 수 있는 계정/개인을 정기적으로 감사합니다. API 키와 리소스 수준 액세스를 통해 메시지와 파일 읽기 및 수정을 포함한 광범위한 작업이 가능합니다.
- Azure OpenAI 리소스 활동 로그의 특정 양상을 장기간 추적할 수 있도록 하려면 진단 설정을 사용하도록 설정합니다.
매개 변수
도우미 API는 도우미의 출력을 사용자 지정할 수 있는 여러 매개 변수를 지원합니다. tool_choice 매개 변수를 사용하면 도우미가 지정된 도구를 사용하도록 강제할 수 있습니다. 또한 assistant 역할로 메시지를 만들어 스레드에서 사용자 지정 대화 기록을 만들 수도 있습니다. temperature, top_p, response_format을 사용하면 응답을 추가로 조정할 수 있습니다. 자세한 내용은 참조 설명서를 참조하세요.
컨텍스트 창 관리
도우미는 모델의 최대 컨텍스트 길이 내에 유지되도록 텍스트를 자동으로 자릅니다. 실행에 활용하려는 최대 토큰 수 및/또는 실행에 포함할 최근 메시지의 최대 수를 지정하여 이 동작을 사용자 지정할 수 있습니다.
최대 완료 및 최대 프롬프트 토큰
단일 실행에서 토큰 사용을 제어하려면 실행을 만들 때 max_prompt_tokens 및 max_completion_tokens를 설정합니다. 이러한 제한은 실행 수명 주기 동안 모든 완료에 사용되는 총 토큰 수에 적용됩니다.
예를 들어, max_prompt_tokens를 500으로 설정하고 max_completion_tokens를 1000으로 설정하여 실행을 시작하면 첫 번째 완료 시 스레드가 500개 토큰으로 자르고 출력이 토큰 1,000개로 제한됩니다. 첫 번째 완료에서 프롬프트 토큰 200개와 완료 토큰 300개만 사용하는 경우 두 번째 완료에서는 프롬프트 토큰 300개와 완료 토큰 700개로 제한됩니다.
완료가 max_completion_tokens 제한에 도달하면 실행이 완료되지 않은 상태로 종료되고 세부 정보는 Run 개체의 incomplete_details 필드에 제공됩니다.
파일 검색 도구를 사용할 때 max_prompt_tokens를 20,000 이상으로 설정하는 것이 좋습니다. 더 긴 대화 또는 파일 검색과의 여러 상호 작용의 경우 이 제한을 50,000으로 늘리거나 이상적으로는 max_prompt_tokens 제한을 모두 제거하여 최고 품질의 결과를 가져옵니다.
잘림 전략
스레드가 모델의 컨텍스트 창에 렌더링되는 방법을 제어하기 위해 잘림 전략을 지정할 수도 있습니다. auto 형식의 잘림 전략을 사용하면 OpenAI의 기본 잘림 전략이 사용됩니다. last_messages 형식의 잘림 전략을 사용하면 컨텍스트 창에 포함할 가장 최근 메시지 수를 지정할 수 있습니다.
참고 항목
- 도우미 및 파일 검색에 대해 자세히 알아보기
- 도우미 및 코드 해석기에 대해 자세히 알아봅니다.
- 도우미 및 함수 호출에 대해 자세히 알아봅니다.
- Azure OpenAI 도우미 API 샘플