빠른 시작: AI 채팅에서 이미지 사용

Azure OpenAI Studio를 통해 코드 없는 접근 방식으로 GPT-4 Turbo with Vision 기능 탐색을 시작합니다.

필수 구성 요소

  • Azure 구독 체험 계정 만들기
  • 원하는 Azure 구독의 Azure OpenAI에 대한 액세스 권한. 현재 이 서비스에 대한 액세스 권한은 애플리케이션에서만 부여됩니다. https://aka.ms/oai/access에서 양식을 작성하여 Azure OpenAI에 대한 액세스를 신청할 수 있습니다. 문제가 있는 경우 이 리포지토리에서 문제를 엽니다.
  • GPT-4 Turbo with Vision 모델이 배포된 Azure OpenAI Service 리소스. 사용 가능한 지역은 GPT-4 및 GPT-4 Turbo Preview 모델 가용성을 참조하세요. 리소스 생성에 대한 자세한 내용은 리소스 배포 가이드를 참조하세요.
  • Vision 향상(선택 사항): Azure OpenAI 리소스와 동일한 지역의 유료(S1) 계층에 있는 Azure Computer Vision 리소스.

참고 항목

현재 GPT-4 Turbo with Vision 모델에 대한 콘텐츠 필터링을 끄는 것은 지원되지 않습니다.

Azure OpenAI Studio로 이동

Azure OpenAI Studio를 찾아보고 Azure OpenAI 리소스와 연결된 자격 증명으로 로그인합니다. 로그인 워크플로 도중 또는 이후에 적절한 디렉터리, Azure 구독 및 Azure OpenAI 리소스를 선택합니다.

관리에서 배포를 선택하고 모델 이름: "gpt-4" 및 모델 버전 "vision-preview"를 선택하여 GPT-4 Turbo with Vision 배포를 만듭니다. 모델 배포에 대한 자세한 내용은 리소스 배포 가이드를 참조하세요.

플레이그라운드 섹션에서 채팅을 선택합니다.

플레이그라운드

이 페이지에서 모델의 기능을 빠르게 반복하고 실험할 수 있습니다.

도우미 설정, 채팅 세션, 설정 및 패널에 대한 일반적인 도움말은 채팅 빠른 시작을 참조하세요.

채팅 세션을 시작하여 이미지 또는 비디오 분석

이 채팅 세션에서는 입력한 이미지를 이해하는 데 도움을 주도록 도우미에게 지시합니다.

  1. 시작하려면 드롭다운에서 GPT-4 Turbo with Vision 배포를 선택합니다.

  2. 도우미 설정 창에서 도우미를 안내하는 시스템 메시지를 제공합니다. 기본 시스템 메시지는 "당신은 사람들이 정보를 찾을 수 있도록 도와주는 AI 도우미입니다."입니다. 업로드하는 이미지나 시나리오에 맞게 시스템 메시지를 조정할 수 있습니다.

    참고 항목

    모델의 도움이 되지 않는 응답을 방지하기 위해 시스템 메시지를 작업에 맞게 업데이트하는 것이 좋습니다.

  3. 변경 내용을 저장하고 시스템 메시지 업데이트를 확인하라는 메시지가 표시되면 계속선택합니다.

  4. 채팅 세션 창에서 "이 이미지를 설명하세요."와 같은 텍스트 프롬프트를 입력하고 첨부 파일 단추를 사용하여 이미지를 업로드합니다. 사용 사례에 따라 다른 텍스트 프롬프트를 사용할 수 있습니다. 그런 다음, 보내기를 선택합니다.

  5. 제공된 출력을 관찰합니다. 자세한 내용을 알아보려면 이미지 분석과 관련된 후속 질문을 하는 것이 좋습니다.

OpenAI 스튜디오 채팅 플레이그라운드의 스크린샷.

리소스 정리

Azure OpenAI 리소스를 정리하고 제거하려면 리소스 또는 리소스 그룹을 삭제하면 됩니다. 리소스 그룹을 삭제하면 해당 리소스 그룹에 연결된 다른 모든 리소스가 함께 삭제됩니다.

이 문서를 통해 Azure OpenAI REST API를 사용하여 GPT-4 Turbo with Vision 모델을 배포하고 사용하기 시작합니다.

필수 구성 요소

  • Azure 구독 체험 계정 만들기
  • 원하는 Azure 구독의 Azure OpenAI에 대한 액세스 권한. 현재 이 서비스에 대한 액세스 권한은 애플리케이션에서만 부여됩니다. https://aka.ms/oai/access에서 양식을 작성하여 Azure OpenAI에 대한 액세스를 신청할 수 있습니다. 문제가 있는 경우 이 리포지토리에서 문제를 엽니다.
  • Python 3.8 이상 버전
  • 다음 Python 라이브러리: requests, json
  • GPT-4 Turbo with Vision 모델이 배포된 Azure OpenAI Service 리소스. 사용 가능한 지역은 GPT-4 및 GPT-4 Turbo Preview 모델 가용성을 참조하세요. 리소스 생성에 대한 자세한 내용은 리소스 배포 가이드를 참조하세요.
  • Vision 향상(선택 사항): Azure OpenAI 리소스와 동일한 지역의 유료(S1) 계층에 있는 Azure Computer Vision 리소스.

참고 항목

현재 GPT-4 Turbo with Vision 모델에 대한 콘텐츠 필터링을 끄는 것은 지원되지 않습니다.

키 및 엔드포인트 검색

Azure OpenAI API를 성공적으로 호출하려면 Azure OpenAI 리소스에 대한 다음 정보가 필요합니다.

변수 속성
엔드포인트 api_base 엔드포인트 값은 Azure Portal에서 리소스에 대한 키 및 엔드포인트 아래에 있습니다. 또는 Azure OpenAI Studio>플레이그라운드>코드 보기에서 값을 찾을 수 있습니다. 예제 엔드포인트는 https://docs-test-001.openai.azure.com/입니다.
Key api_key 키 값도 Azure Portal에서 리소스에 대한 키 및 엔드포인트 아래에 있습니다. Azure는 리소스에 대해 두 개의 키를 생성합니다. 둘 중 하나의 값을 사용할 수 있습니다.

Azure Portal에서 해당 리소스로 이동합니다. 탐색 창의 리소스 관리 아래에서 키 및 엔드포인트를 선택합니다. 엔드포인트 값과 액세스 키 값을 복사합니다. 키 1 또는 키 2 값을 사용할 수 있습니다. 두 개의 키를 사용하면 서비스 중단 없이 키를 안전하게 순환하고 다시 생성할 수 있습니다.

Azure Portal의 Azure OpenAI 리소스에 대한 키 및 엔드포인트 페이지를 보여 주는 스크린샷.

새 Python 애플리케이션 만들기

quickstart.py라는 새 Python 파일을 만듭니다. 선호하는 편집기 또는 IDE에서 새 파일을 엽니다.

  1. quickstart.py의 내용을 다음 코드로 바꿉니다.

    # Packages required:
    import requests 
    import json 
    
    api_base = '<your_azure_openai_endpoint>' 
    deployment_name = '<your_deployment_name>'
    API_KEY = '<your_azure_openai_key>'
    
    base_url = f"{api_base}openai/deployments/{deployment_name}" 
    headers = {   
        "Content-Type": "application/json",   
        "api-key": API_KEY 
    } 
    
    # Prepare endpoint, headers, and request body 
    endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
    data = { 
        "messages": [ 
            { "role": "system", "content": "You are a helpful assistant." }, 
            { "role": "user", "content": [  
                { 
                    "type": "text", 
                    "text": "Describe this picture:" 
                },
                { 
                    "type": "image_url",
                    "image_url": {
                        "url": "<image URL>"
                    }
                }
            ] } 
        ], 
        "max_tokens": 2000 
    }   
    
    # Make the API call   
    response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
    
    print(f"Status Code: {response.status_code}")   
    print(response.text)
    
  2. 다음과 같이 변경합니다.

    1. 해당 필드에 엔드포인트 URL 및 키를 입력합니다.

    2. 적절한 필드에 GPT-4 Turbo with Vision 배포 이름을 입력합니다.

    3. "image" 필드의 값을 이미지의 URL로 변경합니다.

      URL 대신 Base 64로 인코딩된 이미지 데이터를 사용할 수도 있습니다. 자세한 내용은 GPT-4 Turbo with Vision 방법 가이드를 참조하세요.

  3. python 명령을 사용하여 애플리케이션을 실행합니다.

    python quickstart.py
    

리소스 정리

Azure OpenAI 리소스를 정리하고 제거하려면 리소스 또는 리소스 그룹을 삭제하면 됩니다. 리소스 그룹을 삭제하면 해당 리소스 그룹에 연결된 다른 모든 리소스가 함께 삭제됩니다.

이 문서를 통해 Azure OpenAI Python SDK를 사용하여 GPT-4 Turbo with Vision 모델을 배포하고 사용하기 시작합니다.

라이브러리 소스 코드 | 패키지(PyPi) |

필수 구성 요소

  • Azure 구독 체험 계정 만들기
  • 원하는 Azure 구독의 Azure OpenAI에 대한 액세스 권한. 현재 이 서비스에 대한 액세스 권한은 애플리케이션에서만 부여됩니다. https://aka.ms/oai/access에서 양식을 작성하여 Azure OpenAI에 대한 액세스를 신청할 수 있습니다. 문제가 있는 경우 이 리포지토리에서 문제를 엽니다.
  • Python 3.8 이상 버전
  • 다음 Python 라이브러리: os
  • GPT-4 Turbo with Vision 모델이 배포된 Azure OpenAI Service 리소스. 사용 가능한 지역은 GPT-4 및 GPT-4 Turbo Preview 모델 가용성을 참조하세요. 리소스 생성에 대한 자세한 내용은 리소스 배포 가이드를 참조하세요.
  • Vision 향상(선택 사항): Azure OpenAI 리소스와 동일한 지역의 유료(S1) 계층에 있는 Azure Computer Vision 리소스.

설정

다음을 사용하여 OpenAI Python 클라이언트 라이브러리를 설치합니다.

pip install openai

참고 항목

이 라이브러리는 OpenAI에서 유지 관리되며 현재 미리 보기 상태입니다. 라이브러리에 대한 최신 업데이트를 추적하려면 릴리스 기록 또는 version.py 커밋 기록을 참조하세요.

키 및 엔드포인트 검색

Azure OpenAI에 대해 성공적으로 호출하려면 엔드포인트가 필요합니다.

변수 이름
ENDPOINT 이 값은 Azure Portal에서 리소스를 검사할 때 키 및 엔드포인트 섹션에서 찾을 수 있습니다. 또는 Azure OpenAI Studio>플레이그라운드>코드 보기에서 값을 찾을 수 있습니다. 예제 엔드포인트는 https://docs-test-001.openai.azure.com/입니다.
API-KEY 이 값은 Azure Portal에서 리소스를 검사할 때 키 및 엔드포인트 섹션에서 찾을 수 있습니다. KEY1 또는 KEY2를 사용할 수 있습니다.

Azure Portal에서 해당 리소스로 이동합니다. 키 및 엔드포인트 섹션은 리소스 관리 섹션에서 찾을 수 있습니다. 엔드포인트 및 액세스 키를 복사합니다. API 호출을 인증하는 데 모두 필요합니다. KEY1 또는 KEY2를 사용할 수 있습니다. 항상 두 개의 키를 사용하면 서비스 중단 없이 키를 안전하게 회전하고 다시 생성할 수 있습니다.

엔드포인트 및 액세스 키 위치가 빨간색 원으로 표시된 Azure Portal의 OpenAI 리소스에 대한 개요 UI 스크린샷.

환경 변수

키 및 엔드포인트에 대한 영구 환경 변수를 만들고 할당합니다.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

새 Python 애플리케이션 만들기

quickstart.py라는 새 Python 파일을 만듭니다. 선호하는 편집기 또는 IDE에서 새 파일을 엽니다.

  1. quickstart.py의 내용을 다음 코드로 바꿉니다.

    from openai import AzureOpenAI
    
    api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
    api_key= os.getenv("AZURE_OPENAI_API_KEY")
    deployment_name = '<your_deployment_name>'
    api_version = '2023-12-01-preview' # this might change in the future
    
    client = AzureOpenAI(
        api_key=api_key,  
        api_version=api_version,
        base_url=f"{api_base}/openai/deployments/{deployment_name}"
    )
    
    response = client.chat.completions.create(
        model=deployment_name,
        messages=[
            { "role": "system", "content": "You are a helpful assistant." },
            { "role": "user", "content": [  
                { 
                    "type": "text", 
                    "text": "Describe this picture:" 
                },
                { 
                    "type": "image_url",
                    "image_url": {
                        "url": "<image URL>"
                    }
                }
            ] } 
        ],
        max_tokens=2000 
    )
    
    print(response)
    
  2. 다음과 같이 변경합니다.

    1. 적절한 필드에 GPT-4 Turbo with Vision 배포 이름을 입력합니다.
    2. "url" 필드의 값을 이미지의 URL로 변경합니다.

      URL 대신 Base 64로 인코딩된 이미지 데이터를 사용할 수도 있습니다. 자세한 내용은 GPT-4 Turbo with Vision 방법 가이드를 참조하세요.

  3. python 명령을 사용하여 애플리케이션을 실행합니다.

    python quickstart.py
    

리소스 정리

Azure OpenAI 리소스를 정리하고 제거하려면 리소스 또는 리소스 그룹을 삭제하면 됩니다. 리소스 그룹을 삭제하면 해당 리소스 그룹에 연결된 다른 모든 리소스가 함께 삭제됩니다.

다음 단계