GPT-4 Turbo with Vision에서 이미지를 사용하여 Azure OpenAI 엔터프라이즈 채팅

아티클
09/04/2024

Important

이 문서에 설명된 기능 중 일부는 미리 보기로만 제공될 수 있습니다. 이 미리 보기는 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.

이 문서를 사용하여 Azure OpenAI의 비전 모델인 GPT-4 Turbo with Vision에 대한 고유한 이미지 데이터를 제공하는 방법을 알아봅니다. GPT-4 Turbo with Vision 엔터프라이즈 채팅을 사용하면 모델은 사용자 고유의 이미지 및 이미지 메타데이터를 기반으로 검색 증강 생성을 사용하여 더 많은 사용자 지정 응답과 대상 응답을 생성할 수 있습니다.

팁

이 문서는 GPT-4 Turbo with Vision 모델에서 이미지 데이터를 사용하는 내용을 다룹니다. 텍스트 데이터를 사용하여 채팅 웹앱을 배포하는 방법에 대한 자습서는 엔터프라이즈 채팅 웹앱 배포를 참조하세요.

필수 조건

Azure 구독 – 체험 구독을 만듭니다.
GPT-4 Turbo with Vision 모델이 배포된 Azure OpenAI 리소스. 모델 배포에 대한 자세한 내용은 리소스 배포 가이드를 참조하세요.
Azure OpenAI 리소스에 대해 최소 Cognitive Services 기여자 역할이 할당되었는지 확인합니다.
Azure AI 검색 리소스입니다. 자세한 내용은 포털에서 Azure Search서비스 만들기를 참조하세요. Azure AI 검색 리소스가 없는 경우 이 가이드의 뒷부분에서 데이터 원본을 추가할 때 리소스를 만들라는 메시지가 표시됩니다.
Azure OpenAI 리소스 및 Azure AI 검색 리소스가 연결로 추가된 AI Studio 허브입니다.

GPT-4 Turbo with Vision 모델 배포

Azure AI 스튜디오에 로그인하고 작업하려는 허브를 선택합니다.
왼쪽 탐색 메뉴에서 AI 서비스를 선택합니다. GPT-4 Turbo 사용해 보기 패널을 선택합니다.
gpt-4 페이지에서 배포를 선택합니다. 표시되는 창에서 Azure OpenAI 리소스를 선택합니다. 모델 버전으로 vision-preview를 선택합니다.
배포를 선택합니다.
다음으로, 새 모델의 페이지로 이동하여 플레이그라운드에서 열기를 선택합니다. 채팅 플레이그라운드에서 자신이 만든 GPT-4 배포는 배포 드롭다운에서 선택해야 합니다.

이미지 데이터 원본 선택

왼쪽 창에서 데이터 추가 탭을 선택하고 데이터 원본 추가를 선택합니다.
표시되는 창에서 데이터 원본 옵션을 선택합니다. 각 옵션은 이미지에 대해 학습된 Azure AI 검색 인덱스가 사용되며 채팅 플레이그라운드에서 검색 증강 생성에 사용할 수 있습니다.
- Azure AI 검색: 기존 Azure AI 검색 인덱스가 있는 경우 데이터 원본으로 사용할 수 있습니다.
- Azure Blob Storage: Azure Blob Storage 옵션은 이미지 파일이 많고 각 파일을 수동으로 업로드하지 않으려는 경우에 특히 유용합니다. Azure AI 스튜디오에서 이미지 검색 인덱스가 생성됩니다.
- 이미지 파일 및 메타데이터 업로드: 플레이그라운드를 사용하여 이미지 파일 및 메타데이터를 업로드할 수 있습니다. 이 옵션은 적은 수의 이미지 파일이 있는 경우에 유용합니다. Azure AI 스튜디오에서 이미지 검색 인덱스가 생성됩니다.

이미지 데이터 추가

기존 Azure AI 검색 인덱스가 있는 경우 데이터 원본으로 사용할 수 있습니다. 검색 인덱스가 아직 없지만 직접 만들려는 경우 GitHub의 AI 검색 벡터 검색 리포지토리를 사용하여 만들 수 있습니다. 이 리포지토리는 이미지 파일로 인덱스를 만드는 스크립트를 제공합니다.

플레이그라운드의 데이터 원본 선택 또는 추가 창에서 Azure AI 검색을 선택하고 인덱스의 세부 정보를 입력합니다. 배포 및 연결 시 계정에서 사용량이 발생한다는 것을 승인하려면 상자를 선택합니다.
필요에 따라 사용자 지정 필드 매핑 사용을 사용하도록 설정합니다. 이렇게 하면 검색 인덱스 내의 사용자 지정 필드와 검색 증강 생성 중에 Azure OpenAI 채팅 모델에서 사용하는 표준 필드 간의 매핑을 제어할 수 있습니다.
다음을 선택하고 다음 페이지에서 설정을 검토합니다. 그런 다음, 저장 후 닫기를 선택합니다.
채팅 플레이그라운드에서 데이터가 추가된 것을 확인할 수 있습니다.

이미지가 포함된 기존 Azure Blob Storage 컨테이너가 있는 경우 이를 사용하여 이미지 검색 인덱스를 만들 수 있습니다. 새 Blob Storage 계정을 만들려면 Azure Blob Storage 빠른 시작 설명서를 참조하세요.

Azure Blob Storage 계정에 이미지 파일과, 이미지 파일 경로 및 메타데이터가 있는 JSON 파일을 모두 포함해야 합니다.

메타데이터 JSON 파일은 다음 조건을 충족해야 합니다.

파일 이름이 metadata라는 단어로 시작하고 공백이 없으며 모두 소문자여야 합니다.
10,000개 이하의 이미지 파일을 나열합니다. 컨테이너에 더 많은 파일이 있는 경우 10,000개 이하의 이미지 파일을 포함하고 있는 JSON 파일을 여러 개 만들면 됩니다.

JSON 메타데이터 파일은 다음과 같이 형식이 지정되어야 합니다.

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

이미지 파일과 하나 이상의 메타데이터 JSON 파일로 채워진 Blob Storage 컨테이너가 있으면 Blob Storage를 데이터 원본으로 추가할 준비가 된 것입니다.

플레이그라운드의 데이터 원본 선택 또는 추가 창에서 Azure Blob Storage를 선택하고 데이터 원본 세부 정보를 입력합니다. 또한 만들 Azure AI 검색 인덱스 이름도 선택합니다.

참고 항목

Azure OpenAI는 데이터에 액세스하고 인덱싱하기 위해 스토리지 계정 리소스와 검색 리소스가 모두 필요합니다. 데이터는 Azure 구독에 안전하게 저장됩니다.

Azure AI 스튜디오에서 선택한 스토리지 계정에 처음 데이터를 추가할 때 CORS(원본 간 리소스 공유)를 설정하라는 메시지가 표시될 수 있습니다. Azure AI 스튜디오 및 Azure OpenAI는 Azure Blob Storage 계정에 액세스해야 합니다.
배포 및 연결 시 계정에서 사용량이 발생한다는 것을 승인하려면 상자를 선택합니다. 그런 후 다음을 선택합니다.
입력한 세부 정보를 검토하고 저장 및 닫기를 선택하세요.
이제 채팅 플레이그라운드에서 데이터 수집이 진행 중인 것을 확인할 수 있습니다. 계속하기 전에 상태 대신 데이터 원본과 인덱스 이름이 표시될 때까지 기다리세요.