Корпоративный чат Azure OpenAI с изображениями с помощью GPT-4 Turbo с Vision

Внимание

Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.

Используйте эту статью, чтобы узнать, как предоставить собственные данные изображения для GPT-4 Turbo с помощью визуальной модели Azure OpenAI. GPT-4 Turbo с корпоративным чатом Vision позволяет модели создавать более настраиваемые и целевые ответы с помощью получения дополненного поколения на основе собственных изображений и метаданных изображений.

Совет

Эта статья предназначена для использования данных изображения в GPT-4 Turbo с моделью Визуального зрения. Сведения о развертывании веб-приложения корпоративного чата см. в руководстве по развертыванию веб-приложения чата с помощью текстовых данных.

Необходимые компоненты

• Подписка Azure — создайте бесплатную учетную запись.
• Ресурс Azure OpenAI с развернутой моделью GPT-4 Turbo с моделью визуального зрения. Дополнительные сведения о моделях развертывания Azure, см. в руководстве по развертыванию ресурсов.
• Убедитесь, что вы назначены по крайней мере роль участника Cognitive Services для ресурса Azure OpenAI.
• Ресурс поиска ИИ Azure. См. статью о создании служба Azure AI на портале. Если у вас нет ресурса поиска ИИ Azure, вам будет предложено создать его при добавлении источника данных далее в этом руководстве.
• Центр AI Studio с ресурсом Azure OpenAI и ресурсом поиска ИИ Azure, добавленным в качестве подключений.

Развертывание GPT-4 Turbo с моделью визуального зрения

1. Войдите в Azure AI Studio и выберите центр, в который вы хотите работать.
2. В меню навигации слева выберите службы ИИ. Выберите панель Try out GPT-4 Turbo.
3. На странице gpt-4 выберите "Развернуть". В появившемся окне выберите ресурс Azure OpenAI. Выберите vision-preview версию модели.
4. Выберите Развернуть.
5. Затем перейдите на страницу новой модели и выберите "Открыть на детской площадке". На игровой площадке чата в раскрывающемся списке развертывания необходимо выбрать созданное развертывание GPT-4.

Выбор источника данных изображения

1. На левой панели выберите вкладку "Добавить данные " и нажмите кнопку "Добавить источник данных".
2. В появившемся окне выберите параметр источника данных. Каждый вариант использует индекс поиска ИИ Azure, обученный на изображениях, и его можно использовать для получения дополненного поколения на игровой площадке чата.
   • Поиск в Azure AI: если у вас есть существующий индекс поиска ИИ Azure, его можно использовать в качестве источника данных.
   • Хранилище BLOB-объектов Azure. Параметр хранилища BLOB-объектов Azure особенно полезен, если у вас есть большое количество файлов изображений и не требуется вручную отправлять каждый из них. Azure AI Studio создаст индекс поиска изображений.
   • Отправка файлов изображений и метаданных: вы можете отправлять файлы изображений и метаданные с помощью игровой площадки. Этот параметр полезен, если у вас есть небольшое количество файлов изображений. Azure AI Studio создаст индекс поиска изображений.

Добавление данных изображения

Поиск по искусственному интеллекту Azure

Если у вас есть существующий индекс поиска ИИ Azure, его можно использовать в качестве источника данных. Если у вас еще нет индекса поиска, но вы хотите создать его самостоятельно, следуйте репозиторию векторного поиска ИИ на GitHub, который предоставляет скрипты для создания индекса с файлами изображений.

1. В окне выбора или добавления источника данных на игровой площадке выберите поиск ИИ Azure и введите сведения о индексе. Выберите поля, чтобы подтвердить, что развертывания и подключения повлечет за собой использование учетной записи.
2. При необходимости включите параметр сопоставления настраиваемых полей. Это позволяет управлять сопоставлением между настраиваемыми полями в индексе поиска и стандартными полями, которые модели чата Azure OpenAI используют во время получения дополненного поколения.
3. Нажмите кнопку "Далее " и просмотрите параметры на следующей странице. Затем нажмите кнопку "Сохранить" и "Закрыть".
4. На игровой площадке чата вы увидите, что ваши данные добавлены.

Хранилище BLOB-объектов Azure

Если у вас есть существующий контейнер Хранилище BLOB-объектов Azure с изображениями, его можно использовать для создания индекса поиска изображений. Если вы хотите создать новую учетную запись хранения BLOB-объектов, ознакомьтесь с кратким руководством по хранилищу BLOB-объектов Azure.

Учетная запись хранения BLOB-объектов Azure должна содержать как файлы изображений, так и JSON-файл с путями и метаданными файла образа.

Json-файл метаданных должен:

• Укажите имя файла, которое начинается со слова metadata (все в нижнем регистре без пробела).
• Список не более 10 000 файлов изображений. Если у вас есть больше файлов в контейнере, вы можете иметь несколько JSON-файлов до этого максимума.

Файл метаданных JSON должен быть отформатирован следующим образом:

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

После того как у вас есть контейнер хранилища BLOB-объектов, заполненный файлами изображений и по крайней мере одним JSON-файлом метаданных, вы можете добавить хранилище BLOB-объектов в качестве источника данных.

1. В окне выбора или добавления источника данных на игровой площадке выберите Хранилище BLOB-объектов Azure и введите сведения о источнике данных. Кроме того, выберите имя для созданного индекса поиска ИИ Azure.

   Примечание.

   Azure OpenAI требует как ресурса учетной записи хранения, так и ресурса поиска для доступа к вашим данным и их индексации. Ваши данные надежно хранятся в вашей подписке Azure.

   При первом добавлении данных в выбранную учетную запись хранения в Azure AI Studio может потребоваться включить общий доступ к ресурсам между источниками (CORS). Azure AI Studio и Azure OpenAI должны получить доступ к учетной записи хранения BLOB-объектов Azure.

   

2. Выберите поля, чтобы подтвердить, что развертывания и подключения повлечет за собой использование учетной записи. Затем выберите Далее.

3. Просмотрите введенные сведения и нажмите кнопку "Сохранить и закрыть".

   

4. Теперь на игровой площадке чата вы можете увидеть, что прием данных выполняется. Прежде чем продолжить, подождите, пока не увидите имя источника данных и индекса вместо состояния.

Отправка файлов изображений и метаданных

1. На странице выбора или добавления источника данных выберите "Отправить файлы" в раскрывающемся списке "Выбор источника данных".

2. Введите сведения о источнике данных. Кроме того, выберите имя для созданного индекса поиска ИИ Azure.

   Примечание.

   Azure OpenAI требует как ресурса учетной записи хранения, так и ресурса поиска для доступа к вашим данным и их индексации. Ваши данные надежно хранятся в вашей подписке Azure.

   При первом добавлении данных в выбранную учетную запись хранения в Azure AI Studio может потребоваться включить общий доступ к ресурсам между источниками (CORS). Azure AI Studio и Azure OpenAI должны получить доступ к учетной записи хранения BLOB-объектов Azure.

   

3. Выберите поля, чтобы подтвердить, что развертывания и подключения повлечет за собой использование учетной записи. Затем выберите Далее.

4. На странице "Отправка файлов" выберите "Обзор файла" и выберите нужные файлы. Если вы хотите отправить несколько файлов, сделайте это сейчас. Вы не сможете добавлять дополнительные файлы позже в том же сеансе игровой площадки.

   Для файлов изображений поддерживаются следующие типы файлов изображений размером до 16 МБ:

   • JPG
   • PNG
   • .gif
   • .bmp
   • TIFF

5. Выберите " Отправить ", чтобы отправить файлы в учетную запись хранения BLOB-объектов Azure. Затем выберите Далее.

   

6. На странице "Добавление метаданных" введите текстовое описание для каждого изображения в соответствующих текстовых полях. Затем выберите Далее.

   

7. Просмотрите введенные сведения. Вы можете просмотреть имена контейнера хранилища и индекса поиска, которые будут созданы для вас. Выберите Сохранить и закрыть.

   

8. Теперь на игровой площадке чата вы можете увидеть, что прием данных выполняется. Прежде чем продолжить, подождите, пока не увидите имя источника данных и индекса вместо состояния.

Использование данных с GPT-4 Turbo с моделью визуального зрения

После добавления данных изображения вы можете попробовать беседу чата, которая создается на основе данных изображения.

1. Нажмите кнопку вложения в окне чата, чтобы отправить новое изображение. Задайте вопрос о его связи с другими изображениями в наборе данных.

2. Модель ответит ответом, который создается на основе данных изображения.

Добавление и удаление источников данных

Azure OpenAI позволяет использовать только один источник данных для каждого сеанса чата. Если вы хотите добавить новый источник данных, сначала необходимо удалить существующий источник данных. Для этого выберите "Удалить источник данных" в разделе сведений об источнике данных.

При удалении источника данных появится предупреждение. Удаление источника данных очищает сеанс чата и сбрасывает все параметры игровой площадки.

Следующие шаги

• Узнайте, как создать проект в Azure AI Studio.
• Развертывание корпоративного веб-приложения чата