Корпоративный чат Azure OpenAI с изображениями с помощью GPT-4 Turbo с Vision
Внимание
Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.
Используйте эту статью, чтобы узнать, как предоставить собственные данные изображения для GPT-4 Turbo с помощью визуальной модели Azure OpenAI. GPT-4 Turbo с корпоративным чатом Vision позволяет модели создавать более настраиваемые и целевые ответы с помощью получения дополненного поколения на основе собственных изображений и метаданных изображений.
Совет
Эта статья предназначена для использования данных изображения в GPT-4 Turbo с моделью Визуального зрения. Сведения о развертывании веб-приложения корпоративного чата см. в руководстве по развертыванию веб-приложения чата с помощью текстовых данных.
Необходимые компоненты
- Подписка Azure — создайте бесплатную учетную запись.
- Ресурс Azure OpenAI с развернутой моделью GPT-4 Turbo с моделью визуального зрения. Дополнительные сведения о моделях развертывания Azure, см. в руководстве по развертыванию ресурсов.
- Убедитесь, что вы назначены по крайней мере роль участника Cognitive Services для ресурса Azure OpenAI.
- Ресурс поиска ИИ Azure. См. статью о создании служба Azure AI на портале. Если у вас нет ресурса поиска ИИ Azure, вам будет предложено создать его при добавлении источника данных далее в этом руководстве.
- Центр AI Studio с ресурсом Azure OpenAI и ресурсом поиска ИИ Azure, добавленным в качестве подключений.
Развертывание GPT-4 Turbo с моделью визуального зрения
- Войдите в Azure AI Studio и выберите центр, в который вы хотите работать.
- В меню навигации слева выберите службы ИИ. Выберите панель Try out GPT-4 Turbo.
- На странице gpt-4 выберите "Развернуть". В появившемся окне выберите ресурс Azure OpenAI. Выберите
vision-preview
версию модели. - Выберите Развернуть.
- Затем перейдите на страницу новой модели и выберите "Открыть на детской площадке". На игровой площадке чата в раскрывающемся списке развертывания необходимо выбрать созданное развертывание GPT-4.
Выбор источника данных изображения
- На левой панели выберите вкладку "Добавить данные " и нажмите кнопку "Добавить источник данных".
- В появившемся окне выберите параметр источника данных. Каждый вариант использует индекс поиска ИИ Azure, обученный на изображениях, и его можно использовать для получения дополненного поколения на игровой площадке чата.
- Поиск в Azure AI: если у вас есть существующий индекс поиска ИИ Azure, его можно использовать в качестве источника данных.
- Хранилище BLOB-объектов Azure. Параметр хранилища BLOB-объектов Azure особенно полезен, если у вас есть большое количество файлов изображений и не требуется вручную отправлять каждый из них. Azure AI Studio создаст индекс поиска изображений.
- Отправка файлов изображений и метаданных: вы можете отправлять файлы изображений и метаданные с помощью игровой площадки. Этот параметр полезен, если у вас есть небольшое количество файлов изображений. Azure AI Studio создаст индекс поиска изображений.
Добавление данных изображения
- Поиск по искусственному интеллекту Azure
- Хранилище BLOB-объектов Azure
- Отправка файлов изображений и метаданных
Если у вас есть существующий индекс поиска ИИ Azure, его можно использовать в качестве источника данных. Если у вас еще нет индекса поиска, но вы хотите создать его самостоятельно, следуйте репозиторию векторного поиска ИИ на GitHub, который предоставляет скрипты для создания индекса с файлами изображений.
- В окне выбора или добавления источника данных на игровой площадке выберите поиск ИИ Azure и введите сведения о индексе. Выберите поля, чтобы подтвердить, что развертывания и подключения повлечет за собой использование учетной записи.
- При необходимости включите параметр сопоставления настраиваемых полей. Это позволяет управлять сопоставлением между настраиваемыми полями в индексе поиска и стандартными полями, которые модели чата Azure OpenAI используют во время получения дополненного поколения.
- Нажмите кнопку "Далее " и просмотрите параметры на следующей странице. Затем нажмите кнопку "Сохранить" и "Закрыть".
- На игровой площадке чата вы увидите, что ваши данные добавлены.
Использование данных с GPT-4 Turbo с моделью визуального зрения
После добавления данных изображения вы можете попробовать беседу чата, которая создается на основе данных изображения.
Нажмите кнопку вложения в окне чата, чтобы отправить новое изображение. Задайте вопрос о его связи с другими изображениями в наборе данных.
Модель ответит ответом, который создается на основе данных изображения.
Добавление и удаление источников данных
Azure OpenAI позволяет использовать только один источник данных для каждого сеанса чата. Если вы хотите добавить новый источник данных, сначала необходимо удалить существующий источник данных. Для этого выберите "Удалить источник данных" в разделе сведений об источнике данных.
При удалении источника данных появится предупреждение. Удаление источника данных очищает сеанс чата и сбрасывает все параметры игровой площадки.