Chat empresarial do Azure OpenAI com imagens usando GPT-4 Turbo com Visão

Artigo
05/22/2024

Importante

Alguns dos recursos descritos neste artigo podem estar disponíveis apenas na visualização. Essa visualização é fornecida sem um contrato de nível de serviço e não a recomendamos para cargas de trabalho de produção. Algumas funcionalidades poderão não ser suportadas ou poderão ter capacidades limitadas. Para obter mais informações, veja Termos Suplementares de Utilização para Pré-visualizações do Microsoft Azure.

Use este artigo para saber como fornecer seus próprios dados de imagem para o GPT-4 Turbo com Visão, o modelo de visão do Azure OpenAI. O bate-papo empresarial GPT-4 Turbo with Vision permite que o modelo gere respostas mais personalizadas e direcionadas usando a geração aumentada de recuperação com base em suas próprias imagens e metadados de imagem.

Gorjeta

Este artigo é para usar seus dados de imagem no modelo GPT-4 Turbo com visão. Consulte Implantar um aplicativo Web de bate-papo corporativo para obter um tutorial sobre como implantar um aplicativo Web de bate-papo usando seus dados de texto.

Pré-requisitos

Uma assinatura do Azure - Crie uma gratuitamente.
Acesso concedido ao Azure OpenAI na subscrição pretendida do Azure. Atualmente, o acesso a este serviço é concedido apenas por pedido. Você pode solicitar acesso ao Azure OpenAI preenchendo o formulário em https://aka.ms/oai/access. Abra um problema neste repositório para entrar em contato conosco se tiver um problema.
Um recurso OpenAI do Azure com o modelo GPT-4 Turbo with Vision implantado. Para obter mais informações sobre a implementação de modelos, veja o guia de implementação de recursos.
Certifique-se de que lhe foi atribuída pelo menos a função de Colaborador dos Serviços Cognitivos para o recurso OpenAI do Azure.
Um recurso de Pesquisa de IA do Azure. Consulte Criar um serviço Azure AI Search no portal. Se você não tiver um recurso do Azure AI Search, será solicitado que você crie um quando adicionar sua fonte de dados posteriormente neste guia.
Um hub do AI Studio com seu recurso do Azure OpenAI e o recurso Azure AI Search adicionados como conexões.

Implante um modelo GPT-4 Turbo com Visão

Entre no Azure AI Studio e selecione o hub no qual você gostaria de trabalhar.
No menu de navegação esquerdo, selecione Serviços AI. Selecione o painel Experimentar GPT-4 Turbo .
Na página gpt-4, selecione Implantar. Na janela exibida, selecione seu recurso Azure OpenAI. Selecione vision-preview como a versão do modelo.
Selecione Implementar.
Em seguida, vá para a página do seu novo modelo e selecione Abrir no playground. No playground de bate-papo, a implantação GPT-4 que você criou deve ser selecionada no menu suspenso Implantação .

Selecione sua fonte de dados de imagem

No painel esquerdo, selecione a guia Adicionar seus dados e selecione Adicionar uma fonte de dados.
Na janela exibida, selecione uma opção de fonte de dados. Cada opção usa um índice de Pesquisa de IA do Azure que é treinado em suas imagens e pode ser usado para recuperar a geração aumentada no playground de bate-papo.
- Azure AI Search: Se você tiver um índice existente do Azure AI Search , poderá usá-lo como uma fonte de dados.
- Armazenamento de Blobs do Azure: a opção de armazenamento de Blob do Azure é especialmente útil se você tiver um grande número de arquivos de imagem e não quiser carregar manualmente cada um. O Azure AI Studio gerará um índice de pesquisa de imagens para você.
- Carregar arquivos de imagem e metadados: Você pode carregar arquivos de imagem e metadados usando o playground. Esta opção é útil se você tiver um pequeno número de arquivos de imagem. O Azure AI Studio gerará um índice de pesquisa de imagens para você.

Adicione os seus dados de imagem

Se você tiver um índice existente do Azure AI Search , poderá usá-lo como uma fonte de dados. Se você ainda não tem um índice de pesquisa, mas gostaria de criar um por conta própria, siga o repositório de pesquisa vetorial AI Search no GitHub, que fornece scripts para criar um índice com seus arquivos de imagem.

Na janela Selecionar ou adicionar fonte de dados do playground, escolha Azure AI Search e insira os detalhes do seu índice. Marque as caixas para confirmar que implantações e conexões incorrem em uso em sua conta.
Opcionalmente, habilite a opção Usar mapeamento de campo personalizado. Isso permite controlar o mapeamento entre os campos personalizados em seu índice de pesquisa e os campos padrão que os modelos de chat do Azure OpenAI usam durante a geração aumentada de recuperação.
Selecione Seguinte e reveja as suas definições na página seguinte. Em seguida, selecione Salvar e fechar.
No playground de bate-papo, você pode ver que seus dados foram adicionados.

Se você tiver um contêiner de Armazenamento de Blob do Azure existente com imagens, poderá usá-lo para criar um índice de pesquisa de imagens. Se você quiser criar uma nova conta de armazenamento de blob, consulte a documentação de início rápido do armazenamento de Blob do Azure.

Sua conta de armazenamento de Blob do Azure deve conter arquivos de imagem e um arquivo JSON com os caminhos e metadados do arquivo de imagem.

Seu arquivo JSON de metadados deve:

Tenha um nome de arquivo que comece com a palavra metadata (tudo em minúsculas sem espaço).
Liste não mais de 10.000 arquivos de imagem. Se você tiver mais arquivos em seu contêiner, poderá ter vários arquivos JSON cada um com até esse máximo.

O arquivo de metadados JSON deve ser formatado assim:

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Depois de ter um contêiner de armazenamento de blob preenchido com arquivos de imagem e pelo menos um arquivo JSON de metadados, você estará pronto para adicionar o armazenamento de blob como uma fonte de dados.

Na janela Selecionar ou adicionar fonte de dados do playground, escolha Armazenamento de Blobs do Azure e insira os detalhes da fonte de dados. Escolha também um nome para o índice do Azure AI Search que será criado.

Nota

O Azure OpenAI precisa de um recurso de conta de armazenamento e de um recurso de pesquisa para aceder e indexar os seus dados. Os seus dados são armazenados de forma segura na sua subscrição do Azure.

Ao adicionar dados à conta de armazenamento selecionada pela primeira vez no Estúdio de IA do Azure, pode ser-lhe pedido que ative a partilha de recursos entre origens (CORS). O Estúdio de IA do Azure e o Azure OpenAI precisam de aceder à sua conta de Armazenamento de Blobs do Azure.
Marque as caixas para confirmar que implantações e conexões incorrem em uso em sua conta. Em seguida, selecione Seguinte.
Reveja os detalhes introduzidos e selecione Guardar e fechar.
Agora, no playground de bate-papo, você pode ver que sua ingestão de dados está em andamento. Antes de continuar, aguarde até ver a fonte de dados e o nome do índice no lugar do status.

Utilize os seus dados com o seu modelo GPT-4 Turbo com Visão

Depois de adicionar os dados da imagem, você pode experimentar uma conversa de bate-papo baseada nos dados da imagem.

Use o botão de anexo na janela de chat para carregar uma nova imagem. Faça uma pergunta sobre a sua relação com as outras imagens do seu conjunto de dados.
O modelo responderá com uma resposta fundamentada nos dados da sua imagem.

Adicionar e remover fontes de dados

O Azure OpenAI permite que apenas uma fonte de dados seja usada por uma sessão de chat. Se quiser adicionar uma nova fonte de dados, você deve remover a fonte de dados existente primeiro. Faça isso selecionando Remover fonte de dados sob as informações da fonte de dados.

Ao remover uma fonte de dados, você verá uma mensagem de aviso. A remoção de uma fonte de dados limpa a sessão de bate-papo e redefine todas as configurações do playground.

Partilhar via