Share via

OpenAI do Azure nos seus dados com imagens usando o GPT-4 Turbo com Visão (versão prévia) no Estúdio do OpenAI do Azure

  • Artigo

Use este artigo para saber como fornecer seus dados de imagem para o GPT-4 Turbo com Visão, o modelo de visão do OpenAI do Azure. O GPT-4 Turbo com Visão nos seus dados permite que o modelo gere respostas mais personalizadas e direcionadas usando a geração aumentada de recuperação com base em imagens e metadados de imagem próprios.

Importante

Quando o GPT4-Turbo com modelo de visualização de visão for descontinuado, você não poderá mais usar o Azure OpenAI nos seus dados de imagem. Para implementar uma solução de Geração Aumentada de Recuperação (RAG) com dados de imagem, consulte o exemplo a seguir no github.

Pré-requisitos

  • Uma assinatura do Azure – Crie uma gratuitamente.

  • Acesso permitido ao OpenAI do Azure na assinatura do Azure desejada.

    No momento, o acesso a esse serviço é permitido somente por aplicativo. Você pode solicitar acesso ao Serviço OpenAI do Azure preenchendo o formulário em https://aka.ms/oai/access. Abra um problema neste repositório para entrar em contato conosco se você tiver algum problema.

  • Um recurso do OpenAI do Azure com o modelo GPT-4 Turbo com Visão implantado. Para obter mais informações sobre a implantação do modelo, consulte o Guia de implantação de recursos.

  • Verifique se você recebeu, pelo menos, a função Colaborador de Serviços Cognitivos no recurso do OpenAI do Azure.

Adicionar a fonte de dados

Navegue até o Estúdio de OpenAI do Azure e entre com as credenciais que têm acesso ao seu recurso de OpenAI do Azure. Durante o fluxo de trabalho de entrada, selecione o diretório apropriado, a assinatura do Azure e o recurso OpenAI do Azure.

Uma captura de tela mostrando o playground de chat no estúdio do OpenAI do Azure.

No bloco Configuração do Assistente, selecione Adicionar seus dados (versão prévia)>+ Adicionar uma fonte de dados .

Uma captura de tela mostrando o botão para adicionar seus dados no Estúdio de OpenAI do Azure.

No painel exibido depois que você seleciona Adicionar uma fonte de dados, há várias opções para escolher uma fonte de dados.

Uma captura de tela mostrando a seleção da fonte de dados.

Você tem três opções diferentes para adicionar seus dados à fonte de dados do GPT-4 Turbo com Visão:

Todas as três opções usam o índice da Pesquisa de IA do Azure para fazer uma pesquisa de imagem a imagem e recuperar os principais resultados da pesquisa para a imagem de prompt de entrada. No caso das opções Armazenamento de Blobs do Azure e Carregar arquivos, o OpenAI do Azure vai gerar um índice de pesquisa de imagem para você. Na Pesquisa de IA do Azure, você precisa ter um índice de pesquisa de imagem. As seções a seguir contêm detalhes sobre como criar o índice de pesquisa.

Ao usar essas opções pela primeira vez, você poderá ver esse aviso em vermelho solicitando que você ative o CORS (compartilhamento de recursos entre origens). Este é um aviso solicitando que você habilite o CORS para que o OpenAI do Azure possa acessar sua conta de armazenamento de blobs. Para corrigir o aviso, selecione Ativar CORS.

Adicionar seus dados carregando arquivos

Você pode carregar os arquivos de imagem e inserir os metadados deles manualmente usando o OpenAI do Azure. Isso é especialmente útil se você está experimentando um pequeno conjunto de imagens e deseja criar sua fonte de dados.

  1. Navegue até o botão Selecionar uma fonte de dados no OpenAI do Azure, conforme descrito acima. Selecione Carregar arquivos.

  2. Selecione sua assinatura. Selecione um armazenamento de blobs do Azure no qual os arquivos de imagem carregados serão armazenados. Escolha um recurso da Pesquisa de IA do Azure no qual o novo índice de pesquisa de imagem será criado. Insira o nome do índice de pesquisa de imagem de sua escolha.

    Depois de preencher todos os campos, marque as duas caixas na parte inferior confirmando o uso gerado e selecione Avançar.

    Uma captura de tela mostrando os campos concluídos do Armazenamento de Blobs do Azure.

    Os seguintes tipos de arquivo têm suporte para seus arquivos de imagem:

    • .jpg
    • .png
    • .gif
    • .bmp
    • .tiff

  3. Selecione Procurar um arquivo para escolher arquivos de imagem que você deseja usar no diretório local.

  4. Depois de escolher os arquivos de imagem, você verá os arquivos de imagem selecionados na tabela correta. Selecione Carregar arquivos. Depois de carregar os arquivos, você verá que o status de cada um deles é Carregado. Selecione Avançar.

    Uma captura de tela mostrando os arquivos carregados.

  5. Para cada arquivo de imagem, insira os metadados nos campos de descrição fornecidos. Depois que cada imagem tiver uma descrição, selecione Avançar.

    Uma captura de tela mostrando o campo de entrada dos metadados.

  6. Revise se as informações estão corretas. Selecione Salvar e fechar.

Caso você já tenha um índice da Pesquisa de IA do Azure, use-o como uma fonte de dados. Se você ainda não tiver um índice de pesquisa criado para as imagens, crie um usando o repositório de busca em vetores da Pesquisa de IA no GitHub, que fornece scripts para criar um índice com seus arquivos de imagem. Essa opção também será ótima se você quiser criar a fonte de dados usando seus arquivos, como a opção acima, e voltar para a experiência do playground para selecionar a fonte de dados que você já criou, mas ainda não adicionou.

  1. Navegue até o botão Selecionar uma fonte de dados no OpenAI do Azure, conforme descrito acima. Selecione Pesquisa de IA do Azure.

    Dica

    Você pode escolher um índice de pesquisa de imagem criado com as opções de Armazenamento de Blobs do Azure ou Carregar arquivos.

  2. Selecione sua assinatura e o serviço Pesquisa de IA do Azure usado para criar o índice de pesquisa de imagem.

  3. Escolha o índice da Pesquisa de IA do Azure que você criou com as imagens.

  4. Depois de preencher todos os campos, marque as duas caixas de seleção na parte inferior que solicitam a confirmação dos custos gerados pelo uso das inserções de vetor do GPT-4 Turbo com Visão e da Pesquisa de IA do Azure. Selecione Avançar. Se o CORS ainda não estiver ativado para o recurso da Pesquisa de IA, você verá um aviso. Para corrigir o aviso, selecione Ativar CORS.

    Uma captura de tela mostrando os campos preenchidos referentes ao uso de um índice da Pesquisa de IA do Azure.

  5. Revise os detalhes e selecione Salvar e fechar.

Adicionar seus dados usando o Armazenamento de Blobs do Azure

Se você já tiver um contêiner do Armazenamento de Blobs do Azure, use-o para criar um índice de pesquisa de imagem. Se você quiser criar um armazenamento de blobs, confira a documentação do Início rápido do Armazenamento de Blobs do Azure.

O armazenamento de blobs deve conter arquivos de imagem e um arquivo JSON com os caminhos e metadados do arquivo de imagem. Essa opção é especialmente útil se você tem um grande número de arquivos de imagem e não deseja carregar manualmente cada um deles.

Caso ainda não tenha um armazenamento de blobs preenchido com esses arquivos e deseje carregar os arquivos individualmente, carregue-os usando o Estúdio do OpenAI do Azure.

Antes de começar a adicionar o contêiner do Armazenamento de Blobs do Azure como a fonte de dados, verifique se o armazenamento de blobs contém todas as imagens que você deseja ingerir e um arquivo JSON que contém os caminhos e os metadados do arquivo de imagem.

Importante

O arquivo JSON de metadados precisa:

  • Ter um nome de arquivo que comece com a palavra “metadados”, tudo com letra minúscula sem espaço.
  • Ter, no máximo, dez mil arquivos de imagem. Se você tiver mais do que esse número de arquivos no contêiner, poderá ter vários arquivos JSON, cada um com até, no máximo, esse número.
[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

Depois que um armazenamento de blobs for preenchido com arquivos de imagem e tiver, pelo menos, um arquivo JSON de metadados, estará tudo pronto para você adicionar o armazenamento de blobs como uma fonte de dados.

  1. Navegue até o botão Selecionar uma fonte de dados no OpenAI do Azure, conforme descrito acima. Selecione Armazenamento de Blobs do Azure.

  2. Selecione sua assinatura, o armazenamento de blobs do Azure e o contêiner de armazenamento. Você também precisará escolher um recurso da Pesquisa de IA do Azure, pois um índice de pesquisa de imagem será criado nesse grupo de recursos. Caso você não tenha um recurso da Pesquisa de IA do Azure, crie um usando o link abaixo da lista suspensa. Se o CORS ainda não estiver ativado para o recurso do armazenamento de blobs do Azure, você verá um aviso. Para corrigir o aviso, selecione Ativar CORS.

  3. Depois de selecionar um recurso da Pesquisa de IA do Azure, insira um nome para o índice de pesquisa no campo Nome do índice.

    Observação

    O nome do índice terá –v como sufixo, para indicar que esse é um índice com vetores de imagem extraídos das imagens fornecidas. A descrição arquivada em metadata.json será adicionada como metadados de texto no índice.

  4. Depois de preencher todos os campos, marque as duas caixas de seleção na parte inferior que solicitam a confirmação dos custos gerados pelo uso das inserções de vetor do GPT-4 Turbo com Visão e da Pesquisa de IA do Azure. Selecione Avançar.

    Uma captura de tela mostrando os campos de seleção da fonte de dados do armazenamento dos blobs.

  5. Revise os detalhes e selecione Salvar e fechar.

Usando seus dados ingeridos com o modelo GPT-4 Turbo com Visão

Depois de conectar sua fonte de dados usando qualquer um dos três métodos listados acima, levará algum tempo para que o processo de ingestão de dados seja concluído. Você verá um ícone e uma mensagem Ingestão em andamento durante o processo. Depois que a ingestão for concluída, você verá que uma fonte de dados foi criada.

Uma captura de tela mostrando a ingestão completa da fonte de dados.

Depois que a fonte de dados terminar de ser ingerida, você verá os detalhes da fonte de dados, bem como o nome do índice de pesquisa de imagem. Agora, esses dados ingeridos estão prontos para serem usados como os dados básicos do GPT-4 Turbo com Visão implantado. Seu modelo usará os principais dados de recuperação do índice de pesquisa de imagens e gerará uma resposta especificamente de acordo com os dados ingeridos.

Uma captura de tela mostrando um exemplo de chat com a imagem da tenda.

Ativar o CORS

Se o CORS ainda não estiver ativado para a fonte de dados, você verá a mensagem a seguir ser exibida.

Uma captura de tela mostrando um erro informando que o CORS não foi habilitado.

Se você vir essa mensagem, selecione Ativar CORS ao conectar a fonte de dados.

Dicas Adicionais

Adicionar e remover fontes de dados

Atualmente, o OpenAI do Azure permite que apenas uma fonte de dados seja usada por sessão de chat. Caso deseje adicionar uma nova fonte de dados, primeiro remova a fonte de dados existente. Faça isso selecionando Remover fonte de dados nas informações da fonte de dados.

Ao remover uma fonte de dados, você verá uma mensagem de aviso. A remoção de uma fonte de dados limpa a sessão de chat e redefine todas as configurações do playground.

Uma captura de tela mostrando o aviso de remoção da fonte de dados.

Importante

Se você mudar para uma implantação de modelo que não usa o modelo GPT-4 Turbo com Visão, verá uma mensagem de aviso para remover uma fonte de dados. Observe que a remoção de uma fonte de dados limpará a sessão de chat e redefinirá todas as configurações do playground.

Próximas etapas