Início Rápido: Use o GPT-4 Turbo com Visão em suas imagens e vídeos com o Serviço OpenAI do Azure - Azure OpenAI

Comece a explorar as capacidades do GPT-4 Turbo com Visão com uma abordagem sem código por meio do Estúdio do OpenAI do Azure.

Pré-requisitos

Uma assinatura do Azure. Crie um gratuitamente.
Acesso permitido ao OpenAI do Azure na assinatura do Azure desejada. No momento, o acesso a esse serviço é permitido somente por aplicativo. Você pode solicitar acesso ao Serviço OpenAI do Azure preenchendo o formulário em https://aka.ms/oai/access. Abra um problema neste repositório para entrar em contato conosco se você tiver algum problema.
Um recurso do Serviço OpenAI do Azure com um modelo GPT-4 Turbo com Visão implantado. Consulte a Disponibilidade do modelo de Versão prévia do GPT-4 e GPT-4 Turbo para regiões disponíveis. Para obter mais informações sobre a criação de recursos, consulte o guia de implantação de recursos.
Para aprimoramento do Visão (opcional): um recurso de Pesquisa Visual Computacional do Azure na mesma região que seu recurso do OpenAI do Azure, na camada paga (S1).

Observação

Atualmente, não há suporte para desativar a filtragem de conteúdo para o modelo GPT-4 Turbo com Visão.

Vá para o Estúdio OpenAI do Azure

Navegue até o Estúdio do OpenAI do Azure em e entre com as credenciais associadas ao seu recurso do OpenAI do Azure. Durante o fluxo de trabalho de entrada, selecione o diretório apropriado, a assinatura do Azure e o recurso OpenAI do Azure.

Em Gerenciamento, selecione Implantações e Criar uma implantação GPT-4 Turbo com Visão selecionando o nome do modelo: “gpt-4” e a versão do modelo “vision-preview”. Para obter mais informações sobre a implantação do modelo, consulte o Guia de implantação de recursos.

Na seção Playground, selecione Chat.

Playground

A partir dessa página, você pode iterar e experimentar rapidamente as capacidades do modelo.

Para obter ajuda geral com o assistente de configuração, sessões de chat, configurações e painéis, consulte o Início rápido com chat.

Iniciar uma sessão de chat para analisar imagens ou vídeos

Nesta sessão de chat, você está instruindo o assistente a ajudar no reconhecimento das imagens que você insere.

Para começar, selecione sua implantação do GPT-4 Turbo com Visão no menu suspenso.
No painel Configuração do Assistente, forneça uma Mensagem do Sistema para guiar o assistente. A mensagem padrão do sistema é: "Você é um assistente de IA que ajuda as pessoas a encontrar informações". Você pode adaptar a Mensagem do Sistema à imagem ou ao cenário que está sendo carregado.

Observação

É recomendável atualizar a Mensagem do Sistema para ser específica para a tarefa, a fim de evitar respostas inúteis do modelo.
Salve suas alterações e, quando solicitado a confirmar a atualização da mensagem do sistema, selecione Continuar.
No painel Sessão de chat, insira uma solicitação de mensagem de texto como “Descreva esta imagem” e carregue uma imagem com o botão anexar. Você pode usar uma solicitação de mensagem de texto diferente para seu caso de uso. Em seguida, selecione Enviar.
Observe a saída fornecida. Considere fazer perguntas de acompanhamento relacionadas à análise de sua imagem para saber mais.

Limpar os recursos

Caso queria limpar e remover um recurso do OpenAI do Azure, é possível excluir o recurso ou o grupo de recursos. Excluir o grupo de recursos também exclui todos os recursos associados a ele.

Use este artigo para começar a usar as APIs REST do OpenAI do Azure para implantar e usar o modelo GPT-4 Turbo com Visão.

Pré-requisitos

Uma assinatura do Azure. Crie um gratuitamente.
Acesso permitido ao OpenAI do Azure na assinatura do Azure desejada. No momento, o acesso a esse serviço é permitido somente por aplicativo. Você pode solicitar acesso ao Serviço OpenAI do Azure preenchendo o formulário em https://aka.ms/oai/access. Abra um problema neste repositório para entrar em contato conosco se você tiver algum problema.
Python 3.8 ou versão posterior.
As seguintes bibliotecas do Python: requests, json.
Um recurso do Serviço OpenAI do Azure com um modelo GPT-4 Turbo com Visão implantado. Consulte a Disponibilidade do modelo de Versão prévia do GPT-4 e GPT-4 Turbo para regiões disponíveis. Para obter mais informações sobre a criação de recursos, consulte o guia de implantação de recursos.
Para aprimoramento do Visão (opcional): um recurso de Pesquisa Visual Computacional do Azure na mesma região que seu recurso do OpenAI do Azure, na camada paga (S1).

Observação

Atualmente, não há suporte para desativar a filtragem de conteúdo para o modelo GPT-4 Turbo com Visão.

Recuperar chave e ponto de extremidade

Para chamar com êxito as APIs do OpenAI do Azure, você precisa das seguintes informações sobre seu recurso do OpenAI do Azure:

Variável	Nome	Valor
Ponto de extremidade	`api_base`	O valor do ponto de extremidade está localizado em Chaves e Ponto de Extremidade para o seu recurso no portal do Azure. Como alternativa, você pode encontrar o valor em Estúdio do OpenAI do Azure>Playground>Exibição de Código. Um ponto de extremidade de exemplo é: `https://docs-test-001.openai.azure.com/`.
Chave	`api_key`	O valor da chave está localizado em Chaves e Ponto de Extremidade para o seu recurso no portal do Azure. O Azure gera duas chaves para o seu recurso. Você pode usar qualquer dos dois valores.

Acesse o seu recurso no portal do Azure. No painel de navegação, selecione Chaves e Ponto de Extremidade em Gerenciamento de Recursos. Copie o valor do Ponto de Extremidade e um valor de chave de acesso. Você pode usar o valor da CHAVE 1 ou o valor da CHAVE 2. Ter duas chaves para permitir girar e regenerar chaves com segurança, sem causar interrupção de serviço.

Criar um novo aplicativo Python

Crie um novo arquivo Python denominado quickstart.py. Abra o novo arquivo em seu IDE ou editor preferido.

Substitua o conteúdo do quickstart.py pelo código a seguir.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
data = { 
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Faça as seguintes alterações:
1. Insira a URL do ponto de extremidade e a chave nos campos apropriados.
2. Digite seu nome de implantação do GPT-4 Turbo com Visão no campo apropriado.
3. Altere o valor do campo "image" para a URL da imagem.
  
  Dica
  
  Você também pode usar dados de imagem codificados em base 64 em vez de uma URL. Para obter mais informações, consulte o Guia de instruções do GPT-4 Turbo com Visão.
Execute o aplicativo com o comando python:
```
python quickstart.py
```

O GPT-4 Turbo with Vision fornece acesso exclusivo aos aprimoramentos personalizados dos Serviços de IA do Azure. Quando combinado com a Visão de IA do Azure, ele aprimora sua experiência de chat fornecendo ao modelo de chat informações mais detalhadas sobre texto visível na imagem e nos locais dos objetos.

O Reconhecimento óptico de caracteres (OCR) permite que o modelo produza respostas de qualidade superiores para texto denso, imagens transformadas e documentos financeiros com muitos números. Ele também abrange uma gama mais ampla de idiomas.

A integração de aterramento de objetos traz uma nova camada para análise de dados e interação do usuário, pois o recurso pode distinguir e realçar elementos importantes visualmente nas imagens que processa.

Cuidado

Os aprimoramentos de IA do Azure para GPT-4 Turbo with Vision serão cobrados separadamente das principais funcionalidades. Cada aprimoramento específico da IA do Azure para GPT-4 Turbo with Vision tem seus próprios encargos distintos. Para obter detalhes, consulte as informações sobre preços especiais.

Substitua o conteúdo do quickstart.py pelo código a seguir.

# Packages required:
import requests 
import json 

api_base = '<your_azure_openai_endpoint>' 
deployment_name = '<your_deployment_name>'
API_KEY = '<your_azure_openai_key>'

base_url = f"{api_base}openai/deployments/{deployment_name}" 
headers = {   
    "Content-Type": "application/json",   
    "api-key": API_KEY 
} 

# Prepare endpoint, headers, and request body 
endpoint = f"{base_url}/extensions/chat/completions?api-version=2023-12-01-preview" 
data = {
    "model": "gpt-4-vision-preview",
    "enhancements": {
        "ocr": {
          "enabled": True
        },
        "grounding": {
          "enabled": True
        }
    },
    "dataSources": [
    {
        "type": "AzureComputerVision",
        "parameters": {
            "endpoint": "<your_computer_vision_endpoint>",
            "key": "<your_computer_vision_key>"
        }
    }],
    "messages": [ 
        { "role": "system", "content": "You are a helpful assistant." }, 
        { "role": "user", 
        "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url", 
                "image_url": {
                    "url" : "<image URL>"
                }
            }
        ]} 
    ], 
    "max_tokens": 2000 
}   

# Make the API call   
response = requests.post(endpoint, headers=headers, data=json.dumps(data))   

print(f"Status Code: {response.status_code}")   
print(response.text)

Faça as seguintes alterações:
1. Digite seu nome de implantação do GPT-4 Turbo com Visão no campo apropriado.
2. Insira a URL do ponto de extremidade da Pesquisa Visual Computacional e a chave nos campos apropriados.
3. Altere o valor do campo "image" para a URL da imagem.
  
  Dica
  
  Você também pode usar dados de imagem codificados em base 64 em vez de uma URL. Para obter mais informações, consulte o Guia de instruções do GPT-4 Turbo com Visão.
Execute o aplicativo com o comando python:
```
python quickstart.py
```

Limpar os recursos

Caso queria limpar e remover um recurso do OpenAI do Azure, é possível excluir o recurso ou o grupo de recursos. Excluir o grupo de recursos também exclui todos os recursos associados a ele.

Use este artigo para começar a usar a SDK do Python do OpenAI do Azure para implantar e usar o modelo GPT-4 Turbo com Visão.

Código-fonte da biblioteca | Pacote (PyPi) |

Pré-requisitos

Uma assinatura do Azure. Crie um gratuitamente.
Acesso permitido ao OpenAI do Azure na assinatura do Azure desejada. No momento, o acesso a esse serviço é permitido somente por aplicativo. Você pode solicitar acesso ao Serviço OpenAI do Azure preenchendo o formulário em https://aka.ms/oai/access. Abra um problema neste repositório para entrar em contato conosco se você tiver algum problema.
Python 3.8 ou versão posterior.
As seguintes bibliotecas Python: os
Um recurso do Serviço OpenAI do Azure com um modelo GPT-4 Turbo com Visão implantado. Consulte a Disponibilidade do modelo de Versão prévia do GPT-4 e GPT-4 Turbo para regiões disponíveis. Para obter mais informações sobre a criação de recursos, consulte o guia de implantação de recursos.
Para aprimoramento do Visão (opcional): um recurso de Pesquisa Visual Computacional do Azure na mesma região que seu recurso do OpenAI do Azure, na camada paga (S1).

Configuração

Instalar a biblioteca de clientes do OpenAI Python com:

pip install openai

Observação

Essa biblioteca é mantida pelo OpenAI e atualmente é uma versão prévia. Consulte o histórico de lançamentos ou o histórico de confirmação de version.py para acompanhar as atualizações mais recentes na biblioteca.

Recuperar chave e ponto de extremidade

Para efetuar uma chamada com êxito no Serviço OpenAI do Azure, um ponto de extremidade e uma chave serão necessários.

Nome da variável	Valor
`ENDPOINT`	Esse valor pode ser encontrado na seção Chaves & Ponto de Extremidade ao examinar o recurso no portal do Azure. Como alternativa, você pode encontrar o valor em Estúdio OpenAI do Azure>Playground>Exibição de código. Um ponto de extremidade de exemplo é: `https://docs-test-001.openai.azure.com/`.
`API-KEY`	Esse valor pode ser encontrado na seção Chaves & Ponto de Extremidade ao examinar o recurso no portal do Azure. Você pode usar `KEY1` ou `KEY2`.

Acesse o seu recurso no portal do Azure. A seção Chaves e Ponto de Extremidade pode ser encontrada na seção Gerenciamento de Recursos. Copie o ponto de extremidade e as chave de acesso, pois você precisará de ambos para autenticar suas chamadas à API. Você pode usar KEY1 ou KEY2. Ter sempre duas chaves permite girar e regenerar chaves com segurança, sem causar interrupção de serviço.

Variáveis de ambiente

Crie e atribua variáveis de ambiente persistentes para sua chave e ponto de extremidade.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

Criar um novo aplicativo Python

Crie um novo arquivo Python denominado quickstart.py. Abra o novo arquivo em seu IDE ou editor preferido.

Substitua o conteúdo do quickstart.py pelo código a seguir.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}"
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    max_tokens=2000 
)

print(response)

Faça as seguintes alterações:
1. Digite o nome da implantação do GPT-4 Turbo com Visão no campo apropriado.
2. Altere o valor do campo "url" para a URL da imagem.
  
  Dica
  
  Você também pode usar dados de imagem codificados em base 64 em vez de uma URL. Para obter mais informações, consulte o Guia de instruções do GPT-4 Turbo com Visão.
Execute o aplicativo com o comando python:
```
python quickstart.py
```

O GPT-4 Turbo with Vision fornece acesso exclusivo aos aprimoramentos personalizados dos Serviços de IA do Azure. Quando combinado com a Visão de IA do Azure, ele aprimora sua experiência de chat fornecendo ao modelo de chat informações mais detalhadas sobre texto visível na imagem e nos locais dos objetos.

O Reconhecimento óptico de caracteres (OCR) permite que o modelo produza respostas de qualidade superiores para texto denso, imagens transformadas e documentos financeiros com muitos números. Ele também abrange uma gama mais ampla de idiomas.

A integração de aterramento de objetos traz uma nova camada para análise de dados e interação do usuário, pois o recurso pode distinguir e realçar elementos importantes visualmente nas imagens que processa.

Cuidado

Os aprimoramentos de IA do Azure para GPT-4 Turbo with Vision serão cobrados separadamente das principais funcionalidades. Cada aprimoramento específico da IA do Azure para GPT-4 Turbo with Vision tem seus próprios encargos distintos. Para obter detalhes, consulte as informações sobre preços especiais.

Substitua o conteúdo do quickstart.py pelo código a seguir.

from openai import AzureOpenAI

api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
api_key= os.getenv("AZURE_OPENAI_API_KEY")
deployment_name = '<your_deployment_name>'
api_version = '2023-12-01-preview' # this might change in the future

client = AzureOpenAI(
    api_key=api_key,  
    api_version=api_version,
    base_url=f"{api_base}/openai/deployments/{deployment_name}/extensions",
)

response = client.chat.completions.create(
    model=deployment_name,
    messages=[
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [  
            { 
                "type": "text", 
                "text": "Describe this picture:" 
            },
            { 
                "type": "image_url",
                "image_url": {
                    "url": "<image URL>"
                }
            }
        ] } 
    ],
    extra_body={
        "dataSources": [
            {
                "type": "AzureComputerVision",
                "parameters": {
                    "endpoint": "<your_computer_vision_endpoint>",
                    "key": "<your_computer_vision_key>"
                }
            }],
        "enhancements": {
            "ocr": {
                "enabled": True
            },
            "grounding": {
                "enabled": True
            }
        }
    },
    max_tokens=2000
)

print(response)

Faça as seguintes alterações:
1. Digite seu nome de implantação do GPT-4 Turbo com Visão no campo apropriado.
2. Insira a URL do ponto de extremidade da Pesquisa Visual Computacional e a chave nos campos apropriados.
3. Altere o valor do campo "url" para a URL da imagem.
  
  Dica
  
  Você também pode usar dados de imagem codificados em base 64 em vez de uma URL. Para obter mais informações, consulte o Guia de instruções do GPT-4 Turbo com Visão.
Execute o aplicativo com o comando python:
```
python quickstart.py
```

Limpar os recursos

Caso queria limpar e remover um recurso do OpenAI do Azure, é possível excluir o recurso ou o grupo de recursos. Excluir o grupo de recursos também exclui todos os recursos associados a ele.

Início Rápido: Use imagens em seus chats de IA

Pré-requisitos

Vá para o Estúdio OpenAI do Azure

Playground

Iniciar uma sessão de chat para analisar imagens ou vídeos

Limpar os recursos

Pré-requisitos

Recuperar chave e ponto de extremidade

Criar um novo aplicativo Python

Limpar os recursos

Pré-requisitos

Configuração

Recuperar chave e ponto de extremidade

Variáveis de ambiente

Criar um novo aplicativo Python

Limpar os recursos

Próximas etapas

Recursos adicionais