Saiba como gerar inserções com o OpenAI do Azure

Artigo
03/22/2024

Uma inserção é um formato especial de representação de dados que pode ser facilmente utilizado por algoritmos e modelos de machine learning. A inserção é uma representação densa de informações do significado semântico de um texto. Cada inserção é um vetor de números de ponto flutuante, de modo que a distância entre duas inserções no espaço do vetor esteja correlacionada com a similaridade semântica entre duas entradas no formato original. Por exemplo, se dois textos forem semelhantes, suas representações de vetor também deverão ser semelhantes. As inserções potencializam a busca em vetores de modo semelhante nos bancos de dados do Azure, como Azure Cosmos DB for MongoDB vCore ou Banco de Dados do Azure para PostgreSQL — Servidor Flexível.

Como obter inserções

Para obter um vetor de inserção para um trecho de texto, fazemos uma solicitação ao ponto de extremidade de inserções, conforme mostrado nos seguintes snippets de código:

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings?api-version=2024-02-01\
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
  -d '{"input": "Sample Document goes here"}'

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version = "2024-02-01",
  azure_endpoint =os.getenv("AZURE_OPENAI_ENDPOINT") 
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-ada-002"
)

print(response.model_dump_json(indent=2))

Observação

A versão da biblioteca OpenAI Python 0.28.1 está obsoleta. Recomendamos usar 1.x. Consulte nosso guia de migração para obter informações sobre como mudar de 0.28.1 para 1.x.

import openai

openai.api_type = "azure"
openai.api_key = YOUR_API_KEY
openai.api_base = "https://YOUR_RESOURCE_NAME.openai.azure.com"
openai.api_version = "2024-02-01"

response = openai.Embedding.create(
    input="Your text string goes here",
    engine="YOUR_DEPLOYMENT_NAME"
)
embeddings = response['data'][0]['embedding']
print(embeddings)

using Azure;
using Azure.AI.OpenAI;

Uri oaiEndpoint = new ("https://YOUR_RESOURCE_NAME.openai.azure.com");
string oaiKey = "YOUR_API_KEY";

AzureKeyCredential credentials = new (oaiKey);

OpenAIClient openAIClient = new (oaiEndpoint, credentials);

EmbeddingsOptions embeddingOptions = new()
{
    DeploymentName = "text-embedding-ada-002",
    Input = { "Your text string goes here" },
};

var returnValue = openAIClient.GetEmbeddings(embeddingOptions);

foreach (float item in returnValue.Value.Data[0].Embedding.ToArray())
{
    Console.WriteLine(item);
}

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/embeddings?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

Práticas recomendadas

Verificar se as entradas não excedem o comprimento máximo

O comprimento máximo do texto de entrada para nossos modelos de inserção mais recentes é de 8.192 tokens. Você deve verificar se as entradas não excedem esse limite antes de fazer uma solicitação.
Se enviar uma matriz de entradas em uma única solicitação de inserção, o tamanho máximo da matriz será 2048.

Limitações e riscos

Nossos modelos de inserção podem não ser confiáveis ou representar riscos sociais em determinados casos e podem causar danos na ausência de mitigações. Examine nosso conteúdo de IA Responsável para obter mais informações sobre como abordar o uso com responsabilidade.

Próximas etapas

Saiba mais sobre como usar o OpenAI do Azure e inserções para executar a pesquisa de documentos com nosso tutorial sobre inserções.
Saiba mais sobre os modelos subjacentes que alimentam o OpenAI do Azure.
Armazene suas inserções e execute a pesquisa de vetor (similaridade) usando sua escolha do serviço do Azure: