Informazioni su come generare incorporamenti con Azure OpenAI

Articolo
03/22/2024

Un incorporamento è un formato speciale di rappresentazione dei dati che può essere facilmente utilizzato da modelli e algoritmi di Machine Learning. L'incorporamento è una rappresentazione densa di informazioni del significato semantico di una parte di testo. Ogni incorporamento è un vettore di numeri a virgola mobile, in modo che la distanza tra due incorporamenti nello spazio vettoriale sia correlata alla somiglianza semantica tra due input nel formato originale. Ad esempio, se due testi sono simili, anche le rappresentazioni vettoriali dovrebbero essere simili. Incorporamento della ricerca di somiglianza dei vettori di alimentazione in Database di Azure, ad esempio Azure Cosmos DB per MongoDB vCore o Database di Azure per PostgreSQL - Server flessibile.

Come ottenere incorporamenti

Per ottenere un vettore di incorporamento per una parte di testo, viene inviata una richiesta all'endpoint di incorporamento, come illustrato nei frammenti di codice seguenti:

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings?api-version=2024-02-01\
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
  -d '{"input": "Sample Document goes here"}'

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version = "2024-02-01",
  azure_endpoint =os.getenv("AZURE_OPENAI_ENDPOINT") 
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-ada-002"
)

print(response.model_dump_json(indent=2))

Nota

La versione 0.28.1 della libreria Python OpenAI è deprecata. Ti consigliamo di usare 1.x. Per informazioni sul passaggio da 0.28.1 a 1.x, vedere la guida alla migrazione.

import openai

openai.api_type = "azure"
openai.api_key = YOUR_API_KEY
openai.api_base = "https://YOUR_RESOURCE_NAME.openai.azure.com"
openai.api_version = "2024-02-01"

response = openai.Embedding.create(
    input="Your text string goes here",
    engine="YOUR_DEPLOYMENT_NAME"
)
embeddings = response['data'][0]['embedding']
print(embeddings)

using Azure;
using Azure.AI.OpenAI;

Uri oaiEndpoint = new ("https://YOUR_RESOURCE_NAME.openai.azure.com");
string oaiKey = "YOUR_API_KEY";

AzureKeyCredential credentials = new (oaiKey);

OpenAIClient openAIClient = new (oaiEndpoint, credentials);

EmbeddingsOptions embeddingOptions = new()
{
    DeploymentName = "text-embedding-ada-002",
    Input = { "Your text string goes here" },
};

var returnValue = openAIClient.GetEmbeddings(embeddingOptions);

foreach (float item in returnValue.Value.Data[0].Embedding.ToArray())
{
    Console.WriteLine(item);
}

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/embeddings?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

Procedure consigliate

Verificare che gli input non superino la lunghezza massima

La lunghezza massima del testo di input per i modelli di incorporamento più recenti è di 8192 token. È necessario verificare che gli input non superino questo limite prima di effettuare una richiesta.
Se si invia una matrice di input in un'unica richiesta di incorporamento, la dimensione massima della matrice è 2048.

Limitazioni e rischi

I modelli di incorporamento possono essere inaffidabili o rappresentare rischi sociali in determinati casi e possono causare danni in assenza di mitigazioni. Per altre informazioni sull'approccio responsabile dell'uso responsabile, vedere il contenuto dell'intelligenza artificiale responsabile.

Passaggi successivi

Altre informazioni sull'uso di Azure OpenAI e incorporamenti per eseguire la ricerca di documenti con l'esercitazione sugli incorporamenti.
Altre informazioni sui modelli sottostanti che alimentano Azure OpenAI.
Archiviare gli incorporamenti ed eseguire una ricerca vettoriale (somiglianza) usando il servizio di Azure scelto: