Aprenda a generar incrustraciones con Azure OpenAI

Artículo
03/24/2024

Una incrustración es un formato especial de representación de datos que se puede usar fácilmente por los modelos y algoritmos de Machine Learning. La incrustación es una representación densa en información del significado semántico de un texto. Cada incrustración es un vector de números de punto flotante, de modo que la distancia entre dos incrustraciones en el espacio vectorial está correlacionada con la similitud semántica entre dos entradas en el formato original. Por ejemplo, si hay dos textos similares, sus representaciones vectoriales también deberían ser similares. Las inserciones permiten la búsqueda de similitud de vectores en bases de datos de Azure, como núcleo virtual de Azure Cosmos DB for MongoDB o Azure Database for PostgreSQL: servidor flexible.

Cómo obtener incrustraciones

A fin de obtener un vector de incrustración para un fragmento de texto, hacemos una solicitud al punto de conexión de las incrustraciones, tal como se muestra en los fragmentos de código siguientes:

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings?api-version=2024-02-01\
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
  -d '{"input": "Sample Document goes here"}'

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version = "2024-02-01",
  azure_endpoint =os.getenv("AZURE_OPENAI_ENDPOINT") 
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-ada-002"
)

print(response.model_dump_json(indent=2))

Nota:

La versión 0.28.1 de la biblioteca de Python de OpenAI está en desuso. Recomendamos utilizar 1.x. Consulte nuestra guía de migración para obtener información sobre cómo pasar de 0.28.1 a 1.x.

import openai

openai.api_type = "azure"
openai.api_key = YOUR_API_KEY
openai.api_base = "https://YOUR_RESOURCE_NAME.openai.azure.com"
openai.api_version = "2024-02-01"

response = openai.Embedding.create(
    input="Your text string goes here",
    engine="YOUR_DEPLOYMENT_NAME"
)
embeddings = response['data'][0]['embedding']
print(embeddings)

using Azure;
using Azure.AI.OpenAI;

Uri oaiEndpoint = new ("https://YOUR_RESOURCE_NAME.openai.azure.com");
string oaiKey = "YOUR_API_KEY";

AzureKeyCredential credentials = new (oaiKey);

OpenAIClient openAIClient = new (oaiEndpoint, credentials);

EmbeddingsOptions embeddingOptions = new()
{
    DeploymentName = "text-embedding-ada-002",
    Input = { "Your text string goes here" },
};

var returnValue = openAIClient.GetEmbeddings(embeddingOptions);

foreach (float item in returnValue.Value.Data[0].Embedding.ToArray())
{
    Console.WriteLine(item);
}

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/embeddings?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

procedimientos recomendados

Compruebe que las entradas no superen la longitud máxima

La longitud máxima del texto de entrada para nuestros modelos de inserción más recientes es de 8192 tokens. Antes de hacer una solicitud, debe comprobar que las entradas no superan este límite.
Si envía una matriz de entradas en una única solicitud de inserción, el tamaño máximo de la matriz es 2048.

Limitaciones y riesgos

En casos determinados, los modelos de incrustración pueden ser poco confiables o suponer riesgos sociales y es posible que provoquen daño en la ausencia de mitigaciones. Revise el contenido de IA responsable para más información sobre cómo enfocar el uso de manera responsable.

Pasos siguientes

Obtenga más información sobre el uso de Azure OpenAI e incrustraciones para realizar la búsqueda de documentos con nuestro tutorial de incrustraciones.
Más información sobre los modelos subyacentes que impulsan Azure OpenAI.
Almacene sus incrustaciones y realice vectores de búsqueda (similitud) usando el servicio Azure de su elección: