Сведения о создании внедрений с помощью Azure OpenAI

Внедрением называют особый формат представления данных, который можно легко использовать в моделях и алгоритмах машинного обучения. Внедрение представляет собой представление семантического значения фрагмента текста с высокой информационной плотностью. Каждое внедрение представляет собой такой вектор чисел с плавающей запятой, что расстояние между двумя внедрениями в векторном пространстве коррелирует с семантическим сходством между двумя входными значениями в исходном формате. Например, если два текста похожи, их векторные представления также должны быть похожи. Внедрение поиска сходства векторов питания в базах данных Azure, таких как Azure Cosmos DB для виртуальных ядер MongoDB, База данных SQL Azure или База данных Azure для PostgreSQL — гибкий сервер.

Как получить внедрение

Чтобы получить вектор внедрения для фрагмента текста, мы создаем запрос к конечной точке внедрений, как показано в следующих фрагментах кода:

консоль

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings?api-version=2024-02-01\
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
  -d '{"input": "Sample Document goes here"}'

OpenAI Python 1.x

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version = "2024-06-01",
  azure_endpoint =os.getenv("AZURE_OPENAI_ENDPOINT") 
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-3-large"
)

print(response.model_dump_json(indent=2))

OpenAI Python 0.28.1

Примечание.

Версия 0.28.1 библиотеки OpenAI Python устарела. Рекомендуем использовать 1.x. Ознакомьтесь с нашим руководством по миграции, чтобы получить информацию о переходе из 0.28.1 .1.x

import openai

openai.api_type = "azure"
openai.api_key = YOUR_API_KEY
openai.api_base = "https://YOUR_RESOURCE_NAME.openai.azure.com"
openai.api_version = "2024-06-01"

response = openai.Embedding.create(
    input="Your text string goes here",
    engine="YOUR_DEPLOYMENT_NAME"
)
embeddings = response['data'][0]['embedding']
print(embeddings)

C#

using Azure;
using Azure.AI.OpenAI;

Uri oaiEndpoint = new ("https://YOUR_RESOURCE_NAME.openai.azure.com");
string oaiKey = "YOUR_API_KEY";

AzureKeyCredential credentials = new (oaiKey);

OpenAIClient openAIClient = new (oaiEndpoint, credentials);

EmbeddingsOptions embeddingOptions = new()
{
    DeploymentName = "text-embedding-3-large",
    Input = { "Your text string goes here" },
};

var returnValue = openAIClient.GetEmbeddings(embeddingOptions);

foreach (float item in returnValue.Value.Data[0].Embedding.ToArray())
{
    Console.WriteLine(item);
}

PowerShell

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/embeddings?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

Рекомендации

Убедитесь, что входные данные не превышают максимальную длину

• Максимальная длина входного текста для наших последних моделей внедрения — 8192 токенов. Перед выполнением запроса необходимо убедиться в том, что входные данные не превышают это ограничение.
• Если отправка массива входных данных в одном запросе внедрения максимальный размер массива равен 2048.

Ограничения и риски

В некоторых случаях наши модели внедрения могут быть ненадежными или представлять социальные риски и в отсутствие смягчающих мер могут причинить вред. Ознакомьтесь с нашими материалами по ответственному применению искусственного интеллекта.

Следующие шаги

• Узнайте больше об использовании Azure OpenAI и внедрения для выполнения поиска документов с помощью руководства по внедрению.
• Ознакомьтесь с дополнительными сведениями о базовых моделях, лежащих в основе Azure OpenAI.
• Сохраните внедрение и выполните поиск вектора (сходства) с помощью выбранной службы:
  • Поиск по искусственному интеллекту Azure
  • Azure Cosmos DB для виртуальных ядер MongoDB
  • База данных SQL Azure
  • Azure Cosmos DB for NoSQL
  • Azure Cosmos DB for PostgreSQL
  • База данных Azure для PostgreSQL — гибкий сервер
  • Кэш Azure для Redis
  • Использование Eventhouse в качестве векторной базы данных — аналитика в режиме реального времени в Microsoft Fabric