Ekleme oluşturmayı öğrenin

Ekleme, makine öğrenmesi modelleri ve algoritmaları tarafından kolayca kullanılabilen özel bir veri gösterimi biçimidir. Ekleme, bir metin parçasının anlamsal anlamının yoğun bilgi gösterimidir. Her ekleme, kayan nokta sayılarından oluşan bir vektördür, böylece vektör uzayında iki ekleme arasındaki uzaklık, özgün biçimdeki iki giriş arasındaki anlamsal benzerlikle ilişkilendirilir. Örneğin, iki metin benzerse, vektör gösterimleri de benzer olmalıdır. Power vector benzerlik aramasını NoSQL için Azure Cosmos DB, MongoDB için Azure Cosmos DB sanal çekirdeği, Azure SQL Veritabanı veya PostgreSQL için Azure Veritabanı - Esnek Sunucu gibi Azure Veritabanlarına ekler.

Gömme vektörleri nasıl elde edilir?

Bir metin parçası için bir gömme vektörü elde etmek amacıyla, aşağıdaki kod parçacıklarında gösterildiği gibi gömme uç noktasına bir istek gönderin.

Uyarı

Azure OpenAI ekleme API'si şu anda v1 API'si ile Microsoft Entra Id'yi desteklememektedir.

C#

using OpenAI;
using OpenAI.Embeddings;
using System.ClientModel;

EmbeddingClient client = new(
    "text-embedding-3-small",
    credential: new ApiKeyCredential("API-KEY"),
    options: new OpenAIClientOptions()
    {

        Endpoint = new Uri("https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1")
    }
);

string input = "This is a test";

OpenAIEmbedding embedding = client.GenerateEmbedding(input);
ReadOnlyMemory<float> vector = embedding.ToFloats();
Console.WriteLine($"Embeddings: [{string.Join(", ", vector.ToArray())}]");

Başla

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v2"
	"github.com/openai/openai-go/v2/option"
)

func main() {
	// Get API key from environment variable
	apiKey := os.Getenv("AZURE_OPENAI_API_KEY")
	if apiKey == "" {
		panic("AZURE_OPENAI_API_KEY environment variable is not set")
	}

	// Create a client with Azure OpenAI endpoint and API key
	client := openai.NewClient(
		option.WithBaseURL("https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/"),
		option.WithAPIKey(apiKey),
	)

	ctx := context.Background()
	text := "The attention mechanism revolutionized natural language processing"

	// Make an embedding request
	embedding, err := client.Embeddings.New(ctx, openai.EmbeddingNewParams{
		Input: openai.EmbeddingNewParamsInputUnion{OfString: openai.String(text)},
		Model: "text-embedding-3-large", // Use your deployed model name on Azure
	})
	if err != nil {
		panic(err.Error())
	}

	// Print embedding information
	fmt.Printf("Model: %s\n", embedding.Model)
	fmt.Printf("Number of embeddings: %d\n", len(embedding.Data))
	fmt.Printf("Embedding dimensions: %d\n", len(embedding.Data[0].Embedding))
	fmt.Printf("Usage - Prompt tokens: %d, Total tokens: %d\n", embedding.Usage.PromptTokens, embedding.Usage.TotalTokens)
	
	// Print first few values of the embedding vector
	fmt.Printf("First 10 embedding values: %v\n", embedding.Data[0].Embedding[:10])
}

JavaScript

import OpenAI from "openai";
const client = new OpenAI({
    baseURL: "https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/",
    apiKey: process.env['OPENAI_API_KEY'] //Your Azure OpenAI API key
});

const embedding = await client.embeddings.create({
  model: "text-embedding-3-small",
  input: "Your text string goes here",
});

console.log(embedding);

Python

import os
from openai import OpenAI

client = OpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  base_url="https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/"
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-3-large"
)

print(response.model_dump_json(indent=2))

PowerShell

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/v1/embeddings"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

REST

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/v1/embeddings \
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
  -d '{"input": "Sample Document goes here"}'

En iyi yöntemler

Girişlerin uzunluk üst sınırını aşmadığını doğrulayın

• En son ekleme modellerimiz için maksimum giriş metni uzunluğu 8.192 belirteçtir. İstekte bulunmadan önce girişlerinizin bu sınırı aşmadığını doğrulamanız gerekir.
• Tek bir ekleme isteğinde bir giriş dizisi gönderiliyorsa en büyük dizi boyutu 2048'dir.
• Tek bir istekte bir dizi giriş gönderirken, isteklerinizdeki dakika başına belirteç sayısının model dağıtımında atanan kota sınırının altında kalması gerektiğini unutmayın. Varsayılan olarak, en son nesil 3 ekleme modelleri bölge başına 350 K TPM sınırına tabidir.

Sınırlamalar ve riskler

Ekleme modellerimiz güvenilir olmayabilir veya bazı durumlarda sosyal riskler oluşturabilir ve risk azaltmaların olmamasında zarara neden olabilir. Onların kullanımına sorumlu bir şekilde yaklaşma hakkında daha fazla bilgi için Sorumlu yapay zeka içeriğimizi gözden geçirin.

Sonraki Adımlar

• Eklemeler öğreticimizle belge araması yapmak için Azure OpenAI ve eklemeleri kullanma hakkında daha fazla bilgi edinin.
• Azure OpenAI'yi destekleyen temel modeller hakkında daha fazla bilgi edinin.
• Seçtiğiniz hizmeti kullanarak eklemelerinizi depolayın ve vektör (benzerlik) araması yapın:
  • Azure AI Arama Hizmeti
  • MongoDB için Azure Cosmos DB sanal çekirdeği
  • Azure SQL Veritabanı
  • NoSQL için Azure Cosmos DB
  • PostgreSQL için Azure Cosmos DB
  • PostgreSQL için Azure Veritabanı - Esnek Sunucu
  • Redis için Azure Cache
  • Eventhouse'u vektör veritabanı olarak kullanma - Microsoft Fabric'te Gerçek Zamanlı Zeka