埋め込みを生成する方法について説明します

埋め込みは、機械学習モデルとアルゴリズムで簡単に使用できる特別な形式のデータ表現です。 埋め込みは、テキストのセマンティックな意味の情報密度の高い表現です。 各埋め込みは浮動小数点数のベクトルであり、ベクトル空間内の 2 つの埋め込み間の距離が、元の形式の 2 つの入力間のセマンティック類似性と相関します。 たとえば、2 つのテキストが似ている場合、それらのベクター表現も似ています。 埋め込みは、Azure Cosmos DB for NoSQL、Azure SQL Database、およびAzure Database for PostgreSQL - Flexible Server などの Azure データベースでベクトル類似性検索を支えます。

[前提条件]

• デプロイされた Azure OpenAI 埋め込みモデル。
• あなたのリソースからの次の値。
  • エンドポイント (例: https://YOUR-RESOURCE-NAME.openai.azure.com/)。
  • API キー。
  • デプロイモデル名

言語固有のセットアップ ガイダンスについては、「Azure OpenAI でサポートされているプログラミング言語を参照してください。

埋め込みを取得する方法

テキストの埋め込みベクターを取得するには、次のコード スニペットに示すように、埋め込みエンドポイントに要求を行います。

注

Azure OpenAI 埋め込み API は現在、v1 API でのMicrosoft Entra IDをサポートしていません。 この記事の例では、API キー認証を使用します。

C#

using OpenAI;
using OpenAI.Embeddings;
using System.ClientModel;

EmbeddingClient client = new(
    "text-embedding-3-small",
    credential: new ApiKeyCredential("API-KEY"),
    options: new OpenAIClientOptions()
    {

        Endpoint = new Uri("https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1")
    }
);

string input = "This is a test";

OpenAIEmbedding embedding = client.GenerateEmbedding(input);
ReadOnlyMemory<float> vector = embedding.ToFloats();
Console.WriteLine($"Embeddings: [{string.Join(", ", vector.ToArray())}]");

進む

package main

import (
	"context"
	"fmt"
	"os"

	"github.com/openai/openai-go/v2"
	"github.com/openai/openai-go/v2/option"
)

func main() {
	// Get API key from environment variable
	apiKey := os.Getenv("AZURE_OPENAI_API_KEY")
	if apiKey == "" {
		panic("AZURE_OPENAI_API_KEY environment variable is not set")
	}

	// Create a client with Azure OpenAI endpoint and API key
	client := openai.NewClient(
		option.WithBaseURL("https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/"),
		option.WithAPIKey(apiKey),
	)

	ctx := context.Background()
	text := "The attention mechanism revolutionized natural language processing"

	// Make an embedding request
	embedding, err := client.Embeddings.New(ctx, openai.EmbeddingNewParams{
		Input: openai.EmbeddingNewParamsInputUnion{OfString: openai.String(text)},
		Model: "text-embedding-3-large", // Use your deployed model name on Azure
	})
	if err != nil {
		panic(err.Error())
	}

	// Print embedding information
	fmt.Printf("Model: %s\n", embedding.Model)
	fmt.Printf("Number of embeddings: %d\n", len(embedding.Data))
	fmt.Printf("Embedding dimensions: %d\n", len(embedding.Data[0].Embedding))
	fmt.Printf("Usage - Prompt tokens: %d, Total tokens: %d\n", embedding.Usage.PromptTokens, embedding.Usage.TotalTokens)
	
	// Print first few values of the embedding vector
	fmt.Printf("First 10 embedding values: %v\n", embedding.Data[0].Embedding[:10])
}

JavaScript

import OpenAI from "openai";
const client = new OpenAI({
    baseURL: "https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/",
    apiKey: process.env['OPENAI_API_KEY'] //Your Azure OpenAI API key
});

const embedding = await client.embeddings.create({
  model: "text-embedding-3-small",
  input: "Your text string goes here",
});

console.log(embedding);

Python

import os
from openai import OpenAI

client = OpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  base_url="https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/"
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-3-large"
)

print(response.model_dump_json(indent=2))

PowerShell

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
	model = $openai.name
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/v1/embeddings"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

レスト

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/v1/embeddings \
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
	-d '{"model": "YOUR-DEPLOYMENT-NAME", "input": "Sample Document goes here"}'

ベスト プラクティス

入力が最大長を超えていないことを確認する

• 最新の埋め込みモデルの入力テキストの最大長は 8,192 トークンです。 要求を行う前に、入力がこの制限を超えないようにしてください。
• 1 つの埋め込み要求で入力の配列を送信する場合、最大配列サイズは 2,048 です。
• 1 つの要求で入力の配列を送信する場合は、要求の 1 分あたりのトークン数が、モデル デプロイによって割り当てられたクォータ制限を下回る必要があります。 既定では、最新の第 3 世代埋め込みモデルには、リージョンあたりの 350 K TPM の制限が適用されます。

トラブルシューティング

• 401または403エラーが発生した場合は、API キーがリソースに対して有効であることを確認します。
• 404 エラーが発生した場合は、エンドポイントに/openai/v1/ パスが含まれており、正しいベース URL を使用したかどうかを確認します。
• 400 エラーが発生した場合は、modelがデプロイ名に設定されており、要求本文が有効な JSON であることを確認します。

制限事項とリスク

埋め込みモデルは信頼性が低い場合や、特定のケースで社会的リスクを引き起こす可能性があります。 軽減策なしで使用すると、損害が発生する可能性があります。 責任を持って使用にアプローチする方法の詳細については、 責任ある AI コンテンツを参照してください。

次のステップ

• Azure OpenAI と埋め込みを使用してドキュメント検索を実行する方法の詳細については、embeddings チュートリアルを参照してください。
• Azure OpenAI を支える基盤モデルの詳細については。
• 埋め込みを格納し、ベクトル (類似性) 検索を実行するには、次のサービスから選択します。
  • Azure AI 検索
  • Azure SQL データベース
  • Azure Cosmos DB for NoSQL
  • Azure Cosmos DB for PostgreSQL
  • Azure Database for PostgreSQL - フレキシブル サーバー
  • Azure Cache for Redis
  • Eventhouse をベクター データベースとして利用し、Microsoft Fabric でリアルタイム インテリジェンスを実現する