Bir ajan ile görüntü kullanma

Bu öğretici, bir temsilciyle görüntüleri nasıl kullanacağınızı gösteriyor ve temsilcinin görüntü içeriğini analiz etmesine ve yanıt vermesine olanak tanıyor.

Önkoşullar

Önkoşullar ve NuGet paketlerini yükleme için bu öğreticideki Basit bir aracı oluşturma ve çalıştırma adımına bakın.

Ajan'a görüntü aktarma

Hem metin hem de görüntü içeriği içeren bir ChatMessage oluşturarak aracıya görüntü gönderebilirsiniz. Aracı daha sonra görüntüyü analiz edebilir ve uygun şekilde yanıt verebilir.

İlk olarak, görüntüleri analiz edebilen bir AIAgent oluşturun.

AIAgent agent = new AzureOpenAIClient(
    new Uri("https://<myresource>.openai.azure.com"),
    new AzureCliCredential())
    .GetChatClient("gpt-4o")
    .CreateAIAgent(
        name: "VisionAgent",
        instructions: "You are a helpful agent that can analyze images");

Ardından, hem bir metin istemi hem de bir resim URL'si içeren ChatMessage oluşturun. TextContent metin için ve UriContent resim için kullanın.

ChatMessage message = new(ChatRole.User, [
    new TextContent("What do you see in this image?"),
    new UriContent("https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg", "image/jpeg")
]);

Ajanı mesajla çalıştırın. Oluşturulan yanıtı almak için akış kullanabilirsiniz.

Console.WriteLine(await agent.RunAsync(message));

Bu, ajanın görüntü analizini konsola yazdırır.

Ajan'a görüntü aktarma

Hem metin hem de görüntü içeriği içeren bir ChatMessage oluşturarak aracıya görüntü gönderebilirsiniz. Aracı daha sonra görüntüyü analiz edebilir ve uygun şekilde yanıt verebilir.

İlk olarak, görüntüleri analiz edebilen bir aracı oluşturun.

import asyncio
from agent_framework.azure import AzureOpenAIChatClient
from azure.identity import AzureCliCredential

agent = AzureOpenAIChatClient(credential=AzureCliCredential()).create_agent(
    name="VisionAgent",
    instructions="You are a helpful agent that can analyze images"
)

Ardından, hem bir metin istemi hem de bir resim URL'si içeren ChatMessage oluşturun. TextContent metin için ve UriContent resim için kullanın.

from agent_framework import ChatMessage, TextContent, UriContent, Role

message = ChatMessage(
    role=Role.USER,
    contents=[
        TextContent(text="What do you see in this image?"),
        UriContent(
            uri="https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
            media_type="image/jpeg"
        )
    ]
)

Ayrıca kullanarak DataContentyerel dosya sisteminizden bir görüntü yükleyebilirsiniz:

from agent_framework import ChatMessage, TextContent, DataContent, Role

# Load image from local file
with open("path/to/your/image.jpg", "rb") as f:
    image_bytes = f.read()

message = ChatMessage(
    role=Role.USER,
    contents=[
        TextContent(text="What do you see in this image?"),
        DataContent(
            data=image_bytes,
            media_type="image/jpeg"
        )
    ]
)

Ajanı mesajla çalıştırın. Oluşturulan yanıtı almak için akış kullanabilirsiniz.

async def main():
    result = await agent.run(message)
    print(result.text)

asyncio.run(main())

Bu, ajanın görüntü analizini konsola yazdırır.

Sonraki Adımlar

Bir aracıyla çok aşamalı konuşma yapma