Uso de imágenes con un agente

En este tutorial se muestra cómo usar imágenes con un agente, lo que permite al agente analizar y responder al contenido de la imagen.

Prerrequisitos

Para conocer los requisitos previos e instalar paquetes NuGet, consulte el paso Creación y ejecución de un agente sencillo en este tutorial.

Pasar imágenes al agente

Puede enviar imágenes a un agente mediante la creación de un ChatMessage que incluya contenido de texto e imagen. A continuación, el agente puede analizar la imagen y responder en consecuencia.

En primer lugar, cree un AIAgent que pueda analizar imágenes.

AIAgent agent = new AzureOpenAIClient(
    new Uri("https://<myresource>.openai.azure.com"),
    new AzureCliCredential())
    .GetChatClient("gpt-4o")
    .CreateAIAgent(
        name: "VisionAgent",
        instructions: "You are a helpful agent that can analyze images");

A continuación, cree un ChatMessage que contenga un mensaje de texto y una dirección URL de imagen. Use TextContent para el texto y UriContent para la imagen.

ChatMessage message = new(ChatRole.User, [
    new TextContent("What do you see in this image?"),
    new UriContent("https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg", "image/jpeg")
]);

Ejecuta el agente con el mensaje. Puede usar streaming para recibir la respuesta a medida que se genera.

Console.WriteLine(await agent.RunAsync(message));

Esto imprimirá el análisis del agente de la imagen en la consola.

Pasar imágenes al agente

Puede enviar imágenes a un agente mediante la creación de un ChatMessage que incluya contenido de texto e imagen. A continuación, el agente puede analizar la imagen y responder en consecuencia.

En primer lugar, cree un agente que pueda analizar imágenes.

import asyncio
from agent_framework.azure import AzureOpenAIChatClient
from azure.identity import AzureCliCredential

agent = AzureOpenAIChatClient(credential=AzureCliCredential()).create_agent(
    name="VisionAgent",
    instructions="You are a helpful agent that can analyze images"
)

A continuación, cree un ChatMessage que contenga un mensaje de texto y una dirección URL de imagen. Use TextContent para el texto y UriContent para la imagen.

from agent_framework import ChatMessage, TextContent, UriContent, Role

message = ChatMessage(
    role=Role.USER,
    contents=[
        TextContent(text="What do you see in this image?"),
        UriContent(
            uri="https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg",
            media_type="image/jpeg"
        )
    ]
)

También puede cargar una imagen desde el sistema de archivos local mediante DataContent:

from agent_framework import ChatMessage, TextContent, DataContent, Role

# Load image from local file
with open("path/to/your/image.jpg", "rb") as f:
    image_bytes = f.read()

message = ChatMessage(
    role=Role.USER,
    contents=[
        TextContent(text="What do you see in this image?"),
        DataContent(
            data=image_bytes,
            media_type="image/jpeg"
        )
    ]
)

Ejecuta el agente con el mensaje. Puede usar streaming para recibir la respuesta a medida que se genera.

async def main():
    result = await agent.run(message)
    print(result.text)

asyncio.run(main())

Esto imprimirá el análisis del agente de la imagen en la consola.

Pasos siguientes

Mantener una conversación de varias etapas con un agente